概要：2024WAIC展示AI大模型赋能各行业，但大模型幻觉和深度伪造成挑战。行业专家建议引入新技术如知识图谱、RAG解决幻觉问题，并通过多层次监管防控深度伪造。蚂蚁集团等提出AI鉴真解决方案，强调用AI监督AI，加强协同治理，并呼吁各方参与AI治理。
在璀璨的科技星辰中，2024世界人工智能大会暨人工智能全球治理高级别会议（简称“WAIC 2024”）犹如一颗璀璨的明珠，熠熠生辉。其中，文生文、文生图、文生视频模型，以及端侧模型、开源模型等纷纷亮相，共同展现了AI大模型如何以无尽“模力”赋能千行百业。然而，在人工智能（AI）大模型落地应用的浪潮中，其核心议题却隐含着深刻的挑战。
随着生成式AI大模型在多元场景和产业中的深入应用，一个不容忽视的问题逐渐浮出水面——模型产生与现实相悖的响应，即所谓的“幻觉”现象。与此同时，深度伪造技术的兴起更是加剧了虚假内容的泛滥，进而滋生了诈骗、色情等违法犯罪活动，给社会带来了深重的隐忧。
大模型幻觉问题，已成为AI规模化应用的绊脚石。多位行业专家指出，这不仅仅是技术的挑战，更是对AI产业未来发展的严峻考验。在实践中，通过引入知识图谱、RAG（检索增强生成）等新技术，以及联邦学习等前沿理念，我们有望为大模型幻觉问题找到解决方案。同时，利用多层次监管和治理措施，包括“黑盒”大模型、硬件或光学辅助等，可以有效地防控深度伪造技术带来的风险与危害。
幻觉与深度伪造，犹如AI时代的双刃剑，既带来了前所未有的机遇，也带来了前所未有的挑战。它们不仅考验着技术的成熟度，更考验着社会的智慧与勇气。
近年来，大模型幻觉与深度伪造带来的风险日益凸显。从纽约市律师因使用ChatGPT起草虚假案件摘要被罚，到斯坦福大学和耶鲁大学研究人员发现大语言模型在法律输出中的普遍错误，这些案例都深刻地揭示了AI生成内容的潜在风险。蚂蚁集团CTO何征宇更是直言，生成式AI要实现更广泛的应用，必须克服幻觉问题，否则只能是实验室的玩具，无法真正落地。
深度伪造技术的兴起，更是加剧了这一风险。随着深度学习技术与AIGC在视频和图像生成领域的广泛应用，生成的视频质量越来越逼真，成本也越来越低。然而，这也使得公众难以辨别视频的真伪，进一步滋生了诈骗、色情等违法犯罪活动。据央视报道，仅2022年，美国就发生了240万起人工智能相关诈骗案。
在金融领域，大模型的应用也面临着诸多挑战。信也科技副总裁、大数据及AI负责人陈磊指出，大模型可能存在隐私泄露和输出答案不正确的问题，对用户信息保护和资质评估都带来了挑战。此外，大模型还被用于深度伪造等不合适的场景，生成逼真的音视频内容，让人难以分辨真伪。
面对这些挑战，我们如何守护AI的纯净与真实？在WAIC 2024的现场，一些创新的解决方案正在被探讨和实践。蚂蚁展台展示了“多模态AI鉴真”互动产品，通过AIGC检测和证照深度合成检测两大能力，对伪造素材进行快速精准鉴别。此外，“谍影重重”互动装置也让观众亲身体验了深度伪造的攻防之战。
技术发展的道路上，挑战与机遇并存。面对大模型幻觉和深度伪造等问题，我们需要以更加开放的姿态，加强协同治理，共同守护AI的纯净与真实。只有这样，我们才能确保AI技术的健康发展，为人类社会的进步贡献更多的力量。
