北京
为帮助大一新生深入理解多模态大模型中的语义幻觉问题及其缓解方法，信息学院联合新 E 代数智未来产业学院于10月29日特邀北京大学计算机学院副教授、博士生导师吴云芳担任主讲。吴教授指出，在2025年的技术视野下，语义理解的幻觉缓解已成为推动可信人工智能发展的关键课题。
吴教授首先明确了“语义幻觉”的概念，指出这是多模态模型在处理图像等非文本信息时，因过度依赖语言先验进行“脑补”，从而生成看似合理却与真实内容不符的结果。她从注意力机制的角度剖析了幻觉的成因，强调模型不同层级注意力分布的差异是重要根源。吴教授特别指出，当注意力集中于真实文本区域时，幻觉现象显著减少，这一发现为后续缓解策略提供了关键依据。
在技术路径方面，吴教授系统介绍了一种具备“精准定位+智能校正”双重特性的缓解方案。该方案采用“由粗到细”的文本区域定位机制识别潜在文字区域，并借助“抗幻觉中间层”引导模型输出更贴合图像实际内容。她表示，此类即插即用型方案无需重新训练，具备良好的模型适配性，已在多项实验中得到有效验证。
在互动环节中，针对“如何平衡模型创造性与可靠性”的提问，吴教授指出，幻觉缓解并非抑制模型创造力，而是通过内生调优、外层护栏构建与场景适配三种策略实现可控生成。她进一步强调，未来研究应深入探索视觉与语言注意力之间的因果关系，并借助反事实推理等方法增强输入与输出的一致性。
本次名师一堂课内容系统、逻辑清晰，既有理论阐释，也涵盖了实践路径与评估方法，不仅拓展了学生对前沿人工智能问题的认知，也为多模态大模型的可靠性提升指明了方向，营造了良好的学术交流与学习氛围。
来源|信息学院
通讯员|孟楠
监制|宣传中心
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
