AI幻觉应彻底消灭？专家：管住高风险场景，留出创新空间

保安和AI对话6个月，约定签约作品却被骗；一句“放心退”，用户退机票损失600元；AI搜索误判，执业律师变“罪犯”……随着AI渗透到生活工作的方方面面，其一本正经“胡说八道”的幻觉问题日益凸显，在质疑与采信之间不断摇摆的用户开始思考——AI幻觉是如何形成的？如何彻底消灭它？

6月12日，南都数字经济治理沙龙第21期活动：“AI出错，谁为模型‘幻觉’买单？”主题研讨会在北京举办。360智脑技术副总裁、360AI⾼级研究员孙林指出，幻觉是AI创造力和想象力的一种体现，可能孕育新的认知或发现，不应被全盘否定。他建议开展场景化、分层次的可信AI治理，针对不同风险情形下的幻觉问题，采取差异化处置措施。

360智脑技术副总裁、360AI⾼级研究员孙林。摄影：南都记者莫倩如

被放大、利用、制造的AI幻觉更危险

何为AI幻觉？孙林从技术角度解析，生成式AI系统的“幻觉”表现为，根据用户引导输出看似合理，但事实错误、证据不足、与用户指令不一致或前后逻辑矛盾的内容，通俗讲就是“一本正经地胡说八道”。

AI幻觉的形成，并非单一原因导致，而是一种涉及多层面的系统性风险。第一层风险来自数据层。AI大模型训练与推理需要海量数据，数据质量直接影响生成内容准确性。

“如果（训练过程中）错误信息出现了100次，正确信息只出现1次，生成内容出现错误的可能性很大。”孙林说，由于很多高质量的数据集模型无法直接获取，AI也会在一些专业问题上“胡编乱造”。

孙林提到，当前大多模型都使用概率建模法，在实操中表现为根据用户输入的前几个字“猜”下一个字——既然是猜测，就有对错之分。相关参数设置会影响模型推理的保守或激进程度，导致不同模型的幻觉率存在差别。一般而言，推理模型的思考时间越长、自我反思能力越强，幻觉率就会越低。

在系统层面，几乎所有AI应用背后都不是单一模型提供技术支撑，还有搜索工具、智能体等多方面能力加持。这意味着，在复杂的技术链条中，任何一个环节出错都可能影响输出结果。而在产品设计上，一些大模型把“猜测”内容，包装成确定性答案展示给用户，也容易让用户轻信AI。

业内普遍认为，AI幻觉是产品发展中无法避免的阶段性问题。需要关注的是，当下的“幻觉”不只有自然发生的，它还可能被放大、被利用甚至被制造。

今年央视“315晚会”曝光了利用“生成式引擎优化”（GEO）技术进行“AI投毒”的黑灰产业链，通过在网上系统性、定向给AI大模型投喂大量虚假信息，操控大模型的答案，给AI“洗脑”。

孙林指出，在黑帽GEO的情况下，AI模型更容易引用、采纳并输出某些偏颇信息。这类行为无疑制造和放大了AI幻觉，用户看似得到了中立、实则是被操纵的答案。这种形式比传统广告和谣言更隐蔽、更危险，不仅侵害消费者权益、扰乱市场秩序，还可能对国家安全等造成长期性危害。

“AI幻觉不只是模型bug，而是系统性问题。”孙林认为，需在模型设计、数据治理等多个环节，降低AI幻觉风险。

要避免模型“裸答”，还要避免“强行答”

事实上，AI幻觉带来实际危害已经显现——从误导用户操作造成财产损失，到编造谣言导致名誉侵权，AI的“胡编乱造”又该由谁买单？

近日，德国慕尼黑第一地区法院首次认定，即便AI提供了参考来源链接，并提醒用户回答不保证真实性，谷歌仍需就幻觉问题承担直接责任。国内相关判例则代表了另一种司法态度，更强调发展与风险的平衡。在今年初“全国首例AI幻觉侵权案”中，法院认可AI公司采取的提示措施，认为其不构成侵权责任。

在孙林看来，被AI幻觉误导而造成损失，应由多方共同构建责任主体。模型提供方是不容忽视的关键角色。“技术不成熟是幻觉存在的理由，但技术不能成为逃避问责的挡箭牌。”他直言，模型方有义务加强技术能力降低高风险幻觉，明确能力表达范围，增强不确定性表达。平台和产品方也应担责，原因是把AI接入到高风险场景，其应承担更高的注意义务。

此外，内容和数据源头的责任也不容忽视——特别是针对恶意诱导大模型的GEO乱象应当予以规制。作为使用者，用户也需增强AI素养，保持不盲目轻信AI的审慎态度。

当天，在南都研讨会上探讨AI幻觉问题时，孙林提出了一个有趣的追问：所有的AI幻觉都该被消灭吗？他的答案是否定的。

在他看来，“AI幻觉”好比人类创意工作者的“头脑风暴”，是AI创造力和想象力的一种体现。在金融、医疗、政务、教育等严肃性场景中，基本不容出错，减少幻觉很有必要。但在一些创意领域，模型可以基于过往知识实现跨领域的思维重组、联想和外推，这一能力对于创意生成、科学研究等意义重大。

“我更愿意把AI幻觉称为‘AI偏离’。”孙林认为，AI幻觉包括误导性偏离，即偏离了既定事实、证据或上下文，却被过度包装成正确答案或可信结论，进而被用户直接采纳，这类情形需重点治理。另一类是探索性偏离，生成内容未必能被过往知识库立刻证明为真，但可能孕育新的认知或发现。

“如果把模型完全训练成一个只会复述既有事实的系统，它也许会更保守，但在很多开放式任务上的价值也会明显下降。”孙林解释，一个新观点出现时往往不符合主流认识，也缺乏已有权威知识库的支持。如果AI系统把暂未获得认同的新发现通通认定为“错误”，就可能压制有价值的想法和创意。

孙林强调，解决幻觉问题的关键在于，根据不同场景任务实现不同的验证目标。在医疗问答、法律咨询、金融建议、政务服务等事实型任务中，必须强调“真实性约束”，坚持内容来源的真实性，反复核对表达。一旦超出能力边界时，模型也应该学会“知之为知之、不知为不知”，拒绝回答。

而在探索型任务中，孙林主张追求“可检验性约束”，不要求模型立刻验证输出内容的真实性，但需满足不与已知自然基本规律冲突，能够被实验、推演等基本条件。

“未来好的AI系统不应只有一种模式，而是能在不同场景切换角色。有时是保守、可追责的可靠顾问，有时是帮人类提出新方向的‘假设生成器’。”他说。

在孙林看来，针对AI幻觉治理核心并非追求“零幻觉”，而是做场景化、分层次的可信治理。如何采取有效措施降低AI幻觉风险？来自企业一线、长期深耕AI领域的他从产品设计角度给出了具体建议。

孙林认为，在创意生成、头脑风暴等低风险、开放式场景，可以保留更强的发散能力，但需注明“是灵感和假设而非事实结论”；在搜索问答、教育辅导、新闻摘要、消费建议等中风险场景，应强化来源展示，增加不确定性提示，并尽量提供多源视角；在医疗、法律、金融、政务等高风险场景下，应引入更严格的机制，包括优先调用权威知识源、限制直接给出确定性结论、明确建议人工复核、保留日志和审计链路，必要时让AI只提供辅助不做决策等。

孙林还提醒，企业既要避免模型“裸答”，还要避免“强行答”。在生成之后增加事实核验、来源核验和高风险拦截环节，避免把第一次输出内容直接交给用户。更重要的是，在科研探索和创意场景中，给模型保留一定的假设生成空间，避免追求“一刀切”消灭所有AI“偏离”。

出品：南都数字经济治理研究中心

采写：南都N视频记者 樊文扬