所有AI幻觉都该被消灭? “管住高风险场景，留出创新空间”

制图:朱林(即梦AI生成)

保安和AI对话6个月，约定签约作品却被骗；AI搜索误判，执业律师变“罪犯”……随着AI渗透到生活工作的方方面面，其一本正经“胡说八道”的幻觉问题日益凸显，在质疑与采信之间不断摇摆的用户开始思考——AI幻觉是如何形成的?如何彻底消灭它?

360智脑技术副总裁、360AI高级研究员孙林指出，幻觉是AI创造力和想象力的一种体现，可能孕育新的认知或发现，不应被全盘否定。他建议开展场景化、分层次的可信AI治理，针对不同风险情形下的幻觉问题，采取差异化处置措施。

中国信息通信研究院人工智能研究所安全治理部主任石霖表示，现有研究表明，AI幻觉难以从根本上彻底消除，但可通过数据治理、模型优化和推理增强等手段持续降低发生概率。

　　现状

　　数据质量直接影响生成内容准确性

何为AI幻觉?孙林从技术角度解析，生成式AI系统的“幻觉”表现为，根据用户引导输出看似合理，但事实错误、证据不足、与用户指令不一致或前后逻辑矛盾的内容，通俗讲就是“一本正经地胡说八道”。

AI幻觉的形成，并非单一原因导致，而是一种涉及多层面的系统性风险。第一层风险来自数据层。AI大模型训练与推理需要海量数据，数据质量直接影响生成内容准确性。“如果(训练过程中)错误信息出现了100次，正确信息只出现1次，生成内容出现错误的可能性很大。”孙林说，由于很多高质量的数据集模型无法直接获取，AI也会在一些专业问题上“胡编乱造”。

孙林提到，当前大多模型都使用概率建模法，在实操中表现为根据用户输入的前几个字“猜”下一个字——既然是猜测，就有对错之分。相关参数设置会影响模型推理的保守或激进程度，导致不同模型的幻觉率存在差别。一般而言，推理模型的思考时间越长、自我反思能力越强，幻觉率就会越低。

在系统层面，几乎所有AI应用背后都不是单一模型提供技术支撑，还有搜索工具、智能体等多方面能力加持。这意味着，在复杂的技术链条中，任何一个环节出错都可能影响输出结果。而在产品设计上，一些大模型把“猜测”内容，包装成确定性答案展示给用户，也容易让用户轻信AI。

　　根据不同场景任务实现不同验证目标

6月12日，南都数字经济治理沙龙第21期活动:“AI出错，谁为模型‘幻觉’买单?”主题研讨会在北京举办。会上，孙林提出了一个有趣的追问:所有的AI幻觉都该被消灭吗?他的答案是否定的。

在他看来，“AI幻觉”好比人类创意工作者的“头脑风暴”，是AI创造力和想象力的一种体现。在金融、医疗、政务、教育等严肃性场景中，基本不容出错，减少幻觉很有必要。但在一些创意领域，模型可以基于过往知识实现跨领域的思维重组、联想和外推，这一能力对于创意生成、科学研究等意义重大。

“我更愿意把AI幻觉称为‘AI偏离’。”孙林认为，AI幻觉包括误导性偏离，即偏离了既定事实、证据或上下文，却被过度包装成正确答案或可信结论，进而被用户直接采纳，这类情形需重点治理。另一类是探索性偏离，生成内容未必能被过往知识库立刻证明为真，但可能孕育新的认知或发现。

“如果把模型完全训练成一个只会复述既有事实的系统，它也许会更保守，但在很多开放式任务上的价值也会明显下降。”孙林解释，一个新观点出现时往往不符合主流认识，也缺乏已有权威知识库的支持。如果AI系统把暂未获得认同的新发现通通认定为“错误”，就可能压制有价值的想法和创意。

孙林强调，解决幻觉问题的关键在于，根据不同场景任务实现不同的验证目标。在医疗问答、法律咨询、金融建议、政务服务等事实型任务中，必须强调“真实性约束”，坚持内容来源的真实性，反复核对表达。一旦超出能力边界时，模型也应该学会“知之为知之、不知为不知”，拒绝回答。

　　要避免模型“裸答”，还要避免“强行答”

在探索型任务中，孙林主张追求“可检验性约束”，不要求模型立刻验证输出内容的真实性，但需满足不与已知自然基本规律冲突，能够被实验、推演等基本条件。

“未来好的AI系统不应只有一种模式，而是能在不同场景切换角色。有时是保守、可追责的可靠顾问，有时是帮人类提出新方向的‘假设生成器’。”他说。

在孙林看来，针对AI幻觉治理核心并非追求“零幻觉”，而是做场景化、分层次的可信治理。如何采取有效措施降低AI幻觉风险?来自企业一线、长期深耕AI领域的他从产品设计角度给出了具体建议。

孙林认为，在创意生成、头脑风暴等低风险、开放式场景，可以保留更强的发散能力，但需注明“是灵感和假设而非事实结论”；在搜索问答、教育辅导、新闻摘要、消费建议等中风险场景，应强化来源展示，增加不确定性提示，并尽量提供多源视角；在医疗、法律、金融、政务等高风险场景下，应引入更严格的机制，包括优先调用权威知识源、限制直接给出确定性结论、明确建议人工复核、保留日志和审计链路，必要时让AI只提供辅助不做决策等。

孙林还提醒，企业既要避免模型“裸答”，还要避免“强行答”。在生成之后增加事实核验、来源核验和高风险拦截环节，避免把第一次输出内容直接交给用户。更重要的是，在科研探索和创意场景中，给模型保留一定的假设生成空间，避免追求“一刀切”消灭所有AI“偏离”。

　　预防

　　从“编造事实”到法律风险，AI幻觉影响正外溢

据石霖介绍，“幻觉”原本是心理学概念，指在没有客观刺激的情况下产生的知觉体验。延伸到人工智能领域，大模型幻觉主要表现为模型生成的内容不符合用户输入要求，或者与客观事实不一致。目前，业内通常将其划分为“忠实性幻觉”和“事实性幻觉”两类。

其中，忠实性幻觉是指模型未能严格遵循用户指令完成任务。例如，用户要求将中文翻译成英文，但模型输出了其他语言内容；事实性幻觉则是指模型生成与现实情况不符的信息，例如对图片内容进行错误描述等。

石霖指出，从当前行业研究和实践情况来看，忠实性幻觉已成为影响大模型应用的重要问题之一。

随着大模型广泛应用于办公、搜索、教育和咨询等场景，幻觉带来的风险日益凸显。石霖表示，错误信息可能导致用户形成认知偏差，在医疗健康等专业场景甚至可能产生误导性建议。同时，大模型“编造”内容还可能引发名誉侵权、虚假信息传播等法律风险。

石霖还分享了工作中的案例，提醒大模型生成内容需进行必要核验，不能完全替代人工判断。

　　AI幻觉无法彻底消除，但可以被缓解和控制

AI幻觉从何而来?在石霖看来，这并非单一因素导致，而是贯穿于数据准备、模型训练和推理生成全过程。

在数据层面，训练数据中的错误信息、偏见内容以及知识覆盖不足等问题，都会影响模型输出质量。特别是在长尾知识、新知识以及部分受法律法规限制的信息领域，模型可能存在知识缺失或知识边界问题，从而增加幻觉发生概率。

在训练阶段，由于大模型本质上基于概率预测机制生成内容，更关注语言模式和上下文关联，而非事实验证，因此容易产生偏差。同时，在模型对齐过程中，模型往往倾向于生成更符合人类偏好的答案，而不一定是最准确的答案，这也可能带来一定程度的幻觉风险。

在推理阶段，模型可能表现出过度自信倾向。当面对语义相近或复杂问题时，容易在细节上出现错误。此外，长链条推理过程中出现的信息累积偏差，以及模型蒸馏、量化压缩等技术处理，也可能进一步放大幻觉问题。

针对幻觉问题，目前学术界和产业界已经开展了大量检测和治理研究。例如，通过构建事实核查机制、引入外部知识库、建立专门评测数据集等方式识别和评估模型幻觉风险；通过数据清洗、检索增强生成(RAG)、模型架构优化和推理增强等技术手段降低幻觉发生概率。

不过，石霖强调，从现有研究结论来看，大模型幻觉难以从根本上被彻底消除。由于大语言模型基于概率生成的技术原理，其本身存在一定的固有局限性，因此，当前行业更多是通过技术手段对幻觉进行缓解和控制，而非完全消灭幻觉。

　　推理过程越长、越复杂，AI幻觉就越少吗?

石霖提醒，用户在使用大模型时，也应充分认识其能力边界和不确定性。尽管思维链等推理机制能够在一定程度上降低幻觉率，但目前并没有充分证据表明推理过程越长、越复杂，幻觉就一定越少。

值得关注的是，石霖提到，围绕幻觉是否完全有害，学术界和产业界也存在一些讨论。他表示，幻觉本质上是一种偏离事实或既有认知的表达，但在部分观点看来，这种非线性的生成方式也可能与创造性、创新性存在一定关联。因此，对于幻觉现象的认识仍存在不同视角。

石霖还披露了中国信通院在大模型幻觉领域的最新研究成果。据介绍，中国信通院自去年开始构建包含5000余条样本的幻觉测试集，从忠实性和事实性两个维度开展专项评测。研究发现，当前主流模型的事实性幻觉总体低于忠实性幻觉，后者已成为影响模型可靠性的重要问题。

测试结果还显示，在同类型模型中，参数规模越大，整体幻觉率越低。与此同时，推理模型相较于传统通用模型表现出更好的幻觉控制能力，在一定程度上有助于缓解幻觉问题，但并不能完全消除幻觉；而经过蒸馏压缩的模型，则可能出现忠实性幻觉增加的问题。

石霖表示，未来需要通过技术创新、安全治理和标准建设等多方面协同推进，不断提升人工智能系统的真实性、可靠性和可信度，推动人工智能产业健康有序发展。

　　典型案例

　　遭AI诬陷的律师黄贵耕:

　　我不反AI，只反甩锅AI的恶意侵权

去年9月，北京锦钟律所黄贵耕律师因被AI造谣“威胁法官、伪造印章”，将涉事平台告上法庭。日前，黄贵耕结合自身维权经历，剖析了生成式AI侵权背后的现实困境与法律争议。“我从未对AI宣战，我抵制的是将AI幻觉作为恶意侵权挡箭牌的行为。”　　

　　AI幻觉侵权正演变为公共危害　　

“作为一名执业律师，我亲身经历了被AI平台捏造虚假信息、恶意诽谤的全过程。”当天，在论坛分享环节，黄贵耕展示了一组截图。截图中，AI精准标注了他的姓名和执业机构，并凭空捏造出他“威胁法官”“介绍贿赂”“伪造印章”“涉嫌刑事犯罪被吊销执照”等恶劣情节。

黄贵耕表示，这些虚假负面信息被案件当事人及亲友广泛传播，致使他的社会评价严重贬损，潜在客户流失不可估量，承受着巨大的精神压力。

这并非孤例。据黄贵耕介绍，南京李小亮律师、北京安振杰律师均遭涉事AI及其旗下产品捏造定罪判刑的虚假内容；公益人士寇延丁被无端诬陷“判刑十三年”；山东青年冀承祥被恶意编造“组织卖淫罪”；就连“清芝灵卵磷脂”“栖贤山黄酒”等企业产品也未能幸免，被造谣为禁售商品。除了李小亮一案已宣判外，律师黄贵耕、作家寇延丁两人分别提起的另外两起诉讼，目前仍处于法院审理程序。

“从自然人到企业，受害者范围持续扩大。”黄贵耕指出，这类频繁侵害不特定个人名誉权的行为，已不仅是针对个人的伤害，更暴露出极大的公共危害性，势必造成社会秩序混乱和公众对AI技术的信任崩塌。

　　享受AI红利必须承担对等责任　　

AI侵权发生后，平台是否真的无法核查和纠错?黄贵耕在论坛现场引用了山东教育电视台的一则报道:腾讯元宝AI在除夕夜出现辱骂用户的异常输出后，官方迅速核查日志并发布致歉声明，明确“与用户操作无关，不存在人工回复，属于小概率下的模型异常输出”，并承诺后续将紧急优化。

“这说明生成式AI服务提供者，具备对用户调取AI服务的操作日志进行全面核查及整改的技术能力。”因此黄贵耕认为，其所诉涉事平台以“AI幻觉”不可预见为由，在首次侵权出现后未及时整改，持续生成侵权内容，实属以算法黑箱甩锅。“这就像司机明知刹车失灵仍上路撞人，不能把责任推给汽车。”

在法律责任的界定上，黄贵耕驳斥了平台常引用的“技术中立”和“AI非民事主体”的免责逻辑。他认为，司法实践中，“技术中立”的前提是平台已尽到合理防控义务。若同行业其他产品可规避同类错误，唯独某平台反复出现恶性侵权，就证明平台存在明显过错。“所谓的‘避风港原则’，针对的是平台仅作为信息载体、供用户上传内容的情况。但我所诉的AI恶意侵权内容是平台自主生产的，本质是平台行为的延伸，根本不适用避风港原则。”黄贵耕说。

“平台从AI服务中攫取了巨大流量与商业收益，绝无可能只享红利而不承担风险。”他强调，根据《生成式人工智能服务管理暂行办法》等相关法规，AI服务提供者必须落实内容安全主体责任。在将AI产品推向公众时，有义务对生成内容审核把关、留存日志、及时处置违法虚假信息。

尽管深受AI幻觉侵权之害，但黄贵耕始终对人工智能技术持正面态度。“媒体报道中说我‘对AI宣战’，这是不准确的，我只是对涉事AI平台的恶意侵权行为说不。”　　

A12-15版

统筹:程姝雯 李玲

采写:南都记者 李玲 杨柳 黄莉玲 樊文扬 吕虹 王子黎 莫倩如