网易首页 > 网易号 > 正文 申请入驻

瞭望 | AI幻觉频现 风险挑战几何

0
分享至

  当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题存在,需要通过多方面的技术改进来逐步缓解

  当前,人工智能技术已进入大规模应用阶段,但AI幻觉问题日益成为制约其发展的关键瓶颈。面对这一挑战,我们需要从技术创新、制度监管等多个维度构建综合治理体系

  文 |《瞭望》新闻周刊记者 孙飞 陈宇轩

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计 / 本刊

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。■

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

犀利辣椒
2026-11-20 20:08:23
上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

故事秘栈
2025-05-26 19:16:38
男子炒股10年倾家荡产,如今妻子病重急需用钱,打开电脑后他傻眼

男子炒股10年倾家荡产,如今妻子病重急需用钱,打开电脑后他傻眼

罪案洞察者
2025-09-02 11:30:12
雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

文史达观
2025-07-21 12:48:03
丈夫送66万元现金花束庆祝妻子41岁生日,知情人称女主是个大网红,已有三个孩子,律师:属不当使用人民币,有悖立法规范

丈夫送66万元现金花束庆祝妻子41岁生日,知情人称女主是个大网红,已有三个孩子,律师:属不当使用人民币,有悖立法规范

扬子晚报
2026-11-19 14:24:19
《复仇者联盟5》11张角色海报曝光!美队、雷神回归,X战警集体亮相,最抓马的三角恋也要来了?

《复仇者联盟5》11张角色海报曝光!美队、雷神回归,X战警集体亮相,最抓马的三角恋也要来了?

粉红冻奶的观影日记
2026-11-19 18:01:13
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
兰州监狱4名狱警殴打服刑者致死案再审,罪名从虐待被监管人变更为故意伤害罪:毁掉证据,抹不掉真相

兰州监狱4名狱警殴打服刑者致死案再审,罪名从虐待被监管人变更为故意伤害罪:毁掉证据,抹不掉真相

新浪财经
2026-11-19 23:40:25
机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

小蜜情感说
2026-11-20 06:38:20
特朗普表态:NVIDIA Blackwell芯片可对华销售 但有个条件

特朗普表态:NVIDIA Blackwell芯片可对华销售 但有个条件

墨染时光
2026-11-19 18:53:56
三大指数集体收跌,银行股最后15分钟拉冒烟!工商银行、建设银行涨超3%,陈果点评股市:恐慌并不比亢奋更理性

三大指数集体收跌,银行股最后15分钟拉冒烟!工商银行、建设银行涨超3%,陈果点评股市:恐慌并不比亢奋更理性

金融界
2026-11-20 16:05:11
1990年,孟津少女被拖进废弃矿井侵犯八小时共计四十余人,警方排查数月毫无进展,三年后靠走路姿势抓出真凶,他究竟怎样瞒过了全县警察?

1990年,孟津少女被拖进废弃矿井侵犯八小时共计四十余人,警方排查数月毫无进展,三年后靠走路姿势抓出真凶,他究竟怎样瞒过了全县警察?

唠叨说历史
2026-11-18 10:42:47
马布里,真正的人生赢家。2023 年,马布里结束了与前妻 21 年的婚姻。

马布里,真正的人生赢家。2023 年,马布里结束了与前妻 21 年的婚姻。

回京历史梦
2026-10-30 05:10:04
炸锅! 25名华人跟团来澳洲, 偷偷逃走! 300万押金不要了?! 领队独自凌乱;澳洲签证新规官宣,11月28日起全面收紧!

炸锅! 25名华人跟团来澳洲, 偷偷逃走! 300万押金不要了?! 领队独自凌乱;澳洲签证新规官宣,11月28日起全面收紧!

澳洲红领巾
2026-11-19 14:49:36
太解气!湖南三人组团自带钢丝 “崩饭店”,不料遇上从不使用钢丝球的火锅店

太解气!湖南三人组团自带钢丝 “崩饭店”,不料遇上从不使用钢丝球的火锅店

川渝视觉
2026-11-20 20:57:41
境外圈地建电诈园区 整体出售获利6500万 女子不直接骗钱也被认定为诈骗犯罪集团首要分子 获刑11年

境外圈地建电诈园区 整体出售获利6500万 女子不直接骗钱也被认定为诈骗犯罪集团首要分子 获刑11年

闪电新闻
2026-11-20 17:30:18
沙特首都第一高楼遭袭,大楼的损失和修复难度有多大?沙特为何总是防不住胡塞袭击?

沙特首都第一高楼遭袭,大楼的损失和修复难度有多大?沙特为何总是防不住胡塞袭击?

贵重物品爱美食
2026-11-20 12:27:39
张升民同志简历

张升民同志简历

看看新闻Knews
2026-10-29 18:54:09
广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

诡谲怪谈
2025-06-09 08:45:42
波兰女博主炮轰印度人!是地球上最肮脏的人,这个国家将永远是一个肮脏的

波兰女博主炮轰印度人!是地球上最肮脏的人,这个国家将永远是一个肮脏的

小徐讲八卦
2026-11-19 14:23:41
2026-11-21 01:36:49
新华社 incentive-icons
新华社
新华社是国家通讯社
731181文章数 2441492关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
亲子
时尚
本地
家居

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

亲子要闻

宝宝气人但是聪明的4个行为

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版