网易首页 > 网易号 > 正文 申请入驻

AI也会“栽赃”?有律师被虚假“定罪”!专家:大模型“幻觉”无法根除,但可防控

0
分享至

红星资本局5月9日消息,当搜索AI,却显示自己的“犯罪信息”该怎么办?江苏南京执业律师李小亮就遇到了被AI“定罪”的情况。

AI会“骗人”并不是一个新话题,但“技术上能否避免”“我们是否还能继续相信AI”是值得探讨的话题。对此,红星资本局就相关问题采访了有关专家。


图据图虫创意

被AI虚假“定罪”并非个案

据媒体报道,李小亮发现,在百度手机APP、百度网站搜索“李小亮律师”“南京李小亮律师”“江苏李小亮律师”等关键词,在百度搜索下拉词、“大家还在搜”“相关搜索”“AI智能回答”等板块会出现“南京李小亮律师判刑了吗?”“南京李小亮律师判刑了多少年、南京李小亮律师涉案金额”等搜索和下拉词条内容。

更严重的是,当搜索“李小亮律师被判几年”时,“AI智能回答”直接给出:“三年,李小亮律师被判三年有期徒刑。根据探索结果,被告人李小亮因犯爆炸罪,被判处有期徒刑三年。”回答中甚至配上了李小亮本人穿着律师袍的照片。

随后,南京市江北新区人民法院一审认定北京百度网讯科技有限公司(下称“百度公司”)上述行为构成名誉侵权。百度公司在庭后提供的情况说明中认为,AI搜索结果与用户输入提示词高度相关,且当时国内人工智能发展尚处初期,技术有限,侵权内容具有极强的偶然性。

一审判决后,百度公司不服并提起上诉。二审庭审中,百度公司的诉讼代理人表示,所有人工智能都会产生幻觉,AI幻觉的出现具有不确定性,百度公司无法预见,因此不能认为有过错。

这类情况并非个例。此前也有媒体曝出,北京律师黄贵耕同样因百度AI自动生成严重虚假负面信息而深受困扰。AI将他描述为威胁法官、介绍贿赂、伪造印章、非法吸收公众存款等多个刑事犯罪信息的当事人,且每一项虚假信息都直接关联他的职业身份,给他带来了巨大损失。

大模型为何会产生“幻觉”?

有业内人士告诉红星资本局,上述提及的“AI幻觉”,包括事实性幻觉(编造不存在的事件、数据)、归因幻觉(虚构信息来源)、逻辑幻觉(推理链条断裂却输出看似合理的结论)。

除此以外,还有身份混淆,把同名同姓、相似职业、相似地区的人混为一谈;把过去、现在、未来的信息混在一起;文字错了,照片却配上了真实本人等等,都属于“AI幻觉”的范畴。

眺远影响力研究院院长高承远对红星资本局表示,AI生成这种严重虚假信息,根源在于大语言模型的"概率生成"机制——它不是在检索事实,而是在预测下一个最可能出现的词。

“当训练语料中关于某个特定人物的信息稀疏或存在噪声时,模型会基于‘律师’‘判刑’等高频关联词进行‘合理拼凑’,本质上是对语义相关性的误用,而非事实判断。”高承远说。

香港中文大学(深圳)数据科学学院助理教授、深圳市河套学院双聘教授王本友告诉红星资本局,AI生成虚假信息,确实有技术原因,但它不是一个简单的“程序 bug”。

王本友解释,大模型本质上不是在像搜索引擎一样查事实,而是在根据已有训练和上下文,生成一个“看起来最合理”的回答。所以当它遇到信息不完整、问题比较模糊、或者自己没有可靠依据的时候,就可能会一本正经地编出一些内容,而且表达得很像真的。

“这类问题可以靠技术迭代缓解,比如模型更大、更聪明之后,通常会好一些,低级错误会少一些,逻辑也会更稳一些。但它很难被彻底消灭。”王本友表示,因为只要AI还是生成式模型,它就会有补全、联想和生成的能力,也就可能在不确定的时候“脑补”。

责任之争:是技术局限,还是产品治理失位?

“这件事不能简单归结为‘AI还不成熟’。”中国科技新闻学会科幻传播与未来产业专委会会员专家高恒告诉红星资本局,从技术上看,AI确实可能产生幻觉,但在搜索产品里,把一个执业律师错误写成“被判刑三年”,这既是技术问题,也是产品治理问题。技术可以降低这类错误,但不能只靠“模型更聪明”来解决。

高恒认为,对于涉及个人犯罪记录、司法判决、职业信誉、医疗健康、金融投资这类高风险信息,平台不能让AI自由发挥。

“正确做法应该是:没有权威来源就不回答;没有法院文书、官方公告等可靠证据,就不能生成肯定性结论;一旦涉及‘判刑’‘违法’‘失信’等严重负面标签,系统必须提高审核门槛,甚至直接拒答。”高恒说。

专家:“AI幻觉”无法根除,但可防控

那么“AI幻觉”能不能完全避免?“很难。”高恒说,只要大模型还是基于概率生成语言,就不可能做到百分之百无错。

他指出,问题的关键不是“能不能让AI永远不犯错”,而是“能不能在高风险场景里阻止它把错误变成公开伤害”。

高承远则指出,幻觉能否避免,取决于三个变量:一是模型是否具备"知其所不知"的能力——当前多数模型在置信度校准上表现糟糕,低置信度时仍言之凿凿;二是知识更新机制能否实时同步权威信源,避免用静态训练数据回答动态事实;三是商业平台是否愿意为降低幻觉投入足够的工程成本,包括人工审核、溯源标注和负反馈闭环。

高承远解释,技术迭代可以显著降低发生率,但"零幻觉"在概率模型框架下是数学不可能,只能无限逼近,不能根除。“技术层面无法100%消除,但‘无法预见’不等于‘无法防控’,平台对明显涉及人身权益的生成内容负有更高的注意义务。”

高恒也提到了多方因素,他指出,模型能力只是第一层,后面还有数据源质量、检索系统、事实校验机制、置信度控制、敏感场景识别、人工审核、申诉纠错机制。尤其在法律和个人名誉相关场景,平台应该建立更硬的规则。

“幻觉不是完全不可控。它无法彻底避免,但可以通过更强模型、检索增强、工具验证、场景约束和人工反馈不断降低。”王本友表示。

分场景信任,AI可用但不可盲信

如果幻觉无法“根治”,那么我们还可以相信AI吗?三位专家给出的答案是,可以,但要分级别。

“不能盲信,但也没必要全盘否定。”高恒更倾向于把AI分成两类场景看:在创意、写作、代码辅助、资料整理这类场景,AI可以大胆用,但要保留人工判断;在司法、医疗、金融、个人名誉、公共安全这些场景,AI只能作为辅助工具,不能直接成为事实裁判。

高承远则表示,信任必须分层、分场景。在创意发散、代码辅助、知识框架梳理等容错率高的场景,AI的效率增益远超风险成本;但在司法、医疗、金融、人身名誉等高风险领域,AI输出必须被视为"草稿"而非"定论",需要人机协同验证。

“真正的信任建立,不在于消灭幻觉,而在于建立可预期的责任机制——谁生成、谁审核、谁担责,链条清晰了,用户才能知道什么时候可以信、信到什么程度。”

“准确地说,是我们不能‘无条件相信AI’。”王本友表示,AI幻觉很难完全消灭,但可以被缓解、被检测、被约束。

他认为,关键不是要求AI永远不犯错,而是建立一套使用方法:哪些场景可以直接用,哪些场景只能辅助用,哪些结论必须核实,哪些任务必须有人类专家把关。“我们不能盲信AI,但也不需要因为幻觉问题就否定AI的价值。”

红星新闻记者 王田

编辑 肖世清 审核 高升祥

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
51岁视后佘诗曼婚宴角落拭泪,承认想做妈妈,曾为事业错失爱情

51岁视后佘诗曼婚宴角落拭泪,承认想做妈妈,曾为事业错失爱情

粤睇先生
2026-08-09 22:35:15
“套路加盟”骗取300余人5400余万元,四人获刑

“套路加盟”骗取300余人5400余万元,四人获刑

新京报
2026-08-12 14:32:26
五折优惠!沃尔沃S90价格大跳水:部分门店裸车仅20.5万

五折优惠!沃尔沃S90价格大跳水:部分门店裸车仅20.5万

快科技
2026-08-12 12:22:56
8岁恋上老师,12岁官宣,一句“等你长大就结婚”,如今咋样了?

8岁恋上老师,12岁官宣,一句“等你长大就结婚”,如今咋样了?

郭蛹包工头
2026-08-10 04:57:02
诺基亚股价涨超10%

诺基亚股价涨超10%

财联社
2026-08-12 21:51:02
1942年日军在华北修了上万座炮楼,荒山野岭根本接不上电线,油料也十分紧缺,日军当年想出的这套供电法子,很多人听了都觉得意外

1942年日军在华北修了上万座炮楼,荒山野岭根本接不上电线,油料也十分紧缺,日军当年想出的这套供电法子,很多人听了都觉得意外

磊子讲史
2026-08-11 11:09:43
全线暴涨,最高达50%,家长坐不住了

全线暴涨,最高达50%,家长坐不住了

每日经济新闻
2026-08-10 14:52:13
炸鸡店深夜爆单,独自值守的店员边哭边打包,突然倒地!公司回应

炸鸡店深夜爆单,独自值守的店员边哭边打包,突然倒地!公司回应

奇思妙想生活家
2026-08-12 05:01:10
1998年数万华人遭屠杀,中国为何没出兵?26年后答案让人沉默

1998年数万华人遭屠杀,中国为何没出兵?26年后答案让人沉默

哄动一时啊
2026-02-17 22:21:25
全红婵回村陪爸爸过生日,独自安静坐在小角落吃起小蛋糕

全红婵回村陪爸爸过生日,独自安静坐在小角落吃起小蛋糕

眼底星碎
2026-08-11 16:39:46
当红女星,成了“背锅侠”?

当红女星,成了“背锅侠”?

中国新闻周刊
2026-08-12 22:08:03
吉利长安奇瑞集体发力,小电池混动问世,改写油混市场格局

吉利长安奇瑞集体发力,小电池混动问世,改写油混市场格局

周哥一影视
2026-08-12 01:42:27
湖北安陆交警副大队长王仁科,凌晨趁妻子熟睡时用哑铃将其杀害,连夜弃尸于三百里外的荒山,最终因一个枕头在2004年被抓捕归案

湖北安陆交警副大队长王仁科,凌晨趁妻子熟睡时用哑铃将其杀害,连夜弃尸于三百里外的荒山,最终因一个枕头在2004年被抓捕归案

人生录
2026-07-21 00:10:03
一超市老板租借手机号7000余个,从购物平台“薅掉”10余吨大米、鸡蛋,通过自己的超市售卖,已被警方抓获

一超市老板租借手机号7000余个,从购物平台“薅掉”10余吨大米、鸡蛋,通过自己的超市售卖,已被警方抓获

极目新闻
2026-08-12 12:12:54
人民日报“点名”康辉,释放三个强烈信号,撒贝宁的话真没说错

人民日报“点名”康辉,释放三个强烈信号,撒贝宁的话真没说错

寻墨阁
2026-08-12 05:26:19
球员比赛中猝死,送到太平间后发现手在动,重新拉回ICU抢救

球员比赛中猝死,送到太平间后发现手在动,重新拉回ICU抢救

全景体育V
2026-08-12 12:34:59
摩纳哥高层暴怒!33岁博格巴或退役:惨遭提前解约 1年5次离奇受伤

摩纳哥高层暴怒!33岁博格巴或退役:惨遭提前解约 1年5次离奇受伤

风过乡
2026-08-12 06:18:55
38军起义,谁给孔从洲当副手成难题,毛主席:韩先楚的老班长在哪

38军起义,谁给孔从洲当副手成难题,毛主席:韩先楚的老班长在哪

历史龙元阁
2026-08-11 21:52:57
AI应用热门股封涨停,13天9板

AI应用热门股封涨停,13天9板

第一财经资讯
2026-08-12 10:54:34
日内瓦现场激烈对峙!42国抱团施压逼中方道歉,我国硬刚手撕美国

日内瓦现场激烈对峙!42国抱团施压逼中方道歉,我国硬刚手撕美国

面包夹知识
2026-08-12 20:14:25
2026-08-12 22:36:49
红星资本局 incentive-icons
红星资本局
成都商报社官方账号
18934文章数 48951关注度
往期回顾 全部

科技要闻

Manus第二季,浪子回头

头条要闻

赖清德"逃跑路线" 网友逐帧拆解用街景地图"拼"出来了

头条要闻

赖清德"逃跑路线" 网友逐帧拆解用街景地图"拼"出来了

体育要闻

杜兰特,所谓的“联盟小王”

娱乐要闻

老戏骨杨昆两夺金鹰奖,因物业费被告

财经要闻

李嘉诚,再一次大撤退!他嗅到了什么?

汽车要闻

这台大众不一般 上汽大众ID.ERA.5S综合续航约2000公里

态度原创

本地
房产
健康
亲子
公开课

本地新闻

黄州一夜,苏轼写给普通人的月光

房产要闻

价格登顶,断层领跑!澄迈这家楼盘,凭什么?

身子歪≠脊柱侧弯,侧弯发病率没变

亲子要闻

隔辈亲到底有多亲,中韩双胞胎回国,姥姥姥爷直接搬空玩具城

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版