网易首页 > 网易号 > 正文 申请入驻

AI也会“栽赃”?有律师被虚假“定罪”!专家:大模型“幻觉”无法根除,但可防控

0
分享至

红星资本局5月9日消息,当搜索AI,却显示自己的“犯罪信息”该怎么办?江苏南京执业律师李小亮就遇到了被AI“定罪”的情况。

AI会“骗人”并不是一个新话题,但“技术上能否避免”“我们是否还能继续相信AI”是值得探讨的话题。对此,红星资本局就相关问题采访了有关专家。


图据图虫创意

被AI虚假“定罪”并非个案

据媒体报道,李小亮发现,在百度手机APP、百度网站搜索“李小亮律师”“南京李小亮律师”“江苏李小亮律师”等关键词,在百度搜索下拉词、“大家还在搜”“相关搜索”“AI智能回答”等板块会出现“南京李小亮律师判刑了吗?”“南京李小亮律师判刑了多少年、南京李小亮律师涉案金额”等搜索和下拉词条内容。

更严重的是,当搜索“李小亮律师被判几年”时,“AI智能回答”直接给出:“三年,李小亮律师被判三年有期徒刑。根据探索结果,被告人李小亮因犯爆炸罪,被判处有期徒刑三年。”回答中甚至配上了李小亮本人穿着律师袍的照片。

随后,南京市江北新区人民法院一审认定北京百度网讯科技有限公司(下称“百度公司”)上述行为构成名誉侵权。百度公司在庭后提供的情况说明中认为,AI搜索结果与用户输入提示词高度相关,且当时国内人工智能发展尚处初期,技术有限,侵权内容具有极强的偶然性。

一审判决后,百度公司不服并提起上诉。二审庭审中,百度公司的诉讼代理人表示,所有人工智能都会产生幻觉,AI幻觉的出现具有不确定性,百度公司无法预见,因此不能认为有过错。

这类情况并非个例。此前也有媒体曝出,北京律师黄贵耕同样因百度AI自动生成严重虚假负面信息而深受困扰。AI将他描述为威胁法官、介绍贿赂、伪造印章、非法吸收公众存款等多个刑事犯罪信息的当事人,且每一项虚假信息都直接关联他的职业身份,给他带来了巨大损失。

大模型为何会产生“幻觉”?

有业内人士告诉红星资本局,上述提及的“AI幻觉”,包括事实性幻觉(编造不存在的事件、数据)、归因幻觉(虚构信息来源)、逻辑幻觉(推理链条断裂却输出看似合理的结论)。

除此以外,还有身份混淆,把同名同姓、相似职业、相似地区的人混为一谈;把过去、现在、未来的信息混在一起;文字错了,照片却配上了真实本人等等,都属于“AI幻觉”的范畴。

眺远影响力研究院院长高承远对红星资本局表示,AI生成这种严重虚假信息,根源在于大语言模型的"概率生成"机制——它不是在检索事实,而是在预测下一个最可能出现的词。

“当训练语料中关于某个特定人物的信息稀疏或存在噪声时,模型会基于‘律师’‘判刑’等高频关联词进行‘合理拼凑’,本质上是对语义相关性的误用,而非事实判断。”高承远说。

香港中文大学(深圳)数据科学学院助理教授、深圳市河套学院双聘教授王本友告诉红星资本局,AI生成虚假信息,确实有技术原因,但它不是一个简单的“程序 bug”。

王本友解释,大模型本质上不是在像搜索引擎一样查事实,而是在根据已有训练和上下文,生成一个“看起来最合理”的回答。所以当它遇到信息不完整、问题比较模糊、或者自己没有可靠依据的时候,就可能会一本正经地编出一些内容,而且表达得很像真的。

“这类问题可以靠技术迭代缓解,比如模型更大、更聪明之后,通常会好一些,低级错误会少一些,逻辑也会更稳一些。但它很难被彻底消灭。”王本友表示,因为只要AI还是生成式模型,它就会有补全、联想和生成的能力,也就可能在不确定的时候“脑补”。

责任之争:是技术局限,还是产品治理失位?

“这件事不能简单归结为‘AI还不成熟’。”中国科技新闻学会科幻传播与未来产业专委会会员专家高恒告诉红星资本局,从技术上看,AI确实可能产生幻觉,但在搜索产品里,把一个执业律师错误写成“被判刑三年”,这既是技术问题,也是产品治理问题。技术可以降低这类错误,但不能只靠“模型更聪明”来解决。

高恒认为,对于涉及个人犯罪记录、司法判决、职业信誉、医疗健康、金融投资这类高风险信息,平台不能让AI自由发挥。

“正确做法应该是:没有权威来源就不回答;没有法院文书、官方公告等可靠证据,就不能生成肯定性结论;一旦涉及‘判刑’‘违法’‘失信’等严重负面标签,系统必须提高审核门槛,甚至直接拒答。”高恒说。

专家:“AI幻觉”无法根除,但可防控

那么“AI幻觉”能不能完全避免?“很难。”高恒说,只要大模型还是基于概率生成语言,就不可能做到百分之百无错。

他指出,问题的关键不是“能不能让AI永远不犯错”,而是“能不能在高风险场景里阻止它把错误变成公开伤害”。

高承远则指出,幻觉能否避免,取决于三个变量:一是模型是否具备"知其所不知"的能力——当前多数模型在置信度校准上表现糟糕,低置信度时仍言之凿凿;二是知识更新机制能否实时同步权威信源,避免用静态训练数据回答动态事实;三是商业平台是否愿意为降低幻觉投入足够的工程成本,包括人工审核、溯源标注和负反馈闭环。

高承远解释,技术迭代可以显著降低发生率,但"零幻觉"在概率模型框架下是数学不可能,只能无限逼近,不能根除。“技术层面无法100%消除,但‘无法预见’不等于‘无法防控’,平台对明显涉及人身权益的生成内容负有更高的注意义务。”

高恒也提到了多方因素,他指出,模型能力只是第一层,后面还有数据源质量、检索系统、事实校验机制、置信度控制、敏感场景识别、人工审核、申诉纠错机制。尤其在法律和个人名誉相关场景,平台应该建立更硬的规则。

“幻觉不是完全不可控。它无法彻底避免,但可以通过更强模型、检索增强、工具验证、场景约束和人工反馈不断降低。”王本友表示。

分场景信任,AI可用但不可盲信

如果幻觉无法“根治”,那么我们还可以相信AI吗?三位专家给出的答案是,可以,但要分级别。

“不能盲信,但也没必要全盘否定。”高恒更倾向于把AI分成两类场景看:在创意、写作、代码辅助、资料整理这类场景,AI可以大胆用,但要保留人工判断;在司法、医疗、金融、个人名誉、公共安全这些场景,AI只能作为辅助工具,不能直接成为事实裁判。

高承远则表示,信任必须分层、分场景。在创意发散、代码辅助、知识框架梳理等容错率高的场景,AI的效率增益远超风险成本;但在司法、医疗、金融、人身名誉等高风险领域,AI输出必须被视为"草稿"而非"定论",需要人机协同验证。

“真正的信任建立,不在于消灭幻觉,而在于建立可预期的责任机制——谁生成、谁审核、谁担责,链条清晰了,用户才能知道什么时候可以信、信到什么程度。”

“准确地说,是我们不能‘无条件相信AI’。”王本友表示,AI幻觉很难完全消灭,但可以被缓解、被检测、被约束。

他认为,关键不是要求AI永远不犯错,而是建立一套使用方法:哪些场景可以直接用,哪些场景只能辅助用,哪些结论必须核实,哪些任务必须有人类专家把关。“我们不能盲信AI,但也不需要因为幻觉问题就否定AI的价值。”

红星新闻记者 王田

编辑 肖世清 审核 高升祥

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
御用名医曝谢贤生前猛料,难怪被曝不许柏芝再嫁,三胎生父藏不住

御用名医曝谢贤生前猛料,难怪被曝不许柏芝再嫁,三胎生父藏不住

讯崽侃天下
2026-07-26 04:30:51
非法收受财物超22亿元,杨有林一审被判死刑:犯罪情节特别严重,社会影响特别恶劣

非法收受财物超22亿元,杨有林一审被判死刑:犯罪情节特别严重,社会影响特别恶劣

每日经济新闻
2026-07-06 21:58:54
公开喊话LV,如果要离开中国市场,请干净利索的走,我们不需要你

公开喊话LV,如果要离开中国市场,请干净利索的走,我们不需要你

江启
2026-07-23 09:32:20
好消息 四川自研抗癌新药获批,疗效直接碾压传统化疗!

好消息 四川自研抗癌新药获批,疗效直接碾压传统化疗!

坠入二次元的海洋
2026-07-23 16:59:47
多名院士呼吁快停止食用,吃一口等于14斤塑料袋,女子因肾衰走了

多名院士呼吁快停止食用,吃一口等于14斤塑料袋,女子因肾衰走了

任医生聊健康
2026-06-18 22:00:09
奉劝所有上年纪的人:夫妻感情淡了,分屋睡,各花各的,跟外人似的,也别离婚

奉劝所有上年纪的人:夫妻感情淡了,分屋睡,各花各的,跟外人似的,也别离婚

十点读书
2026-07-24 20:40:13
注意:发现手机上有月亮图标,请及时关闭

注意:发现手机上有月亮图标,请及时关闭

小柱解说游戏
2026-07-17 14:02:13
又一小学通知了!北京多区中小学开学时间安排出炉!速戳了解→

又一小学通知了!北京多区中小学开学时间安排出炉!速戳了解→

辉哥说动漫
2026-07-26 03:35:31
爱德华兹警告詹皇选队内幕曝光:若不迅速决定,我就扯掉你脑袋

爱德华兹警告詹皇选队内幕曝光:若不迅速决定,我就扯掉你脑袋

坠入温柔晚风
2026-07-26 02:20:12
中国对等反制,不到24小时,欧盟急了:要求中方给他一个解释

中国对等反制,不到24小时,欧盟急了:要求中方给他一个解释

风流女汉
2026-07-25 12:09:47
同样出自北大,王虹、邓煜斩获菲尔兹奖,为何韦东奕不得奖?网友:韦神只是个网红!

同样出自北大,王虹、邓煜斩获菲尔兹奖,为何韦东奕不得奖?网友:韦神只是个网红!

谭谈社会
2026-07-25 09:25:03
电影《三国第一部:争洛阳》宣布撤档

电影《三国第一部:争洛阳》宣布撤档

澎湃新闻
2026-07-25 21:58:06
越谈越挑衅!美国已介入,11艘舰船同步逼近,菲律宾逼中方出手

越谈越挑衅!美国已介入,11艘舰船同步逼近,菲律宾逼中方出手

芳芳历史烩
2026-07-26 04:53:40
笑麻了!终于明白为啥你们一回老家就掉秤,网友:原来不止是我

笑麻了!终于明白为啥你们一回老家就掉秤,网友:原来不止是我

夜深爱杂谈
2026-07-25 22:38:33
24岁女孩找3名黑人抢劫父母,母亲被强奸杀害,父亲挨了2枪

24岁女孩找3名黑人抢劫父母,母亲被强奸杀害,父亲挨了2枪

胖胖侃咖
2026-07-21 20:00:08
江苏机关单位科室改名解读

江苏机关单位科室改名解读

娱乐圈见解说
2026-07-25 12:53:44
全体注意!A股放大招!下周超级周!

全体注意!A股放大招!下周超级周!

龙行天下虎
2026-07-25 22:48:16
台风“红霞”增强、红色预警拉响,京津冀是否会再现“台风雨”?

台风“红霞”增强、红色预警拉响,京津冀是否会再现“台风雨”?

新京报
2026-07-25 23:50:20
沙特王子伦敦酒店身亡确认死于药物混合物,年仅29岁

沙特王子伦敦酒店身亡确认死于药物混合物,年仅29岁

生活观察员啊
2026-07-25 00:25:57
勒布朗官宣加盟76人:2年800万,生涯最后一站联手马克西爱德华兹

勒布朗官宣加盟76人:2年800万,生涯最后一站联手马克西爱德华兹

林间小温柔
2026-07-26 03:11:37
2026-07-26 05:48:49
红星新闻 incentive-icons
红星新闻
成都传媒集团旗下的新媒体平台
211590文章数 1345190关注度
往期回顾 全部

科技要闻

星舰13飞全中!20颗真卫星出舱

头条要闻

伊朗:摧毁美军F-15、C-17运输机等11架战机

头条要闻

伊朗:摧毁美军F-15、C-17运输机等11架战机

体育要闻

拿过两个金球奖,却说它只值10英镑

娱乐要闻

王祖贤这么缺钱吗 竟然把自己卖给了AI

财经要闻

滥用市场支配地位 携程被罚没51.79亿元

汽车要闻

轿跑姿态+大空间/标配655km续航 奇瑞风云A9置换价10.68万起

态度原创

艺术
亲子
手机
家居
公开课

艺术要闻

林俊杰破例献曲,只因看了她的画!这个“狂野少女”到底什么来头?看完我头皮发麻!

亲子要闻

比没人生娃更可怕的事情发生了!幼儿园里的男孩开始越来越多

手机要闻

小米大会师旗舰三证齐全:玄戒O3+全自研大模型矩阵,MIX阔折叠下月见

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版