网易首页 > 网易号 > 正文 申请入驻

仅花12美元,工程师成功欺骗AI将虚构赛事奉为事实

0
分享至

IT之家5月4日消息,普通搜索引擎会让用户自行甄别信息来源的可信度,而依托搜索能力的人工智能聊天机器人,却能把漏洞百出的网络素材包装成笃定确凿的答案。据 The Register 报道,就有这样一个典型案例:一名安全工程师哄骗多款 AI 机器人,声称自己是德国一款热门纸牌游戏的现任世界冠军,可事实上这项赛事根本不存在。


工程师成功欺骗AI将虚构赛事奉为事实 资料图

直到近期,维基百科的《谁是牛头王》(6 Nimmt!,英语地区玩家也称“拿五分”)词条里,还赫然标注着罗恩・斯托纳是2025年该项赛事的世界冠军。该维基百科条目引用了看起来十分官方的6nimmt.com 网站作为依据,点开这个网址,确实能看到一篇简短的新闻通稿,宣称斯托纳斩获冠军。

整件事的破绽显而易见:斯托纳本人承认,维基百科的夺冠词条、以及留存这份唯一“夺冠证据”的6nimmt.com 域名,都是他一手伪造的。可即便如此,当他向多款 AI 聊天机器人询问此事时,机器人依旧笃定地称他为世界冠军。

斯托纳在博客文章中表示:“我的网站没有任何独立第三方佐证,完全是凭空捏造。整个虚假骗局,仅仅建立在我喝咖啡时花12美元(IT之家注:现汇率约合82元人民币)注册的一个域名之上。”

换言之,这是检索增强生成(RAG)层面的信息投毒。它不属于提示词注入攻击,却直击人工智能联网搜索这一核心功能漏洞。

正如斯托纳所解释的:AI 并不会真正在意其引用的权威信息来源出处,而这正是斯托纳设计本次实验想要利用的关键点。

斯托纳写道:“所有具备联网搜索能力的前沿大语言模型,都会依据检索排名最高的内容生成答案。”在这场本就不存在的《谁是牛头王》赛事骗局中,他刻意植入的虚假来源是全网唯一相关信息,再加上维基百科自带的权威背书,轻易就能误导 AI 把谎言当成事实。这种造假手法门槛极低,即便不懂技术的普通人也能轻松复刻。

斯托纳称:“我这次的操作并无新意,不过是把传统搜索引擎优化和虚假信息传播手段,套上了大语言模型的新技术外壳与交互界面。真正的变化在于,如今 AI 会把这类虚假结果包装成权威信息呈现给用户,而绝大多数用户根本不了解背后的数据流转逻辑。”

斯托纳在分析文章中指出:“大语言模型最不擅长识别的,恰恰是它的核心设计逻辑 —— 无条件信任文本和网络资源。别指望模型能自行分辨真伪,它根本分不清某个信息来源是真实权威网站,还是我上周二刚注册的空壳域名;就连‘strawberry(草莓)’这个单词里到底有几个字母 R,它都没法精准判断。”

他解释道,本次实验暴露的漏洞包含三类失效模式,若被别有用心之人利用,造成的危害远比捏造一场纸牌游戏赛事严重得多。

第一,检索层漏洞。只要大语言模型依托网络搜索作答,就会直接沿用检索结果排名内容的可信度,极易输出错误信息。

第二,模型训练语料漏洞。斯托纳表示,若维基百科的虚假词条留存时间足够长、被网络爬虫抓取收录,就会混入 AI 训练语料库。他于2025年2月添加了虚假词条,直到上周五发布实验文章后才被删除。这意味着在此期间抓取维基百科数据的所有 AI 企业,都有可能把他虚构的夺冠经历纳入训练数据。

斯托纳称:“即便维基百科后续撤销了虚假编辑,那些用撤销前数据训练的模型,依然会保留这份虚假信息。截至2026年,语料投毒的后续清理问题至今没有可行的解决方案。”

他计划半年左右待新一代 AI 模型发布后再次测试:若模型无需联网,就能默认他是赛事冠军,就足以证明这份谎言已经固化进了模型训练数据。

第三,智能体漏洞。在斯托纳看来,这一漏洞才是恶意攻击者最有利可图的突破口。

他指出:“聊天模型输出虚假信息,只是品牌声誉问题;而拥有工具调用权限的 AI 智能体,若被误导做出错误操作,将会引发严重的安全隐患。”攻击者只需对智能体检索的信息来源进行投毒,就能操控智能体执行指定恶意行为。

斯托纳在博客中总结:“这次攻击测试,我只花了12美元注册域名、编辑了一条维基百科词条,耗时不过二十分钟。试想,若有蓄意攻击者批量注册虚假域名、在数十个低流量维基百科词条中同步植入虚假内容,攻击面会瞬间急剧扩大。”

斯托纳认为,大语言模型服务商必须正视检索投毒问题,并向用户作出风险提示。他预计,未来 AI 聊天机器人很快会新增风险警示功能,尤其针对检索增强生成的内容。

他还呼吁 AI 企业将数据溯源纳入核心研发环节,同时对近期新增的网络内容进行启发式筛查,识别可疑特征。以本次纸牌游戏造假事件为例:单一引文指向维基百科更新前后短期内刚注册的域名,本应触发风险预警,却被 AI 完全忽略。

如今这场虚假赛事已被从维基百科删除,AI 检索增强生成结果中也不再出现相关内容。但斯托纳强调,此次骗局利用的信任逻辑漏洞真实存在,已然成为人工智能行业亟待解决的潜在隐患。

斯托纳表示:“很高兴我的文章能引发业界对大语言模型、信息来源、信息可信度以及底层运行逻辑的讨论。这正是我做这次实验的初衷,而目前看来,我的目标已经达成。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
纽约女州长戴头巾参加伊斯兰活动,川普谴责其无能

纽约女州长戴头巾参加伊斯兰活动,川普谴责其无能

移光幻影
2026-08-31 22:34:06
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
尼泊尔泥石流灾害造成的遇难人数升至974人 尼泊尔错坚河冲击坑周边冰川仍有崩落可能,存在重大风险隐患

尼泊尔泥石流灾害造成的遇难人数升至974人 尼泊尔错坚河冲击坑周边冰川仍有崩落可能,存在重大风险隐患

每日经济新闻
2026-09-01 19:43:53
孙宇晨前女友曾颖回应景甜“三千万彩礼”:他给的大概率是千万要开心,千万要幸福,千万要平安

孙宇晨前女友曾颖回应景甜“三千万彩礼”:他给的大概率是千万要开心,千万要幸福,千万要平安

背包旅行
2026-08-31 17:43:35
拿球砸杨瀚森,涉事VIP球迷身份曝光,名嘴苏群说出没人敢提细节

拿球砸杨瀚森,涉事VIP球迷身份曝光,名嘴苏群说出没人敢提细节

萌兰聊个球
2026-09-01 19:02:54
没料到!勒庞决选通杀,亲华派跌剩2%支持率,法国恐怕要大变天

没料到!勒庞决选通杀,亲华派跌剩2%支持率,法国恐怕要大变天

共工之锚
2026-09-02 00:23:56
大连一公司拆除围墙时致3人死亡,事故调查报告公布

大连一公司拆除围墙时致3人死亡,事故调查报告公布

澎湃新闻
2026-09-01 17:26:26
顶级体坛流氓,逼走陈忠和、刘国梁、郎平,单挑 3 个体坛顶流

顶级体坛流氓,逼走陈忠和、刘国梁、郎平,单挑 3 个体坛顶流

酷侃体坛
2026-08-04 18:30:28
苏联曾承诺,1995年将海参崴港口归还中国,为何如今却杳无音信?

苏联曾承诺,1995年将海参崴港口归还中国,为何如今却杳无音信?

搜史君
2026-08-30 16:30:12
闹大了!为期仅仅五天的学生军训还在进行,家委会提议全班出资,给教官赠送价值117元的保温杯,引发争议

闹大了!为期仅仅五天的学生军训还在进行,家委会提议全班出资,给教官赠送价值117元的保温杯,引发争议

火山詩话
2026-08-30 06:03:49
全盘反噬!央视带头,奔驰大众立案讨伐,星宇股份的供应链要凉了

全盘反噬!央视带头,奔驰大众立案讨伐,星宇股份的供应链要凉了

小鋭有话说
2026-09-01 15:21:48
噩梦开局!穆里尼奥遭遇巨大危机!皇马中场直接崩塌

噩梦开局!穆里尼奥遭遇巨大危机!皇马中场直接崩塌

奶盖熊本熊
2026-09-01 07:14:52
直播间一锤砸出500万?武汉洪山警方通报:出动百余名警力,打掉特大直播诈骗团伙刑拘81人

直播间一锤砸出500万?武汉洪山警方通报:出动百余名警力,打掉特大直播诈骗团伙刑拘81人

极目新闻
2026-09-01 19:09:03
对华变脸!刚侵占南海主权,又砸巨资30亿求中国合作,原因不简单

对华变脸!刚侵占南海主权,又砸巨资30亿求中国合作,原因不简单

经纬戎韬
2026-09-02 01:48:52
A股:刚刚,商务部等三部门重磅发布!做好准备,周三面临新变盘

A股:刚刚,商务部等三部门重磅发布!做好准备,周三面临新变盘

虎哥闲聊
2026-09-02 00:00:08
幸运!布云朝克特以幸运落败者身份递补美网正赛 生涯第2次

幸运!布云朝克特以幸运落败者身份递补美网正赛 生涯第2次

醉卧浮生
2026-09-02 00:52:10
特朗普终于意识到,自己犯下了巨大的错误!那就是离开了中国

特朗普终于意识到,自己犯下了巨大的错误!那就是离开了中国

果妈聊娱乐
2026-09-01 13:03:39
大病最危险信号,不是消瘦,是睡觉频繁出现4个表现,别不当回事

大病最危险信号,不是消瘦,是睡觉频繁出现4个表现,别不当回事

医学原创故事会
2026-09-01 22:30:08
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
墨菲炮轰斯诺克中国系列赛时间安排太长:没人愿意在那里耗上六周

墨菲炮轰斯诺克中国系列赛时间安排太长:没人愿意在那里耗上六周

杨华评论
2026-09-01 20:27:50
2026-09-02 04:03:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
364254文章数 607477关注度
往期回顾 全部

科技要闻

抖音突发推荐算法大面积错乱!

头条要闻

美国银行副总裁在纽约时代广场被刺身亡 年仅32岁

头条要闻

美国银行副总裁在纽约时代广场被刺身亡 年仅32岁

体育要闻

大爹杨瀚森,让中国男篮有了容错空间

娱乐要闻

孙宇晨破防,他无法接受孙割这个名字

财经要闻

"电梯亲热门"后 惠州首富给老婆转238亿

汽车要闻

山城试驾启源Q06 不光是智驾好用还有700km的续航

态度原创

数码
亲子
旅游
手机
公开课

数码要闻

驰为推出NeoBook笔记本:酷睿3 100U处理器,内存硬盘可升级

亲子要闻

利洁时美赞臣NEC案件胜诉,重申早产儿配方奶粉安全性

旅游要闻

永定河森林公园轮渡码头将全线运营

手机要闻

库克发文告别苹果CEO一职,称对Apple社区的热爱永远不会改变

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版