网易首页 > 网易号 > 正文 申请入驻

仅花12美元,工程师成功欺骗AI将虚构赛事奉为事实

0
分享至

来源:市场资讯

(来源:IT之家)

IT之家 5 月 4 日消息,普通搜索引擎会让用户自行甄别信息来源的可信度,而依托搜索能力的人工智能聊天机器人,却能把漏洞百出的网络素材包装成笃定确凿的答案。据 The Register 报道,就有这样一个典型案例:一名安全工程师哄骗多款 AI 机器人,声称自己是德国一款热门纸牌游戏的现任世界冠军,可事实上这项赛事根本不存在。


直到近期,维基百科的《谁是牛头王》(6 Nimmt!,英语地区玩家也称“拿五分”)词条里,还赫然标注着罗恩・斯托纳是 2025 年该项赛事的世界冠军。该维基百科条目引用了看起来十分官方的 6nimmt.com 网站作为依据,点开这个网址,确实能看到一篇简短的新闻通稿,宣称斯托纳斩获冠军。

整件事的破绽显而易见:斯托纳本人承认,维基百科的夺冠词条、以及留存这份唯一“夺冠证据”的 6nimmt.com 域名,都是他一手伪造的。可即便如此,当他向多款 AI 聊天机器人询问此事时,机器人依旧笃定地称他为世界冠军。

斯托纳在博客文章中表示:“我的网站没有任何独立第三方佐证,完全是凭空捏造。整个虚假骗局,仅仅建立在我喝咖啡时花 12 美元(IT之家注:现汇率约合 82 元人民币)注册的一个域名之上。”

换言之,这是检索增强生成(RAG)层面的信息投毒。它不属于提示词注入攻击,却直击人工智能联网搜索这一核心功能漏洞。

正如斯托纳所解释的:AI 并不会真正在意其引用的权威信息来源出处,而这正是斯托纳设计本次实验想要利用的关键点。

斯托纳写道:“所有具备联网搜索能力的前沿大语言模型,都会依据检索排名最高的内容生成答案。”在这场本就不存在的《谁是牛头王》赛事骗局中,他刻意植入的虚假来源是全网唯一相关信息,再加上维基百科自带的权威背书,轻易就能误导 AI 把谎言当成事实。这种造假手法门槛极低,即便不懂技术的普通人也能轻松复刻。

斯托纳称:“我这次的操作并无新意,不过是把传统搜索引擎优化和虚假信息传播手段,套上了大语言模型的新技术外壳与交互界面。真正的变化在于,如今 AI 会把这类虚假结果包装成权威信息呈现给用户,而绝大多数用户根本不了解背后的数据流转逻辑。”

斯托纳在分析文章中指出:“大语言模型最不擅长识别的,恰恰是它的核心设计逻辑 —— 无条件信任文本和网络资源。别指望模型能自行分辨真伪,它根本分不清某个信息来源是真实权威网站,还是我上周二刚注册的空壳域名;就连‘strawberry(草莓)’这个单词里到底有几个字母 R,它都没法精准判断。”

他解释道,本次实验暴露的漏洞包含三类失效模式,若被别有用心之人利用,造成的危害远比捏造一场纸牌游戏赛事严重得多。

第一,检索层漏洞。只要大语言模型依托网络搜索作答,就会直接沿用检索结果排名内容的可信度,极易输出错误信息。

第二,模型训练语料漏洞。斯托纳表示,若维基百科的虚假词条留存时间足够长、被网络爬虫抓取收录,就会混入 AI 训练语料库。他于 2025 年 2 月添加了虚假词条,直到上周五发布实验文章后才被删除。这意味着在此期间抓取维基百科数据的所有 AI 企业,都有可能把他虚构的夺冠经历纳入训练数据。

斯托纳称:“即便维基百科后续撤销了虚假编辑,那些用撤销前数据训练的模型,依然会保留这份虚假信息。截至 2026 年,语料投毒的后续清理问题至今没有可行的解决方案。”

他计划半年左右待新一代 AI 模型发布后再次测试:若模型无需联网,就能默认他是赛事冠军,就足以证明这份谎言已经固化进了模型训练数据。

第三,智能体漏洞。在斯托纳看来,这一漏洞才是恶意攻击者最有利可图的突破口。

他指出:“聊天模型输出虚假信息,只是品牌声誉问题;而拥有工具调用权限的 AI 智能体,若被误导做出错误操作,将会引发严重的安全隐患。”攻击者只需对智能体检索的信息来源进行投毒,就能操控智能体执行指定恶意行为。

斯托纳在博客中总结:“这次攻击测试,我只花了 12 美元注册域名、编辑了一条维基百科词条,耗时不过二十分钟。试想,若有蓄意攻击者批量注册虚假域名、在数十个低流量维基百科词条中同步植入虚假内容,攻击面会瞬间急剧扩大。”

斯托纳认为,大语言模型服务商必须正视检索投毒问题,并向用户作出风险提示。他预计,未来 AI 聊天机器人很快会新增风险警示功能,尤其针对检索增强生成的内容。

他还呼吁 AI 企业将数据溯源纳入核心研发环节,同时对近期新增的网络内容进行启发式筛查,识别可疑特征。以本次纸牌游戏造假事件为例:单一引文指向维基百科更新前后短期内刚注册的域名,本应触发风险预警,却被 AI 完全忽略。

如今这场虚假赛事已被从维基百科删除,AI 检索增强生成结果中也不再出现相关内容。但斯托纳强调,此次骗局利用的信任逻辑漏洞真实存在,已然成为人工智能行业亟待解决的潜在隐患。

斯托纳表示:“很高兴我的文章能引发业界对大语言模型、信息来源、信息可信度以及底层运行逻辑的讨论。这正是我做这次实验的初衷,而目前看来,我的目标已经达成。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郭晶晶没想到,伏明霞一家晚宴亮相,再次撕碎多少豪门婚姻的体面

郭晶晶没想到,伏明霞一家晚宴亮相,再次撕碎多少豪门婚姻的体面

林轻吟
2026-08-15 11:52:06
火箭2换1豪赌锡安?美媒支招卖范乔丹+小贾,杜兰特再迎争冠强援

火箭2换1豪赌锡安?美媒支招卖范乔丹+小贾,杜兰特再迎争冠强援

锅子篮球
2026-08-15 20:07:47
中国防对菲下通牒,勒令拖走仁爱礁破船,不到1日马科斯口风变了

中国防对菲下通牒,勒令拖走仁爱礁破船,不到1日马科斯口风变了

携手游人间a
2026-08-15 21:57:29
百果园致歉:广州涉事门店,已清洁消毒

百果园致歉:广州涉事门店,已清洁消毒

南方都市报
2026-08-15 09:13:23
瑞典大满贯凌晨爆大冷!女单形势剧变,王曼昱争冠道路直接开绿灯!

瑞典大满贯凌晨爆大冷!女单形势剧变,王曼昱争冠道路直接开绿灯!

锐评利物浦
2026-08-15 16:41:07
东契奇谈詹姆斯离队:我很喜欢球队的现有阵容 相信我们终能夺冠

东契奇谈詹姆斯离队:我很喜欢球队的现有阵容 相信我们终能夺冠

北青网-北京青年报
2026-08-15 10:36:08
吴越,太刚了!8月14日凌晨00:31分硬气开怼!在社交平台发文一条有关自己的报道,言辞犀利回怼撕破谣言

吴越,太刚了!8月14日凌晨00:31分硬气开怼!在社交平台发文一条有关自己的报道,言辞犀利回怼撕破谣言

一盅情怀
2026-08-15 11:25:32
新鹏城2-1逆转铁人,姜至鹏补时绝杀,阿代米、热菲尼奥破门

新鹏城2-1逆转铁人,姜至鹏补时绝杀,阿代米、热菲尼奥破门

懂球帝
2026-08-15 21:03:09
又一台“消失的理想”?一车主发声求助,车辆也被卖到哈萨克斯坦

又一台“消失的理想”?一车主发声求助,车辆也被卖到哈萨克斯坦

热点科技
2026-08-13 17:41:15
判46.8万却是空头支票:老人被撞身亡,司机一句“没钱”就完了?

判46.8万却是空头支票:老人被撞身亡,司机一句“没钱”就完了?

程韧风
2026-08-14 18:49:10
倒贴4.63亿,胖东来彻底心寒!于东来官宣:再也不无偿帮任何同行

倒贴4.63亿,胖东来彻底心寒!于东来官宣:再也不无偿帮任何同行

体育小柚
2026-08-11 09:52:10
曝方文山婚内出轨,女方身份照片被扒,曾轻生未遂,大量情书曝光

曝方文山婚内出轨,女方身份照片被扒,曾轻生未遂,大量情书曝光

180视角
2026-08-11 13:04:43
「公告」新版1元硬币,即将发行

「公告」新版1元硬币,即将发行

老孟谈钱
2026-08-15 13:02:06
辣眼睛!160万粉女网红身着紧身包臀裙,和男网红朱一龙紧紧拥抱贴在一起自拍,社交尺度惹巨大争议

辣眼睛!160万粉女网红身着紧身包臀裙,和男网红朱一龙紧紧拥抱贴在一起自拍,社交尺度惹巨大争议

火山詩话
2026-08-14 07:08:27
胡杏儿回应老公和黄宗泽拥抱:两人根本不认识,拥抱是因为听不清

胡杏儿回应老公和黄宗泽拥抱:两人根本不认识,拥抱是因为听不清

韩小娱
2026-08-15 17:38:50
“新型出轨方式”正悄然兴起,不私会不开房,却正在毁掉千万家庭

“新型出轨方式”正悄然兴起,不私会不开房,却正在毁掉千万家庭

流史岁月
2026-08-10 10:46:45
曼联vs米兰:库尼亚、B费、马奎尔首发,贡萨洛-拉莫斯出战

曼联vs米兰:库尼亚、B费、马奎尔首发,贡萨洛-拉莫斯出战

懂球帝
2026-08-15 22:16:17
巩俐上海参加活动被说老了好多,走路慢了,连产品名都没说出来

巩俐上海参加活动被说老了好多,走路慢了,连产品名都没说出来

汉字笔迹心理分析
2026-08-14 15:39:14
组织部长谈话问我想不想去锻炼,我如果答“服从安排”就完了,我只回了另外两句话,一周后就被破格提拔

组织部长谈话问我想不想去锻炼,我如果答“服从安排”就完了,我只回了另外两句话,一周后就被破格提拔

晓艾故事汇
2026-08-15 09:34:20
真的太过分!王水牛约会“马不停蹄”,女生哭诉:一夜过后,让她自行离开要约下一个

真的太过分!王水牛约会“马不停蹄”,女生哭诉:一夜过后,让她自行离开要约下一个

火山詩话
2026-08-14 07:35:53
2026-08-15 23:40:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4435899文章数 9294关注度
往期回顾 全部

科技要闻

600亿美元收购落地 马斯克正式杀入

头条要闻

"榜一大哥"打赏女主播超千万要求陪睡 女方拒绝被起诉

头条要闻

"榜一大哥"打赏女主播超千万要求陪睡 女方拒绝被起诉

体育要闻

体系球员与体系本身

娱乐要闻

宋慧乔晒自拍照 微笑拍照心情佳

财经要闻

便利蜂加盟遭立案:"0元加盟"生意被查

汽车要闻

杨洋成001号车主 岚图追光S正式上市

态度原创

教育
数码
游戏
亲子
公开课

教育要闻

【堂堂上新!!!】2027TTS答题哄学班|答题背诵模考冲刺!!9月-12月包圆你的考研下半场!!!

数码要闻

极摩客EVO-X5迷你主机现身Geekbench:锐龙AI Max+ Pro 495处理器

《暗黑血统4》喜迎锁档新消息!玩家担忧:别是类魂

亲子要闻

怀了个财神是什么体验?网友:我女儿没出生就带了60万过来

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版