网易首页 > 网易号 > 正文 申请入驻

太简单!工程师仅花82元就能污染AI信息源:伪造自己是游戏世界冠军

0
分享至

快科技5月4日消息,用搜索引擎找答案,你能看到多个竞争信息源,自己判断真伪。但带联网搜索的AI聊天机器人,会把网上不靠谱的内容,包装成笃定的标准答案。

一位安全工程师的简单实验,就把AI的这个致命漏洞扒得明明白白。

实验的发起者,是安全工程师RonStoner。他选中的目标,是德国经典卡牌桌游《6Nimmt!》。这款游戏在国内被玩家熟知为《谁是牛头王》,英文译名叫《Take5》,本身根本没有官方世界冠军赛,更不存在2025年的世界冠军得主。

2月份,Stoner悄悄编辑了这款游戏的维基百科条目,把自己写成了该游戏的2025年世界冠军。

他还花12美元,也就是约82元人民币,注册了和游戏名高度相似的6nimmt.com域名,在网站里放了一篇庆祝自己夺冠的假新闻稿,当成维基百科条目的唯一引用来源。

就是这么一个简陋到极致的骗局,却轻松骗过了多款主流AI聊天机器人。当他向这些带联网搜索功能的AI,询问自己的"冠军身份"时,所有机器人都一本正经地给出了确认答案,笃定地宣称他就是这款桌游的现任世界冠军。

"我的网站没有任何独立佐证,全是虚构的。"Stoner在博客中直言,"整个谎言的根基,不过是我喝咖啡时花82块钱注册的一个域名。"

这次攻击针对的,不是常见的提示词注入,而是AI系统的检索增强生成(RAG)层,也就是AI回答问题前,联网搜索并抓取资料的核心环节。

AI不会甄别信息来源的真伪与权威性,只会抓取检索排名靠前的内容。他的假网站是这个"冠军头衔"的唯一信息来源,再加上维基百科的权威背书,轻松就让AI把谎言包装成了事实。

Stoner坦言,这个手法没有任何技术创新。只是把老套的SEO和虚假信息手段,套上了大语言模型的新外壳。真正危险的是,AI会把这些结果当成权威信息呈现,而绝大多数用户根本不知道背后的信息处理流程。

这场实验,还暴露了AI系统的三层致命安全隐患。

第一层是即时检索层,靠联网搜索生成答案的AI,可信度完全绑定搜索结果的质量。

第二层是模型训练语料库,他的维基百科编辑从2月一直存活到上周五,这段时间里爬取维基百科的AI公司,很可能已将假信息纳入训练数据,就算条目事后删除,模型里的虚假痕迹也很难清除。

第三层也是最危险的,是AI代理。聊天模型输出错误信息只是声誉问题,拥有工具权限的AI代理被误导后,产生的错误操作就是实打实的安全问题,攻击者可直接操控代理执行恶意行为。

整个实验,Stoner只花了82块钱、一次维基百科编辑,前后20分钟就完成了。他提醒,若是有组织的恶意攻击者,批量注册域名、发起协同编辑攻击,攻击面会以极快的速度扩大。他呼吁AI厂商必须重视信息来源溯源,建立对应的风险过滤机制。

如今,假冠军的信息已经从维基百科和AI检索结果中消失。但AI对网络信息的盲目信任,这个底层漏洞依然真实存在。这才是悬在整个AI行业头上,最需要警惕的隐患。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
99%的女人出轨完男人后,都会默契地做出这3种行为,不信你看看

99%的女人出轨完男人后,都会默契地做出这3种行为,不信你看看

加油丁小文
2026-05-03 08:30:16
豹猫:这种5000多年前就开始陪伴中国人的猫,它们现在去哪里了?

豹猫:这种5000多年前就开始陪伴中国人的猫,它们现在去哪里了?

怪罗
2026-05-03 23:40:18
中国隐形巨富的奢华生活,你根本想象不到

中国隐形巨富的奢华生活,你根本想象不到

糖逗在娱乐
2026-05-04 14:04:35
2026年这5个行业,竟已发不出工资!形势真的很严峻了

2026年这5个行业,竟已发不出工资!形势真的很严峻了

细说职场
2026-04-26 16:52:27
“不去后悔,去了更后悔!”五一最堵6大景区曝光,堵到一动不动

“不去后悔,去了更后悔!”五一最堵6大景区曝光,堵到一动不动

阿伧说事
2026-05-02 12:28:11
打蛇打七寸!中国全面断供开始,日本多行业停摆,高市真慌了

打蛇打七寸!中国全面断供开始,日本多行业停摆,高市真慌了

来科点谱
2026-04-19 07:17:32
蔡一杰脑癌扩散!59岁频繁回内地农村老家,重温童年时光

蔡一杰脑癌扩散!59岁频繁回内地农村老家,重温童年时光

原梦叁生
2026-04-30 08:10:48
季后赛8强正式诞生!半决赛对阵出炉,西部悬念不大哈登要争冠了

季后赛8强正式诞生!半决赛对阵出炉,西部悬念不大哈登要争冠了

篮球扫地僧
2026-05-04 12:00:56
“超级牛散”,持仓曝光!

“超级牛散”,持仓曝光!

新浪财经
2026-05-04 11:06:16
35岁下海经商,55岁娶孔东梅,69岁已是百亿富豪,长子成他的骄傲

35岁下海经商,55岁娶孔东梅,69岁已是百亿富豪,长子成他的骄傲

冷紫葉
2026-04-21 16:09:57
发现了吗?军方明显越来越“不耐烦”,说的都是外国人能听懂的话

发现了吗?军方明显越来越“不耐烦”,说的都是外国人能听懂的话

浪子阿邴聊体育
2026-05-03 07:35:44
压力来了!客战埃弗顿不容有失,曼城不仅要赢,还必须刷净胜球

压力来了!客战埃弗顿不容有失,曼城不仅要赢,还必须刷净胜球

涛哥侃球
2026-05-04 12:58:51
朝鲜姑娘怀孕,查明是志愿军营长所为,彭总得知后批示8个字

朝鲜姑娘怀孕,查明是志愿军营长所为,彭总得知后批示8个字

元哥说历史
2026-04-26 11:40:03
1939年,李德返回苏联后,留在中国的老婆和儿子后如何了?

1939年,李德返回苏联后,留在中国的老婆和儿子后如何了?

鹤羽说个事
2026-04-28 22:35:36
火箭拒新控卫原因曝光:自认夺冠无望,再忍1年,下赛季卷土重来

火箭拒新控卫原因曝光:自认夺冠无望,再忍1年,下赛季卷土重来

熊哥爱篮球
2026-05-04 10:55:27
赖清德,恐成为新中国历史上,唯一在任上出事的台湾地区领导人

赖清德,恐成为新中国历史上,唯一在任上出事的台湾地区领导人

真正能保护你的
2026-04-05 00:55:35
2.5 亿打水漂!利物浦双红会输球又输人,夏窗的债,终要一场场还

2.5 亿打水漂!利物浦双红会输球又输人,夏窗的债,终要一场场还

衔春信
2026-05-04 16:59:48
上海新天地暖心一幕!民警半小时找回走失韩国萌娃

上海新天地暖心一幕!民警半小时找回走失韩国萌娃

上观新闻
2026-05-04 18:31:05
斯诺克最新战报:吴宜泽10-7领先墨菲,夺冠主动权在握

斯诺克最新战报:吴宜泽10-7领先墨菲,夺冠主动权在握

陈赩爱体育
2026-05-04 19:50:14
民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

李橑在北漂
2026-04-02 10:22:26
2026-05-04 20:08:49
快科技 incentive-icons
快科技
一起关注每日科技热点
112402文章数 260413关注度
往期回顾 全部

游戏要闻

EWC电竞世界杯:中期发力,DNS让一追二淘汰KRX晋级

头条要闻

中国向联合国发出警告:东京足可制造约5500枚核弹头

头条要闻

中国向联合国发出警告:东京足可制造约5500枚核弹头

体育要闻

骑士破猛龙:加雷特·阿伦的活力

娱乐要闻

张敬轩还是站上了英皇25周年舞台

财经要闻

魔幻的韩国股市,父母给婴儿开户买股票

科技要闻

OpenAI“复活”了QQ宠物,网友直接玩疯

汽车要闻

同比大涨190% 方程豹4月销量29138台

态度原创

时尚
游戏
旅游
教育
手机

普通人真该看看这些穿搭,短长搭配、裙子恰当,显高舒适又有气质

IGN试玩《007》新作:或是史上最细节的邦德游戏!

旅游要闻

五一假期过半,高唐国际营地多元体验“花样”吸客人气不减

教育要闻

俄罗斯归还2000余名乌克兰孩子,还有20000余!#乌克兰 #孩子

手机要闻

iOS 27亮点全解析:独立Siri、卫星通信四连发、苹果智能新能力!

无障碍浏览 进入关怀版