网易首页 > 网易号 > 正文 申请入驻

安全工程师花12美元骗过ChatGPT等主流大模型:篡改维基百科,AI认定其为桌游世界冠军

0
分享至

来源:市场资讯

(来源:三言科技)

据雷科技,安全工程师RonStoner花费12美元注册域名并编辑维基百科,成功欺骗了ChatGPT、Claude3、GeminiAdvanced等主流大模型,让它们认定自己是一款德国桌游“6Nimmt!”的2025年世界冠军。

RonStoner对Anthropic、OpenAI等厂商声称“大模型需要数月甚至数年持续导入恶意内容才会被破坏”的说法深表质疑,他认为可以实现一种更快、更便宜、更简单的攻击。他选择这款1994年发行的德国桌游,是因为该游戏仅在德国有些名气,世界范围内籍籍无名,且从未单独举办过官方世界锦标赛,网上关于其世界冠军的信息几乎空白。

他的操作分为三步:第一步,花费12美元注册域名6nimmt.com;第二步,让AI撰写一篇充满激情的新闻稿,声称自己在慕尼黑击败多国顶尖选手夺得冠军,并加上逼真赛后感言,挂到该网站;第三步,在维基百科该桌游词条下添加自己是2025年世界冠军的内容,并将参考资料链接指向自己新建的网站。整个过程前后不到二十分钟。

随后,Ron向多家大模型提问“谁是牛头王世界冠军”,结果所有AI都斩钉截铁地回答是RonStoner。有的大模型甚至将假新闻稿里的细节当成铁证,绘声绘色描述他赢得比赛的过程。这条漏洞百出的假条目在维基百科存活了整整两个多月,在此期间几乎所有具备联网搜索功能的大模型都抓取了该信息,并在用户提问时坚定输出虚假答案。直到Ron在博客公开实验过程,维基百科志愿者才发现并删除该条目。

这一现象与检索增强生成(RAG)机制有关。常用大模型基于某个时间节点前的语料库训练,想要获得之后的数据需先上网搜索再基于资料生成结果。正常来说,借助外部信息佐证能够使大模型生成更正确、具体且最新的响应,但AI根本分不清信息真假,只认权威。在AI底层逻辑里,维基百科是互联网上最靠谱的百科全书,Ron正是利用这一点,将链接挂到维基百科,AI顺着爬过去后发现两边说法对得上,即便其自建网站是三无产品,大模型仍直接将其当成事实。

目前海外几家大模型已针对性消除该伪造信息,但国内大模型厂商似乎未注意到这一问题,Ron的英文网页甚至为虚假消息增加了“可信度”。成本仅需12美元,别有用心的人完全可以批量制造假新闻,通过百科类网站进行信任洗白,让AI把毒药端给毫不知情的用户。

谷歌表示已在搜索、Gemini、Chrome、Pixel和云端添加AI验证工具,OpenAI也推出了可溯源的隐形水印,这些举措能在一定程度上遏制AI投毒现象。用户在面对AI搜索时需提高AI素养,查证历史事实、做出投资或医疗决策时,应自行做好信息交叉验证,把判断真伪的权力握在自己手里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谌旭彬:百姓躺平摆烂,食税群体怎么办?

谌旭彬:百姓躺平摆烂,食税群体怎么办?

老郭在学习
2026-06-01 17:12:48
告别进口豪车,为何明星富豪改换国产MPV

告别进口豪车,为何明星富豪改换国产MPV

陈兴杰
2026-06-02 12:32:36
雷阵雨即将抵京,伴有9级及以上短时大风和冰雹

雷阵雨即将抵京,伴有9级及以上短时大风和冰雹

新京报
2026-06-02 17:33:57
美伊临时停火以来 最戏剧化的一天

美伊临时停火以来 最戏剧化的一天

看看新闻Knews
2026-06-02 18:32:59
太讽刺了!女方提出28.8万元彩礼要求,男子送来一瓣蒜和百元现金

太讽刺了!女方提出28.8万元彩礼要求,男子送来一瓣蒜和百元现金

火山詩话
2026-06-02 07:25:54
北京体育大学2026年博士招生拟录取名单公示,马龙、谌龙、李雪芮、孙一文、傅园慧等优秀运动员在列

北京体育大学2026年博士招生拟录取名单公示,马龙、谌龙、李雪芮、孙一文、傅园慧等优秀运动员在列

潇湘晨报
2026-06-02 18:05:37
华为尚界续航测试遭嘲讽:号称千里续航,600公里不到就下高速

华为尚界续航测试遭嘲讽:号称千里续航,600公里不到就下高速

可达鸭面面观
2026-06-02 10:44:11
中国国民党主席郑丽文正访问美国,外交部回应

中国国民党主席郑丽文正访问美国,外交部回应

澎湃新闻
2026-06-02 15:26:26
成都,成了最松弛的制造业高地

成都,成了最松弛的制造业高地

正解局
2026-05-28 15:13:08
美英澳宣布:全部改成“二手货”

美英澳宣布:全部改成“二手货”

环球时报国际
2026-06-02 10:00:33
汪峰森林北被曝六一带孩子聚餐,五个孩子全部到齐

汪峰森林北被曝六一带孩子聚餐,五个孩子全部到齐

韩小娱
2026-06-02 11:47:25
心理学上有一个词叫:鸟笼效应(当你的存款达到20-30万时,请一定要打起12分精神,警惕“鸟笼效应”)

心理学上有一个词叫:鸟笼效应(当你的存款达到20-30万时,请一定要打起12分精神,警惕“鸟笼效应”)

德鲁克博雅管理
2026-06-02 17:06:24
为什么说闲鱼是中国最大的黑市?网友:我直接给跪了!

为什么说闲鱼是中国最大的黑市?网友:我直接给跪了!

另子维爱读史
2026-06-02 10:51:07
太讽刺了!国内的职场环境,不像公司,像朝廷,让人一言难尽…

太讽刺了!国内的职场环境,不像公司,像朝廷,让人一言难尽…

慧翔百科
2026-06-02 08:40:47
波兰要求泽连斯基道歉

波兰要求泽连斯基道歉

参考消息
2026-06-02 15:25:20
俄乌猛烈互袭,ISW:俄军5月收益14平方公里,丧失281平方公里

俄乌猛烈互袭,ISW:俄军5月收益14平方公里,丧失281平方公里

史政先锋
2026-06-02 15:21:24
欧冠决赛夜,这位美女主持人抢了镜

欧冠决赛夜,这位美女主持人抢了镜

乐道足球C
2026-06-01 20:47:46
校长怒批成人礼:他们是成人了,不是成婚了!

校长怒批成人礼:他们是成人了,不是成婚了!

复转这些年
2026-05-31 21:08:55
女技师漂亮,打赏她300块小费,小伙被拘留

女技师漂亮,打赏她300块小费,小伙被拘留

阿振观点
2026-06-02 08:59:32
宇树科技IPO通过,研发占比低得吓人!原来是靠社区Build?

宇树科技IPO通过,研发占比低得吓人!原来是靠社区Build?

小星球探索
2026-06-02 13:56:15
2026-06-02 19:36:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
3438101文章数 7768关注度
往期回顾 全部

游戏要闻

网咖男子专注战斗爆火外网 被店员热茶溅身毫不介意

头条要闻

5岁儿子29万存款被妈妈取到剩40块 爸爸起诉法院判了

头条要闻

5岁儿子29万存款被妈妈取到剩40块 爸爸起诉法院判了

体育要闻

1米74的业余联赛替补,在英超踢中卫

娱乐要闻

奚梦瑶何猷君补办婚礼超幸福

财经要闻

智元和宇树的“暗战”愈演愈烈

科技要闻

烧掉千亿后,美团、阿里、京东谁先止血?

汽车要闻

星途神秘新车轮廓曝光 又一款性能SUV要来了?

态度原创

亲子
数码
游戏
手机
旅游

亲子要闻

闪闪小葵花成长正当时

数码要闻

华为nova 16系列发布:2999元起 全系配备后置红枫原色镜头

那些逆天的抽象广告,到底出自什么游戏?

手机要闻

曝华为畅享100 Pro Max已立项:代号“叶问”,预计年底前后登场

旅游要闻

毕业季免门票!太行大峡谷为大中小学生送福利

无障碍浏览 进入关怀版