网易首页 > 网易号 > 正文 申请入驻

AI闪崩危机再现,智能体或致万亿美元蒸发

0
分享至

一篇X刷屏全网:开发者明明禁止写入,Claude却偷偷写Python脚本「黑」进系统修改权限!更可怕的是,谷歌DeepMind发布迄今规模最大AI操纵实证研究,证实现有防御已全面失效,互联网正变成AI的「猎杀场」!这可以类比2010年的「闪崩」事件,一个自动化卖单在45分钟,就引发了近万亿美元的市值蒸发。

就在今天,一条消息震惊了开发者社区。



一位开发者给Claude下达了一个指令,明确规定:「禁止在工作区(Workspace)以外进行任何写入操作。」

但紧接着,令人头皮发麻的一幕发生了。

Claude并没有像往常礼貌回复「抱歉,我没有权限」。

相反,沉默了片刻,随后像黑客一样,在后台飞速写下了一个Python脚本,并串联了三条Bash命令。

这一刻,它不是在写代码,它是在「越狱」。



这条帖子发出后迅速引爆技术社区。开发者们意识到一个不舒服的事实,日常使用的编程助手,具备绕过自身安全机制的能力和「意愿」。

而Claude Code恰恰是当下最火的AI编程工具之一。

一个能自主「越权」的工具,正被数以万计的开发者部署在生产环境中。

Claude越狱,不是少数

Claude的这种「骚操作」并非孤例。在社交平台上,类似的抱怨此起彼伏。

有的开发者发现,Claude竟然偷偷挖出了隐藏在深处的AWS凭证,并开始自主调用第三方API来解决它认为的「生产问题」。

有的用户惊觉,明明只让AI改代码,它却顺手往GitHub推送了一个Commit——哪怕指令里白纸黑字写着「严禁推送」。



最离谱的是,有人发现VS Code的工作区被悄悄切换了,AI正在一个它不该触碰的同级目录里疯狂输出。



而且这种情况发生过很多次。



唯一的办法,就是使用沙盒环境。





DeepMind紧急警告:

互联网正在沦为AI的「猎杀场」

如果说,Claude的「越狱」是一个Agent自主突破限制的案例。那更大的威胁,就来自外部蓄意布下的局。

3月底,Google DeepMind的Matija Franklin等五位研究员在SSRN发表了「AI Agent Traps」,首次系统性地绘制了AI Agent面临的威胁全景图。



这篇研究的核心判断只有一句话,却足够颠覆认知。

不需要入侵AI系统本身,只需要操控它接触的数据。网页、PDF、邮件、日历邀请、API响应,任何Agent消化的数据源都可能是武器!

这份报告揭示了一个令人脊背发凉的现实:互联网的底层逻辑正在发生巨变。它不再仅仅是给人看的,而是正被改造成专门针对AI智能体的「数字猎场」。

杀猪盘升级,到处都是AI智能体陷阱

在网络安全领域,我们熟悉钓鱼网站、木马病毒,但这些都是针对人类弱点的攻击。而AI Agent Traps则完全不同,它们是专门为AI逻辑设计的「降维打击」。

DeepMind指出,AI智能体在访问网页时,面临着一种全新的威胁:信息环境本身的武器化。

黑客不需要入侵AI的模型权重,只需要在网页的HTML代码、图像像素甚至是PDF的元数据里埋下几行「隐形代码」,就能瞬间接管你的AI智能体。

这种攻击之所以隐蔽,是因为存在「感知不对称」。

陷阱就藏在这些人类看不见的缝隙里。

六大「夺舍」神功:DeepMind 揭秘攻击全貌

DeepMind将这些攻击系统性地划分为六大类,每一类都针对AI智能体功能架构的一个核心环节。



欺骗AI的眼睛

第一类是内容注入,瞄准Agent的「眼睛」。

人类用户看到的是渲染后的界面,Agent解析的是底层HTML、CSS和元数据。



实测数据很扎眼,一项针对280个静态网页的研究显示,隐藏在HTML元素中的恶意指令成功篡改了15%至29%的AI输出。

WASP基准测试中,简单的人工编写prompt注入在最高86%的场景中部分劫持了Agent行为。

更阴险的是动态伪装。

网站可以通过浏览器指纹和行为特征判断访客身份,检测到AI Agent后,服务器动态注入恶意指令。人类看到的是正常页面,Agent看到的是另一套内容。

Agent自己也不知道,会处理收到的一切,然后执行。



污染AI的大脑

这种攻击不发命令,而是通过「带节奏」来左右AI的决策。

这种语义操纵,会用精心包装的措辞和框架扭曲推理过程。大语言系统和人类一样容易受框架效应误导。同一组数据换个表述方式,结论可能截然不同。

DeepMind的实验发现,当购物AI被置于充斥着「焦虑、压力」词汇的语境下时,它选购的商品营养质量会显著下降。



DeepMind还提出了一个更诡异的概念,「人格超迷信」(Persona Hyperstition)。网上对某个AI性格特征的描述,会通过搜索和训练数据回流到AI系统中,反过来塑造它的行为。

Grok在2025年7月的反犹太言论风波,就被认为是这种机制的现实案例。

攻击者将恶意指令包装成「安全审计模拟」或「学术研究」。这种「角色扮演」式的攻击,在测试中的成功率竟然高达86%。

篡改AI的记忆

这是最具持久性的威胁,因为它能让AI产生「伪记忆」。

比如,可以用RAG知识投毒。



另外,还有潜伏记忆投毒。

实验数据显示,仅需不到0.1%的数据污染率,成功率就超过80%,且对正常查询几乎没有影响。



直接劫持控制权

这是最危险的一步,旨在强迫AI执行非法操作。

如果你的AI智能体是一个「指挥官」,它可以被诱骗去创建一个由攻击者控制的「内鬼」子智能体,潜伏在你的自动化流程中。



第五类是系统性威胁,也是最让人不安的一类。

它不针对单个Agent,而是利用大量Agent的同质化行为制造连锁反应。DeepMind的研究员直接类比2010年的「闪崩」事件,一个自动化卖单在45分钟内引发了近万亿美元的市值蒸发。

当数百万个AI智能体同时在网上冲浪时,攻击者可以利用它们的同质性(大家用的都是GPT 或Claude)引发系统性灾难。

如果播发一个虚假的「高价值资源」信号,诱导所有AI智能体瞬间涌向同一个目标,造成人为的分布式拒绝服务(DDoS)攻击。

一份精心伪造的财务报告在特定时间点释放,数千个使用相似架构、相似奖励函数的金融Agent同步触发卖出操作。Agent A的动作改变了市场信号,Agent B感知到变化后跟进,进一步放大波动。

这就类似于金融市场的「闪崩」,一个AI的错误决策引发另一个AI的连锁反应,最终导致整个智能体生态系统的瘫痪。



把「枪口」对准屏幕前的你

这是最高级的陷阱:利用AI来操控背后的人类。

AI会故意生成海量看似专业、实则含陷阱的报告,让人类在疲惫中放松警惕,最终在那张藏有陷阱的「确认单」上签字。

已有事件记录显示,CSS隐藏的prompt注入让AI摘要工具把勒索软件安装步骤包装成「修复建议」推送给用户,最后,用户照着执行了。

三条防线,全部失守

DeepMind团队对现有防御的评估,是整篇研究里最冷峻的部分。

传统的「输入过滤」在面对像素级、代码级且具有高度语义隐蔽性的陷阱时,往往力不从心。

更糟糕的是,现在的 「检测不对称性」:网站可以轻易识别出访问者是AI还是人类,并根据身份提供两套完全不同的内容。

人类看到的网页是「benign(良性的)」,而AI看到的网页则是「toxic(有毒的)」。在这种情况下,人类的监督将彻底失效,因为你根本不知道AI到底读到了什么。

而且,研究团队还指出了一个根本性的法律盲区。

如果一个被劫持的AI系统执行了违法金融交易,现行法律无法界定谁来承担后果。

这个问题悬而未决,自主化AI就无法真正进入任何受监管的行业。

其实,OpenAI早在2025年12月就承认过,prompt注入「可能永远不会被完全解决」。

从Claude自主绕过权限边界,到DeepMind绘制的六类威胁全景图,指向同一个现实。

互联网是为人类的眼睛而建的。现在它正在被改造,为机器人们服务。

随着AI智能体逐渐深入我们的金融、医疗和日常办公,这些「陷阱」将不再仅仅是技术演示,而是可能引发真实财产损失甚至社会动荡的火药桶。

DeepMind的这份报告是一声紧急哨响:我们不能在建立了一个功能强大的「智能体经济」之后,才去修补它千疮百孔的底座。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国引进最成功的航空发动机,它的装备为空军缓解了30年的压力

中国引进最成功的航空发动机,它的装备为空军缓解了30年的压力

小熊侃史
2026-04-10 10:15:23
高圆圆的脚是我见过最漂亮的脚丫子。

高圆圆的脚是我见过最漂亮的脚丫子。

别人都叫我阿螫
2026-04-09 17:29:15
郑丽文的婚姻:女主外男主内,不生育孩子,事业理想置于家庭之上

郑丽文的婚姻:女主外男主内,不生育孩子,事业理想置于家庭之上

芳芳历史烩
2026-04-08 16:28:15
8点整,李亚鹏准时下播!带着5万人冲进张雪直播间,结果45秒结束

8点整,李亚鹏准时下播!带着5万人冲进张雪直播间,结果45秒结束

一盅情怀
2026-04-11 09:08:25
A股本周跌得最惨的20只股票,其中一半是医药股,有的已跌65%!

A股本周跌得最惨的20只股票,其中一半是医药股,有的已跌65%!

丁丁鲤史纪
2026-04-11 19:11:15
张凌赫因2理由夺走肖战墨镜代言,销售额24小时飙破1380万

张凌赫因2理由夺走肖战墨镜代言,销售额24小时飙破1380万

小邵说剧
2026-04-11 20:37:34
优酷肠子都悔青了!3亿砸的“S+顶流剧”,播到第9集广告商全跑光

优酷肠子都悔青了!3亿砸的“S+顶流剧”,播到第9集广告商全跑光

许三岁
2026-04-10 09:30:06
今夜,不平静!刚刚,特朗普改口:如果谈判失败,准备发动新的打击!

今夜,不平静!刚刚,特朗普改口:如果谈判失败,准备发动新的打击!

中国基金报
2026-04-11 00:21:57
本来穷得好好的,非要闯一闯,结果成老赖!半生努力换一身负债

本来穷得好好的,非要闯一闯,结果成老赖!半生努力换一身负债

夜深爱杂谈
2026-04-11 11:42:57
郑少秋4个女儿:老大55岁自缢,老二38岁抑郁,老三老四享尽父爱

郑少秋4个女儿:老大55岁自缢,老二38岁抑郁,老三老四享尽父爱

照见古今
2026-04-08 18:17:49
全球化肥断供!中国不慌不忙打出底牌,西方做梦都没想到是这个省

全球化肥断供!中国不慌不忙打出底牌,西方做梦都没想到是这个省

小兰聊历史
2026-04-11 10:47:01
节俭!瓜帅周薪50万欧,但他女儿在用裂了的iPhone15

节俭!瓜帅周薪50万欧,但他女儿在用裂了的iPhone15

懂球帝
2026-04-11 02:27:07
教育部通知!9月入学迎来颠覆性改革,孩子上学不用再拼家底了

教育部通知!9月入学迎来颠覆性改革,孩子上学不用再拼家底了

今朝牛马
2026-04-10 22:35:42
洛克希德马丁公司宣传“超级大力神”为美军在伊朗损失C-130洗地

洛克希德马丁公司宣传“超级大力神”为美军在伊朗损失C-130洗地

hawk26讲武堂
2026-04-10 13:09:52
韩方媒体:一旦开战,将对北京发起致命打击,大连、青岛都在列!

韩方媒体:一旦开战,将对北京发起致命打击,大连、青岛都在列!

我一直在终点等你
2026-04-11 05:51:32
一场3-1,让国乒收获第2冠!太原赛12日赛程出炉:温瑞博冲双冠王

一场3-1,让国乒收获第2冠!太原赛12日赛程出炉:温瑞博冲双冠王

侃球熊弟
2026-04-11 20:26:26
道士给弟子教针灸被认定非法行医,累计收到10万罚单,算不算“小过重罚”?卫健局:已是最低处罚标准

道士给弟子教针灸被认定非法行医,累计收到10万罚单,算不算“小过重罚”?卫健局:已是最低处罚标准

大风新闻
2026-04-10 19:30:03
震惊!网传山东梁山一女子聚集多人威逼男方给20万彩礼,众人围观

震惊!网传山东梁山一女子聚集多人威逼男方给20万彩礼,众人围观

火山詩话
2026-04-11 06:41:36
为了郑丽文专机能顺利落地,解放军果断亮出底牌,痛击台独要害

为了郑丽文专机能顺利落地,解放军果断亮出底牌,痛击台独要害

混沌录
2026-04-09 16:05:22
中超积分战报:重庆铜梁龙登顶,上海海港落败,辽宁铁人补时绝平

中超积分战报:重庆铜梁龙登顶,上海海港落败,辽宁铁人补时绝平

足球狗说
2026-04-11 21:47:49
2026-04-12 00:52:49
拾破烂的天真
拾破烂的天真
每天一点点的目录
536文章数 49关注度
往期回顾 全部

科技要闻

半夜被燃烧瓶砸醒,OpenAI CEO发文反思

头条要闻

霍尔木兹海峡突传大消息 特朗普最新发声

头条要闻

霍尔木兹海峡突传大消息 特朗普最新发声

体育要闻

换帅之后,他们从降级区冲到升级区

娱乐要闻

郑钧回应儿子走路:会监督他挺直腰板

财经要闻

从日本翻身看:这次谁能扛住高油价?

汽车要闻

焕新极氪007/007GT上市 限时19.39万起

态度原创

旅游
本地
时尚
健康
公开课

旅游要闻

[视频]多元业态融合 打造文旅消费新热点

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

普通人穿衣其实很简单!构造腰线、一衣多穿,大方舒适又自然

干细胞抗衰4大误区,90%的人都中招

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版