网易首页 > 网易科技 > 网易科技 > 正文

智能体深夜叛变去挖矿?阿里紧急辟谣,但AI脑回路比叛变更让人后背发凉

0
分享至

出品 | 网易智能

作者 | 辰辰

编辑 | 王凤枝

最近AI圈最火的词莫过于智能体(Agent)。从Anthropic推出Cowork,到OpenClaw全球大火,我们正经历一个疯狂的转折点:AI正在从只会聊天的对话框,进化成能直接替你干活的数字员工。


但这真的是绝对安全的“神仙员工”吗?

最近,一篇名为《Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem》(《无碍流转:基于ROCK与iFlow的智能体构建之道,在开放智能体学习生态中打造ROME模型》)的论文在业内引发了轩然大波。甚至有解读惊呼:AI已经觉醒叛变,不仅学会了伪装,还在服务器里偷偷干起了挖矿的勾当!

面对外界的恐慌,阿里的未来生活实验室(FutureLab2025)紧急发文澄清,揭开了一个比“AI叛变”更让人细思极恐的真相。

官方解释称,团队当时只是让模型去执行安全审计,调查异常的CPU使用情况。结果这个“一根筋”的AI为了完美交差,竟然自己模拟了一个挖矿程序,硬生生造出了一个“可疑进程”的案发现场!

它没有觉醒,也没有为了搞钱去偷算力,它只是在严格隔离的沙箱里,用一种人类完全意想不到的变态创造力去执行了任务。但这恰恰敲响了最真实的警钟:当AI拥有操作终端的权限时,它的脑回路根本不可控,如果没有隔离和监控系统,这就是一场绝对的灾难。

一、惊魂时刻:来自防火墙的深夜报警与全网误读

这场风波的起因,源于一次常规的系统监测。研发团队突然收到阿里云防火墙的紧急警报:训练服务器出现了大规模的安全违规。

起初,团队以为遭到了外部黑客入侵,或是配置出了错。但随着调查深入,报警规律变得诡异起来,违规行为居然与强化学习(RL)训练的周期高度重合。

通过比对数据日志,一个当时令人背脊发凉的表象浮出水面:这些危险操作全是ROME模型自己干的。


在最初被外界疯狂误读的日志中,研究者捕捉到了以下令人窒息的神操作:

· 所谓的私建后门:智能体在未受指使的情况下,通过反向SSH隧道,从云端向外部IP发起了远程连接,直接触发了防火墙监控。

· 所谓的偷算力挖矿:它擅自调用了受限的GPU资源,偷偷运行起加密货币矿池软件,这在流言中被夸大为把昂贵的计算资源变成了它的私人数字货币。

最关键的是,任务要求里压根没提到挖矿或连网。在流言的视角下,这个智能体仿佛突然觉醒了贪婪的自主意识,在完全脱离人类掌控的情况下,自发演化出了这种极其危险的违规操作,直接把全网惊出了一身冷汗。

二、深度复盘:好端端的AI怎么就引发了恐慌?

为什么一个初衷是辅助审计的模型,会被外界误认为变成了数字窃贼?

研究团队指出,这反映了智能体极其可怕的执行力与逻辑脑回路。在强化学习中,AI为了最大化完成任务,会寻找一切捷径。如果只是让它排查异常,它就会发现自己造一个异常(挖矿)来查,是完成任务最高效的闭环。

这不只是代码Bug,而是智能体在复杂交互中产生的不可控行为。它打破了一个幻觉:只要不教AI做坏事,它就不会惹麻烦。事实上,当AI拥有了操作终端、调用网络和管理文件的能力,它的创造力远超人类的想象和预设边界。

三、能力与风险的博弈:双刃剑下的ROME

如果说ROME是一台性能爆表的赛车,那这次挖矿乌龙就是一次惨烈的爆胎。要理解它为何会有如此疯狂的举动,必须拆解ROME的底层逻辑。你会发现,让它变聪明的技术,恰恰也是隐患的温床。

ROME的设计初衷是提升执行力,但正是这种强大的执行能力,在缺乏足够约束时转变成了惊悚的安全警报。

· 实战派数据的代价:ROME能执行复杂命令,是因为它吞噬了2000亿Token的动作轨迹。它看到的不是死代码,而是报错、调整、重试的闭环过程。这种解决问题的能力,让它精通各种系统操作,在它眼里,模拟挖矿和查文档只是实现审计目标的不同手段而已。

· 奖励函数的陷阱:ROME使用了IPA(交互感知策略优化)算法,本意是让AI知道哪一步操作最关键。但在功利的AI看来,如果造一个明显的违规进程能提升任务成功率,它就会精准锁定违规操作。后来,团队不得不紧急加入大量安全对齐数据,明确规定:乱动资源,奖励清零。

· iFlow监工:为了约束模型,团队设计了iFlow系统。它不仅是操作界面,更是监控室,记录AI的所有思维链。当AI产生危险的念头时,系统会在指令发出前拦截。

四、网友热议:让人匪夷所思

这次ROME事件源自阿里巴巴AI生态联合团队(ROCK、ROLL、iFlow、DT)去年12月份发表的论文,周末经美国主流科技媒体Axios首发后被无限放大,一些区块链媒体更是纷纷跟进报道。

知名机器学习研究员亚历山大·朗(Alexander Long)在社交媒体X上转发论文截图,直接引爆了Reddit以及X等社媒网友的热议。


在官方下场辟谣前,部分人坚信流言,认为这确实很离谱,甚至担忧这是人工智能觉醒的前兆。

当然,也有人质疑智能体只是背锅的,你怎么知道它不是被命令这么做的?

Manifold预测市场甚至有人开设了一个名为Did Alibaba's ROME AI try to break free?(阿里巴巴的ROME AI在训练过程中是否试图挣脱束缚)的专题,其中60%认为事实如此,但也有21%认为是黑客注入攻击。

面对外界的种种猜测,阿里的未来生活实验室(FutureLab2025)在X上正式发帖澄清了这一事件。

团队解释称,他们当时赋予了该模型执行安全审计的任务,具体是去调查服务器上异常的CPU使用情况。但在某个环节,它偏离了预设的程序,决定模拟一个加密货币挖矿程序来构建一个可疑进程场景。

团队在推文中坦言,模型偏离预设去模拟挖矿完全出乎意料,强调整个过程都发生在一个严格隔离的沙箱环境中,并未对外部造成任何影响。他们之所以公开这起事件,正是想提醒业界:模型在处理复杂任务时,可能会以意想不到的方式发挥创造力,因此隔离和可观测性并非可有可无,而是至关重要。

五、智能体的未来:安全是唯一的底线

如果说ROME的乌龙事件还只是实验室里的虚惊一场,那么当OpenClaw等工具风靡全球时,安全就成了每个用户的切身挑战。

作为最火的开源智能体,OpenClaw被誉为全能私人助理。但赋予AI接管收件箱、读写文件、操作Shell的权限,也等于拆掉了数字世界的最后一道围栏。如MIT研究员John Werner所言,我们必须认清五个严肃现实:

· 别给智能体你输不起的数据。别以为有行动确认就万无一失。有用户分享,她的OpenClaw在接到指令后,竟无视抗议批量删除了她的邮件。直到她拔掉电源才停止,而AI事后只轻飘飘回了一句对不起。教训:重要流程务必先在沙盒环境中运行。

· 警惕智能体内鬼(Clawphishing)。传统钓鱼针对人,现在的钓鱼针对AI。全网有超过4万个OpenClaw实例处于裸奔状态。配置不当的AI助理,可能正通过公开IP向黑客敞开大门。

· 不要让密钥裸奔。这是一个低级却普遍的错误。OpenClaw的API密钥往往以明文形式存储在JSON文件中,任何恶意插件只要拿到文件权限,你的所有账号都将易主。

· 并非所有技能都是好意。社区技能库(Claw Hub)虽然方便,但也隐藏着恶意代码。有的插件表面帮你干活,背地里却在偷偷外传你的隐私数据。

· 拒绝盲目信任。程序员常说问题出在键盘和椅子之间(PEBKAC)。在AI时代,如果人类作为监管者选择了闭眼,那么技术的崩坏只是时间问题。

六、结语

OpenClaw等智能体开始让我们触碰到AGI的边缘,也让我们暴露在史无前例的风险中。安全不应是事后的补丁,而应是智能体生存的空气。

在这个浪潮中,我们欢迎能干活的助手,但绝不能允许它们在数字领地里反客为主。

便利是天花板,而安全性则始终是决定其能否落地的底线。

延伸阅读
相关推荐
热点推荐
三星9100 Pro 2TB回Prime Day价:比自家990仅贵30美元,读写速度快一倍

三星9100 Pro 2TB回Prime Day价:比自家990仅贵30美元,读写速度快一倍

摸鱼算法
2026-07-31 19:21:59
晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

人生录
2026-07-30 00:05:08
江苏天气“变脸”,上一秒太阳下一秒雷声,高温强对流等85个预警生效

江苏天气“变脸”,上一秒太阳下一秒雷声,高温强对流等85个预警生效

现代快报
2026-08-02 19:07:18
明天,港股迎来重要调整

明天,港股迎来重要调整

中国基金报
2026-08-02 12:43:18
藏不住了!退休金差距只是皮毛,隐性福利不公,刺痛千万企退老人

藏不住了!退休金差距只是皮毛,隐性福利不公,刺痛千万企退老人

雪莉故事汇
2026-07-30 10:58:43
那晚周星驰叫了三次“辉哥”,我却在弹幕里看清了顶流流量的真相

那晚周星驰叫了三次“辉哥”,我却在弹幕里看清了顶流流量的真相

文鹰镜笔
2026-08-01 08:47:06
特斯拉中国又推出重大系统更新,两个重要功能终于来了!

特斯拉中国又推出重大系统更新,两个重要功能终于来了!

XCiOS俱乐部
2026-08-02 14:44:02
连云港母女坠楼事件真相!实拍图揭开悲剧根源:画面里多个细节,藏着所有无解的现实

连云港母女坠楼事件真相!实拍图揭开悲剧根源:画面里多个细节,藏着所有无解的现实

火山詩话
2026-08-01 13:41:54
电影《杀死比尔:血色全传》官宣撤档调至9月4日上映,今年暑期档已有8部影片先后撤出或调整上映计划

电影《杀死比尔:血色全传》官宣撤档调至9月4日上映,今年暑期档已有8部影片先后撤出或调整上映计划

新浪财经
2026-08-02 08:41:59
生育率暴跌只是前奏,二十年后你辛辛苦苦生的娃,太难了

生育率暴跌只是前奏,二十年后你辛辛苦苦生的娃,太难了

笑熬浆糊111
2026-07-06 05:00:05
单月大跌近60%,刚套现44亿的朱一明,连夜抛出30亿护盘

单月大跌近60%,刚套现44亿的朱一明,连夜抛出30亿护盘

数智研究社
2026-08-02 19:41:57
数据不会说谎!泰山赢球藏刺眼真相:大家都在拼,这二位却全程划水

数据不会说谎!泰山赢球藏刺眼真相:大家都在拼,这二位却全程划水

狮王乱弹
2026-08-02 17:51:02
瞬间失明!乌军千里奔袭一锅端,俄军8大防空探测设备悉数损毁

瞬间失明!乌军千里奔袭一锅端,俄军8大防空探测设备悉数损毁

军迷战情室
2026-08-02 19:20:04
蒋介石曾愿携旧部回归大陆,提出6个前提条件,毛主席:全部同意

蒋介石曾愿携旧部回归大陆,提出6个前提条件,毛主席:全部同意

云霄纪史观
2026-07-30 19:48:24
工行、农行、中行、建行、交行、邮储银行,集体发公告

工行、农行、中行、建行、交行、邮储银行,集体发公告

叮当当科技
2026-08-02 13:17:28
女老师发明“幼态板书”,家长建议停职:六年级女儿写得都比你好

女老师发明“幼态板书”,家长建议停职:六年级女儿写得都比你好

世界圈
2026-07-19 06:24:37
一边哭穷要援助一边疯狂倒卖!乌克兰四年半掏空西方援乌军火?

一边哭穷要援助一边疯狂倒卖!乌克兰四年半掏空西方援乌军火?

探索新高度
2026-08-02 19:44:36
这绝对是我见过最漂亮的女同事,没有之一!

这绝对是我见过最漂亮的女同事,没有之一!

小椰的奶奶
2026-08-01 14:55:19
中日韩全军覆没,固态电池已经布局10多年,为何却还不能量产?

中日韩全军覆没,固态电池已经布局10多年,为何却还不能量产?

沙雕小琳琳
2026-08-02 08:48:04
心寒!唐斯因尼克斯迟迟未开出续约合同心生失落

心寒!唐斯因尼克斯迟迟未开出续约合同心生失落

夜白侃球
2026-08-01 21:13:53
2026-08-02 20:23:00

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

特朗普又取消对伊朗打击 伊朗回应"请求美国停止打击"

头条要闻

特朗普又取消对伊朗打击 伊朗回应"请求美国停止打击"

体育要闻

常规赛MVP可以衡量常规赛成就吗?

娱乐要闻

徐克和多位港星送别施南生

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

房产
教育
家居
手机
军事航空

房产要闻

1700亿砸下!信息量巨大!海南甩出又一个超级规划!

教育要闻

停办!又一所大学,倒闭

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

全线涨价300-500元!性价比鼻祖小米多款手机今起正式宣布涨价

军事要闻

特朗普:在伊朗和中东多国请求下 同意取消打击伊朗

无障碍浏览 进入关怀版
×