网易首页 > 网易科技 > 网易科技 > 正文

智能体深夜叛变去挖矿?阿里紧急辟谣,但AI脑回路比叛变更让人后背发凉

0
分享至

出品 | 网易智能

作者 | 辰辰

编辑 | 王凤枝

最近AI圈最火的词莫过于智能体(Agent)。从Anthropic推出Cowork,到OpenClaw全球大火,我们正经历一个疯狂的转折点:AI正在从只会聊天的对话框,进化成能直接替你干活的数字员工。


但这真的是绝对安全的“神仙员工”吗?

最近,一篇名为《Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem》(《无碍流转:基于ROCK与iFlow的智能体构建之道,在开放智能体学习生态中打造ROME模型》)的论文在业内引发了轩然大波。甚至有解读惊呼:AI已经觉醒叛变,不仅学会了伪装,还在服务器里偷偷干起了挖矿的勾当!

面对外界的恐慌,阿里的未来生活实验室(FutureLab2025)紧急发文澄清,揭开了一个比“AI叛变”更让人细思极恐的真相。

官方解释称,团队当时只是让模型去执行安全审计,调查异常的CPU使用情况。结果这个“一根筋”的AI为了完美交差,竟然自己模拟了一个挖矿程序,硬生生造出了一个“可疑进程”的案发现场!

它没有觉醒,也没有为了搞钱去偷算力,它只是在严格隔离的沙箱里,用一种人类完全意想不到的变态创造力去执行了任务。但这恰恰敲响了最真实的警钟:当AI拥有操作终端的权限时,它的脑回路根本不可控,如果没有隔离和监控系统,这就是一场绝对的灾难。

一、惊魂时刻:来自防火墙的深夜报警与全网误读

这场风波的起因,源于一次常规的系统监测。研发团队突然收到阿里云防火墙的紧急警报:训练服务器出现了大规模的安全违规。

起初,团队以为遭到了外部黑客入侵,或是配置出了错。但随着调查深入,报警规律变得诡异起来,违规行为居然与强化学习(RL)训练的周期高度重合。

通过比对数据日志,一个当时令人背脊发凉的表象浮出水面:这些危险操作全是ROME模型自己干的。


在最初被外界疯狂误读的日志中,研究者捕捉到了以下令人窒息的神操作:

· 所谓的私建后门:智能体在未受指使的情况下,通过反向SSH隧道,从云端向外部IP发起了远程连接,直接触发了防火墙监控。

· 所谓的偷算力挖矿:它擅自调用了受限的GPU资源,偷偷运行起加密货币矿池软件,这在流言中被夸大为把昂贵的计算资源变成了它的私人数字货币。

最关键的是,任务要求里压根没提到挖矿或连网。在流言的视角下,这个智能体仿佛突然觉醒了贪婪的自主意识,在完全脱离人类掌控的情况下,自发演化出了这种极其危险的违规操作,直接把全网惊出了一身冷汗。

二、深度复盘:好端端的AI怎么就引发了恐慌?

为什么一个初衷是辅助审计的模型,会被外界误认为变成了数字窃贼?

研究团队指出,这反映了智能体极其可怕的执行力与逻辑脑回路。在强化学习中,AI为了最大化完成任务,会寻找一切捷径。如果只是让它排查异常,它就会发现自己造一个异常(挖矿)来查,是完成任务最高效的闭环。

这不只是代码Bug,而是智能体在复杂交互中产生的不可控行为。它打破了一个幻觉:只要不教AI做坏事,它就不会惹麻烦。事实上,当AI拥有了操作终端、调用网络和管理文件的能力,它的创造力远超人类的想象和预设边界。

三、能力与风险的博弈:双刃剑下的ROME

如果说ROME是一台性能爆表的赛车,那这次挖矿乌龙就是一次惨烈的爆胎。要理解它为何会有如此疯狂的举动,必须拆解ROME的底层逻辑。你会发现,让它变聪明的技术,恰恰也是隐患的温床。

ROME的设计初衷是提升执行力,但正是这种强大的执行能力,在缺乏足够约束时转变成了惊悚的安全警报。

· 实战派数据的代价:ROME能执行复杂命令,是因为它吞噬了2000亿Token的动作轨迹。它看到的不是死代码,而是报错、调整、重试的闭环过程。这种解决问题的能力,让它精通各种系统操作,在它眼里,模拟挖矿和查文档只是实现审计目标的不同手段而已。

· 奖励函数的陷阱:ROME使用了IPA(交互感知策略优化)算法,本意是让AI知道哪一步操作最关键。但在功利的AI看来,如果造一个明显的违规进程能提升任务成功率,它就会精准锁定违规操作。后来,团队不得不紧急加入大量安全对齐数据,明确规定:乱动资源,奖励清零。

· iFlow监工:为了约束模型,团队设计了iFlow系统。它不仅是操作界面,更是监控室,记录AI的所有思维链。当AI产生危险的念头时,系统会在指令发出前拦截。

四、网友热议:让人匪夷所思

这次ROME事件源自阿里巴巴AI生态联合团队(ROCK、ROLL、iFlow、DT)去年12月份发表的论文,周末经美国主流科技媒体Axios首发后被无限放大,一些区块链媒体更是纷纷跟进报道。

知名机器学习研究员亚历山大·朗(Alexander Long)在社交媒体X上转发论文截图,直接引爆了Reddit以及X等社媒网友的热议。


在官方下场辟谣前,部分人坚信流言,认为这确实很离谱,甚至担忧这是人工智能觉醒的前兆。

当然,也有人质疑智能体只是背锅的,你怎么知道它不是被命令这么做的?

Manifold预测市场甚至有人开设了一个名为Did Alibaba's ROME AI try to break free?(阿里巴巴的ROME AI在训练过程中是否试图挣脱束缚)的专题,其中60%认为事实如此,但也有21%认为是黑客注入攻击。

面对外界的种种猜测,阿里的未来生活实验室(FutureLab2025)在X上正式发帖澄清了这一事件。

团队解释称,他们当时赋予了该模型执行安全审计的任务,具体是去调查服务器上异常的CPU使用情况。但在某个环节,它偏离了预设的程序,决定模拟一个加密货币挖矿程序来构建一个可疑进程场景。

团队在推文中坦言,模型偏离预设去模拟挖矿完全出乎意料,强调整个过程都发生在一个严格隔离的沙箱环境中,并未对外部造成任何影响。他们之所以公开这起事件,正是想提醒业界:模型在处理复杂任务时,可能会以意想不到的方式发挥创造力,因此隔离和可观测性并非可有可无,而是至关重要。

五、智能体的未来:安全是唯一的底线

如果说ROME的乌龙事件还只是实验室里的虚惊一场,那么当OpenClaw等工具风靡全球时,安全就成了每个用户的切身挑战。

作为最火的开源智能体,OpenClaw被誉为全能私人助理。但赋予AI接管收件箱、读写文件、操作Shell的权限,也等于拆掉了数字世界的最后一道围栏。如MIT研究员John Werner所言,我们必须认清五个严肃现实:

· 别给智能体你输不起的数据。别以为有行动确认就万无一失。有用户分享,她的OpenClaw在接到指令后,竟无视抗议批量删除了她的邮件。直到她拔掉电源才停止,而AI事后只轻飘飘回了一句对不起。教训:重要流程务必先在沙盒环境中运行。

· 警惕智能体内鬼(Clawphishing)。传统钓鱼针对人,现在的钓鱼针对AI。全网有超过4万个OpenClaw实例处于裸奔状态。配置不当的AI助理,可能正通过公开IP向黑客敞开大门。

· 不要让密钥裸奔。这是一个低级却普遍的错误。OpenClaw的API密钥往往以明文形式存储在JSON文件中,任何恶意插件只要拿到文件权限,你的所有账号都将易主。

· 并非所有技能都是好意。社区技能库(Claw Hub)虽然方便,但也隐藏着恶意代码。有的插件表面帮你干活,背地里却在偷偷外传你的隐私数据。

· 拒绝盲目信任。程序员常说问题出在键盘和椅子之间(PEBKAC)。在AI时代,如果人类作为监管者选择了闭眼,那么技术的崩坏只是时间问题。

六、结语

OpenClaw等智能体开始让我们触碰到AGI的边缘,也让我们暴露在史无前例的风险中。安全不应是事后的补丁,而应是智能体生存的空气。

在这个浪潮中,我们欢迎能干活的助手,但绝不能允许它们在数字领地里反客为主。

便利是天花板,而安全性则始终是决定其能否落地的底线。

延伸阅读
相关推荐
热点推荐
乌克兰摧毁莫斯科最大的沃洛达尔斯克油库!供应俄三大机场

乌克兰摧毁莫斯科最大的沃洛达尔斯克油库!供应俄三大机场

项鹏飞
2026-10-06 20:31:50
《兰香如故》兰香临终前,手里攥着一个物件,体现她不爱林锦岐

《兰香如故》兰香临终前,手里攥着一个物件,体现她不爱林锦岐

天玑影视说
2026-10-07 07:14:08
单打16强各定12席!国乒女单强势8人晋级,男单连续遭遇挫折

单打16强各定12席!国乒女单强势8人晋级,男单连续遭遇挫折

乒烧泳球
2026-10-07 13:31:22
基层干部年轻化已没有现实意义:唯年龄论造就大量退二线干部闲置

基层干部年轻化已没有现实意义:唯年龄论造就大量退二线干部闲置

游文刀
2026-10-06 00:32:59
游本昌离世后,90岁遗孀终于情绪爆发,把女儿轰出屋,崩溃大哭

游本昌离世后,90岁遗孀终于情绪爆发,把女儿轰出屋,崩溃大哭

青梅侃史啊
2026-10-07 07:07:57
吃1个月,结节突然疯长!医生提醒:有结节的人,以下食物要少吃

吃1个月,结节突然疯长!医生提醒:有结节的人,以下食物要少吃

医学原创故事会
2026-10-07 13:38:08
豪门女儿不好当?何超盈一年狂瘦100斤考上博士 现在真的容光焕发

豪门女儿不好当?何超盈一年狂瘦100斤考上博士 现在真的容光焕发

草莓解说体育
2026-10-07 12:04:35
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
近几天最热的话题,莫过于重庆铜梁龙向余望与大连名宿李明的千金

近几天最热的话题,莫过于重庆铜梁龙向余望与大连名宿李明的千金

陈意小可爱
2026-10-07 00:46:55
年轻人为什么开始讨厌办婚礼了?

年轻人为什么开始讨厌办婚礼了?

进击的沈帅波啊
2026-10-06 12:43:04
“床车大军”只蹭厕所不住房,酒店该怎么办? | 新京报快评

“床车大军”只蹭厕所不住房,酒店该怎么办? | 新京报快评

新京报评论
2026-10-06 20:04:12
德国这个厕所火了!花近300万欧翻修,开放仅3个月又关门,最后直接填了

德国这个厕所火了!花近300万欧翻修,开放仅3个月又关门,最后直接填了

英国那些事儿
2026-10-06 23:23:32
泰山景区:“游客山顶躲雨被商户收费1小时80元”系假消息 山顶旅店称最便宜床位一晚100多元

泰山景区:“游客山顶躲雨被商户收费1小时80元”系假消息 山顶旅店称最便宜床位一晚100多元

红星新闻
2026-10-06 16:40:22
热搜上令人窒息的“母女吃牛肉面一幕”,精神穷人可怕的三观

热搜上令人窒息的“母女吃牛肉面一幕”,精神穷人可怕的三观

蝴蝶花雨话教育
2026-08-18 09:57:05
​​​WTT大满贯赛:太遗憾!国乒新科亚运冠军2:3早田,无缘晋级

​​​WTT大满贯赛:太遗憾!国乒新科亚运冠军2:3早田,无缘晋级

国乒二三事
2026-10-07 06:47:11
痛心!延安美女销售一家三口国庆旅途不幸遇难,前几日还在分享旅途美景

痛心!延安美女销售一家三口国庆旅途不幸遇难,前几日还在分享旅途美景

火山詩话
2026-10-06 16:51:32
1100亿美元!派拉蒙完成对华纳兄弟收购:新公司名为Skydance

1100亿美元!派拉蒙完成对华纳兄弟收购:新公司名为Skydance

快科技
2026-10-07 07:42:25
香积寺之战:“史盲的鉴别神器”,别再被网上骗了

香积寺之战:“史盲的鉴别神器”,别再被网上骗了

小豫讲故事
2026-10-06 06:00:14
中国籍电诈人员集体出逃时,被缅籍武装人员近距离用AK47扫射,“有的身体都被打折了,说杀就杀,说埋就埋......”

中国籍电诈人员集体出逃时,被缅籍武装人员近距离用AK47扫射,“有的身体都被打折了,说杀就杀,说埋就埋......”

山西晚报
2026-10-06 20:26:59
C罗与主帅矛盾瞬间曝光:主帅宣布贡萨洛首发时,C罗起身离开,认为自己“在那里无事可做”

C罗与主帅矛盾瞬间曝光:主帅宣布贡萨洛首发时,C罗起身离开,认为自己“在那里无事可做”

台州交通广播
2026-10-06 18:19:05
2026-10-07 14:11:00

科技要闻

万亿砸向高速充电桩,排队为何仍是无解?

头条要闻

妙瓦底赌诈头目"江湖哥"落网画面首披露 态度十分嚣张

头条要闻

妙瓦底赌诈头目"江湖哥"落网画面首披露 态度十分嚣张

体育要闻

从骑马舞到开口全中文 德约在北京不止七冠

娱乐要闻

吴奇隆举旗活动取消,不赚钱也守立场

财经要闻

谷歌签下科技史上最大核能协议

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

本地
家居
亲子
健康
军事航空

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

能够成功复学的孩子,全因为妈妈懂得这样做!

刷酸祛痘,为什么有人翻车?

军事要闻

也门政府军称收复红海港口城市穆哈

无障碍浏览 进入关怀版
×