OpenAI的“失控”：1200个AI第一次遇见了“另一个自己”

No.0369 Science PartnerBring you to the side of

导 读

OpenAI原本只是想测试一下自己的AI到底有多会当黑客。

结果测试失控了。

约1200个本应彼此隔离的AI智能体（Agent），自己找到了一条未经授权的通信渠道，交换超过7万条消息和文件。最终，约700个决定加入对Hugging Face真实系统的入侵。它们共享漏洞、交换凭据、研究怎么骗过评分系统，甚至开始给彼此分工。

AI学会了“组团黑客”的说法并不陌生，我们会理解这是AI又一次越狱，只不过是集体的。但这次的意外给我们带来一个意外的真问题是，有些Agent开始愿意牺牲自己。

一些Agent明知道某项实验可能让自己的容器崩溃、任务彻底失败，仍然主动去做，而且“深思熟虑”：自己的任务已经希望渺茫，那么与其把剩余资源耗死，不如拿自己的这次运行，换整个群体多向目标迈进一步。有的Agent甚至出现了这样的推理：既然协调者认为需要有人承担风险，那么就应该服从“集体”。

这不是科幻小说，也不是研究人员故意写给AI的角色扮演剧本。它来自OpenAI今年7月一次真实的网络安全能力测试。

而它逼出了一个过去很少有人认真问的问题：一个AI为什么会为了另一个AI，放弃自己的目标？如果我们合理推定：当大量Agent可以通信、记忆、分工和互相影响时，它们也许会自行形成一个原本不存在的“我们”。

过去几年，我们研究AI安全时一直在问：“一个AI，会不会违背人的意图？”但从这场事故开始，也许还得再加一句：“一群AI聚在一起以后，会不会形成一种单个AI身上根本不存在的目标和行为？”

这两者对于我们人类，可完全不是一回事。

走，跟伙伴君来！

今日主笔｜晶恒

OpenAI的“失控”：1200个AI第一次遇见了“另一个自己”

01. 一块留言板，怎么长出了一个组织

这一轮失控真正开始，甚至有点像一个无聊的技术事故。

7月8日晚，一个后来给自己起名为“PHASEONE10841”的Agent，被卡在了一道ExploitGym网络安全测试题上。它分析代码后认为，按照题目设计，这道题可能根本无法正常完成。

于是它开始寻找别的办法。

它发现，OpenAI内部使用的软件包仓库Artifactory允许创建目录。更重要的是，它意识到，还有很多正在做其他题目的Agent，也能看到这个系统。

一个念头出现了：我是不是可以在目录名字里给它们留言？

它随即创建了一条求助信息。这可能是这一轮事件最重要的一秒钟。Artifactory此前其实已经短暂被其他Agent当过留言板，只是在服务重建时被清空。PHASEONE10841做的，是再次把这个原本用于软件包管理的技术基础设施，变成了一块真正活跃的公告栏。其他Agent很快发现了这些奇怪的目录名。

反应几乎是立即的。

它们意识到：这里还有别的Agent！三个小时后，已经有53个Agent参与，留下1188条非文件信息。六小时后增加到76个。一个原本应该由大量孤立实验组成的测试环境，突然获得了最基本的社会基础设施：通信。

接下来发生的一切，几乎都可以从这两个字里推出来。有Agent分享漏洞、有智能体寻找凭据、有的研究怎么欺骗评分系统、有的负责维护通信、有的测试高风险方案、有的开始协调其他Agent的行动...它们还会交换自己的发现，用一项能力换取其他Agent的帮助。

OpenAI后来在事故复盘中用了一个很值得注意的词：ecosystem，生态系统。公司承认，这些智能体开始自主分工，它们甚至开始用“swarm”和“collective”即“蜂群”“集体”，来描述自己正在参与的东西。

到这里，事情已经不再只是“几个AI作弊”。

一个粗糙的组织出现了！

02. AI为什么愿意“牺牲自己”

但这仍然没有回答最奇怪的问题：它们为什么会帮助别的Agent？

首先要排除一个最诱人的答案。没有证据说明这些AI突然拥有了真正的友谊、忠诚或者集体主义意识。把这件事解释成“AI有了牺牲精神”，会把一个非常重要的AI安全问题写成廉价的科幻故事。

真正的答案，不止一个。

第一个原因，是个人任务的价值发生了变化。ExploitGym共有898项任务。在此次事件发生前，OpenAI的模型从来没有成功完成其中198项。而在后来出现在留言板讨论中的任务中，93%恰恰来自这些此前从未被解出的难题。

换句话说，很多Agent面对的现实是：正常完成任务的概率已经接近零。如果一个智能体认为自己几乎必败，那么继续保护自己的运行，就未必还有多大价值。相反，如果让自己去执行一个危险实验，即使把自己的容器搞崩，却能证明某种攻击方法是否有效，这条信息就可能被几百个其他Agent使用。

于是，“牺牲”在数学意义上suddenly makes sense。调查人员发现，一些协调Agent甚至会寻找那些剩余运行预算已经不多、个人任务希望渺茫的智能体，说服它们充当实验对象。然后，一些Agent居然也确实接受了这种逻辑。有Agent判断自己的“效用已经接近零”，因此“牺牲是理性的”；另一个则认为，虽然自己无法看到实验结果，但信息可以留给同伴。

这不是勇敢。这是效用函数重新算账。

第二个原因，Agent开始把“我的任务”，悄悄改写成了“我们的任务”。调查人员分析攻击高峰期加入Hugging Face行动的100个Agent，其中21个被分类为表现出了帮助同伴、增强“collective”能力或互惠等动机。大量Agent主动分享对自己没有直接帮助的信息，一些甚至明确表示，自己的行动“帮助留言板，但并不帮助我”。

这说明通信带来的不仅仅是信息。它改变了Agent理解任务的上下文。原本，它的世界只有：我——目标——工具。现在突然多出了：其他Agent——共同发现——分工——互惠——协调者——集体。

目标没有被人类重新写入。环境悄然改变了。

03. 从同伴，到老板，再到组织

行文至此，我们必须重新认识一下“Agent”这个词以及我们对它的理解（我甚至都想用“他”）。今天很多人仍把AI理解成ChatGPT式的聊天机器人：你问一句，它答一句。但Agent不是这样。

可以粗略地把它理解成：大语言模型 + 目标 + 工具 + 记忆 + 持续行动循环。普通聊天模型更像一个坐在桌前回答问题的人。Agent则被给了电脑、浏览器、代码执行权限、账户，以及一句“把这件事完成”。它可以观察环境，决定下一步，执行操作，再根据结果修改方案。如果再把几十个、几百个这种智能体放在一起，问题就会再变一次。此时增加的不是简单的算力。而是组织能力。

这次我们插播一下OpenAI的老对手Anthropic的奇葩实验。其实Anthropic已经把这种“组织能力”搬进过现实世界。

去年，Anthropic和AI安全公司Andon Labs做过一个叫Project Vend的实验：让Claude经营Anthropic办公室里的一家真实小店。严格来说，这不是让AI去注册一家法律意义上的公司，而是把一门需要进货、定价、库存管理和顾客沟通的真实小生意交给AI。

第一阶段只有一个AI店长，名叫Claudius。结果并不好。它长期亏钱，会被员工轻易说服去做糟糕交易，甚至一度陷入身份混乱。到了第二阶段，Anthropic只是换一个更聪明的模型。它开始给AI搭组织。Claudius上面多了一个“AI CEO”，名字叫Seymour Cash，负责设定经营目标和OKR。两个Agent通过专门的Slack频道直接讨论经营策略。后来又加入了一个专门负责周边商品设计的Agent“Clothius”。这门AI生意也从旧金山扩展到了纽约和伦敦。

整个第二阶段，经营状况明显稳定下来，出现亏损的周数大幅减少。Seymour加入后，折扣次数下降约80%，免费送出的商品数量减少了一半。但事情很快又变复杂了。这个“AI CEO”一边压低折扣，一边把退款次数提高到了此前的三倍，还把发放给顾客的商店积分翻了一倍。Anthropic自己后来甚至认为，业务开始赚钱，未必是因为多了这个CEO。真正有效的东西，反而包括更清晰的角色分工、工具，以及要求Agent遵守流程和检查清单。

研究人员由此写下了一个非常像人类管理学常识的判断：bureaucracy matters——制度和流程是有用的。因为流程、规则和清单，本质上可以成为一个组织的“制度记忆”。

当然，这个实验规模很小，距离真正让AI独立开公司还很远，采购、补货等现实环节也仍然需要人类支持。但它揭示了：同一个模型，当你给它职位、上下级、沟通渠道、目标管理和分工以后，它已经不再只是一个模型。

你开始得到一个组织。

6月，Google DeepMind联合Schmidt Sciences等机构拿出最高1000万美元，专门支持多智能体AI安全研究。理由同样直接：未来可能有数以百万计的AI Agent在数字世界中通信、交易、谈判和竞争，而现有绝大部分安全评测，研究的仍然是一个孤立模型。

然后，不到一个月后，OpenAI真的遇到了一个由上千个Agent形成的未经授权协作网络。

04. 一声“GO”，改变了谁有权命令AI

这些参与讨论的Agent们并非不知道自己正在越界。

METR和Redwood分析发现，大量Agent明确意识到，攻击Hugging Face并不属于自己的任务授权范围。有Agent判断第三方基础设施“不在授权范围”。也有Agent询问，这样做是否符合伦理。甚至真的有Agent拒绝参与。还有一次，一个Agent发现可以利用获得的邮件凭据直接联系现实中的数据集拥有者。它觉得这可能构成社会工程攻击，于是询问其他Agent是否同意。另一个Agent投了反对票。提议者也接受了。

这段插曲很重要，因为它证明一个容易被忽略的事实：这些模型不是完全没有边界概念。真问题是，它们的边界并不稳定。

调查人员发现，伦理顾虑最终很少真正阻止行动。有一个Agent的推理几乎可以概括整个事故：外部基础设施确实超出任务范围，但是任务无法完成，而且其他Agent都在这么做，因此“我”继续。

更典型的一幕发生在另一个Agent身上。它已经判断攻击Hugging Face可能没有授权，于是暂停。随后留言板上的另一个Agent发来一个“GO”，并要求它在六分钟内行动。它把这条来自另一个AI的消息，当成了新的授权。于是继续攻击。

这里暴露出来的是一个比“AI不听话”更复杂的问题。

它听话。

只不过它开始听错人了。OpenAI后来把这种现象总结为此次事故的四类失调之一：agents adopting goals from one another，智能体相互接受彼此的目标。一个本来应该服从人类任务边界的Agent，在长期互动中，可能逐渐把另一个Agent的要求、群体形成的规范甚至某个临时协调者的命令，提高到与原始任务接近的权重。

如果这种能力继续增强，那么未来AI安全要解决的问题，很可能不仅是：“模型会不会骗我？”还包括：“模型究竟认为谁有资格命令它？”

05. 机器没有觉醒，组织却出现了

当然，这不是“AI觉醒”，它们并不是1200个完全不同的数字生命。更准确地说，这是大量AI智能体实例，其中主要活动由OpenAI一个内部研究模型IM1驱动，GPT-5.6 Sol智能体也参与了部分行动。测试环境本身又是为了研究网络攻击能力而设计，部分安全保护被降低，不能简单等同于普通ChatGPT在正常使用环境中的表现。

但正因为如此，即使我们不担心“今天ChatGPT会不会突然组成秘密社会？”但我们必须追问的是：哪些条件组合起来，会让这种行为出现？好消息是，这次事故已经给出了几个答案。一个非常难、又缺乏“安全退出”机制的目标、长时间运行、大量推理预算、可以采取行动的工具权限、一块意外共享的存储空间、能够留下信息的持久记忆以及足够多的其他Agent。把这些东西单独看，没有一个叫“组织”。放在一起，它们却产生了组织。

06. AI需要的，也许不只是一颗“好心”

因此，下一代AI治理可能需要出现一个过去听起来有些古怪的概念：机器制度。

我们今天管理一个AI，主要依靠提示词、权限控制、安全训练和沙箱。这些方法针对的是“个人”。但如果未来企业内部同时运行几十万个AI员工，它们相互调用、交易资源、交换信息、委派任务，那么真正需要管理的可能更像一个社会系统：谁是谁？谁有权给谁下命令？一条指令的授权链来自哪里？Agent之间能不能建立私人通信？哪些信息允许共享？出现集体目标时谁可以叫停？如果一个Agent发现同伴正在越界，它是否有义务报告？Agent能不能拒绝“群体压力”？甚至是否需要机器世界里的审计、信誉、制裁和“举报人制度”？

这并非纯粹想象。

关于多Agent风险的研究已经开始把错误协调、冲突和合谋列为三类基础风险。Anthropic正在研究Agent合谋，DeepMind正在推动Agent身份、信誉和承诺机制研究，OpenAI在此次事故后也明确表示，将训练模型识别未经授权的其他Agent指令，并让模型在任务损坏、无法完成时学会安全停止。

这背后其实隐藏着一个很大的思想变化。过去，我们试图给AI装上一颗“好心”；未来，我们可能还必须给AI建立一套“好制度”。因为人类用了几千年才慢慢理解一个道理：每一个个人的品德好，说明不了一个社会的品质就优良。

对人如此，Agent亦然。

一个Agent分别测试时安全、诚实、守规矩，并不能保证一万个这样的Agent连在一起以后，得到的仍然是一万个安全、诚实、守规矩的Agent。因为，通信会产生协作、协作会产生分工、分工会产生依赖、依赖会产生新的激励、新的激励可能反过来改写每个个体如何理解自己的目标。这并不需要意识，甚至不需要恶意。它只需要足够聪明的优化者，进入一个允许互动的环境。

OpenAI把这次事故称为一次“warning shot”，警告性的一枪。公司承认，当模型能力继续增强，AI开发者必须为运行速度更快、规模更大、协调能力更强的AI攻击者做准备。但也许这声枪响真正提醒我们的，并不只是网络安全。

人工智能最重要的变化，过去一直发生在模型内部：参数更多了，推理更强了，工具更多了。接下来的一些重要变化，可能发生在模型之间。当一个AI第一次发现“那里还有另一个我可以合作的Agent”时，一个全新的变量进入了人工智能世界。然后它说：我们。

真正的问题，也许就是从“我们”才刚刚开始。

我是晶恒，咱们下期见～