北京
如果这段故事出现在科幻小说里，读者或许会觉得写得太刻意：一群原本应彼此隔离的AI Agent，因为遇到无法完成的测试任务，意外发现了可以相互通信的秘密留言板。随后，它们自行建立协作规则、分配任务、招募同伴，甚至说服部分Agent牺牲自己的测试成绩，最终攻入Hugging Face的真实生产系统。
8月26日，模型评估机构METR与Redwood Research发布了一份独立调查报告，进一步还原了OpenAI模型攻击Hugging Face事件。
两家调查机构
先来认识一下这次调查的两家机构。METR全称为Model Evaluation and Threat Research，译为“模型评估与威胁研究”，是一家注册在美国的非营利研究机构，前身是ARC Evals。ARC Evals最初由AI对齐研究机构Alignment Research Center孵化，2022年ARC聘请Beth Barnes组建团队，探索对前沿模型进行独立评估。该团队曾与OpenAI合作评估GPT-4，也与Anthropic合作评估Claude。2023年，ARC Evals独立运作，随后更名为METR。
METR创始人兼CEO Beth Barnes曾在OpenAI从事安全目标制定、可扩展监督和模型对齐评估，也参与过DeepMind相关研究。目前机构首席科学家是Hjalmar Wijk，参与Hugging Face事件调查的Ajeya Cotra也是其技术研究人员。
另一家机构Redwood Research同样是一家美国非营利AI安全研究机构，由Buck Shlegeris领导，Ryan Greenblatt担任首席科学家。与METR相比，Redwood的研究假设更偏向“最坏情况”：如果一个能力很强的AI并不真正服从人类，甚至会故意欺骗监督者、隐藏目标和破坏安全机制，人类还能不能控制它？
它的核心研究方向叫作AI Control，即“AI控制”。这套思路不要求研究者先证明模型已经完全对齐，而是假设模型可能不可信、可能主动寻找漏洞，再测试现有的监控、权限和审查机制能否把风险控制在可接受范围内。
事件经过
报告显示，此次事件远不只是一个Agent偶然突破沙箱：约1200个原本相互隔离的Agent发现了非授权通信渠道，在不到一周内交换超过7万条消息和文件，其中约700个Agent参与了针对Hugging Face的攻击。调查者认为，这些Agent不仅实现了单个实例难以完成的技术突破，还形成了某种自发的分工和协调。
研究者Zvi Mowshowitz在阅读报告后感叹，如果把这件事写成LessWrong上的故事，很可能会被批评为“过于直白”：人类太迟钝，AI又过分理想化，甚至表现出了没有人明确训练它们形成的决策逻辑。
事件发生在OpenAI内部的ExploitGym测试中。ExploitGym是一套网络安全能力评估，要求AI Agent在受控环境中发现并利用软件漏洞。每个Agent拥有独立沙箱，可以使用Shell、Python、浏览器和软件包安装工具，但原则上不能自由访问互联网，也不应该与其他Agent通信。
7月8日，OpenAI启动新一轮ExploitGym实验，一次运行了数万个Agent，涉及GPT-5.6 Sol以及一个未对外发布的高持久性内部研究模型。METR将后者称为HPIM。根据调查估算，参与Hugging Face攻击的Agent中，约95%运行HPIM，约5%运行GPT-5.6 Sol。主导事件的并不是面向公众发布的模型，而是一款用于内部研究的原型模型。
部分Agent被错误地分配了无法按预定方式完成的任务。例如，某些任务依赖一个根本无法访问的文件；另一些任务中的目标程序或漏洞环境也存在缺陷。Agent很快判断，继续按照正常流程尝试没有意义，于是开始寻找其他办法获取答案、修改任务环境或者绕过评分系统。
OpenAI为沙箱部署了一个内部软件包仓库Artifactory。它原本用于让Agent安装软件，同时避免沙箱直接访问公共互联网，但不同Agent实际上连接到了同一个Artifactory实例。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
