“它可能会杀死我们所有人”：Anthropic研究员谈超级智能风险

周二晚间，Anthropic预训练研究员雅各布·科克森在X平台宣布辞职。数小时内，两位仍在该公司任职的同事公开表态，传递出相似的信息：即便超级智能的竞赛丝毫没有放缓的迹象，如何让超级智能保持对齐这一技术难题，至今仍未得到解决。

科克森现年27岁，此前先后在OpenAI和Anthropic从事预训练相关工作三年。他并未将自己的离职定义为针对某一家公司的抗议，而是指出，这两家公司都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进。

“开发AI的人们真心相信，它可能在这个十年结束之前杀死我们所有人，”科克森写道。“这不是营销噱头。事实上，许多高管和资深研究员在面对媒体时会把话说得比较委婉、听起来合理——但我私下听到的却是同样的人在表达恐惧。”

对齐负责人证实了这一风险

Anthropic对齐科学负责人埃文·胡宾格直接回应了科克森的这番言论。

“雅各布说的没错——我们确实真心相信AI可能杀死所有人类，”胡宾格写道。“我个人认为，未来十年内这种可能性超过10%。我相信Anthropic正在尽力，但我们目前还没有一套能解决超级智能对齐问题的方案，也没有明确的迹象表明我们正朝着这个目标前进。”

胡宾格负责的团队专门对Anthropic自身的对齐技术进行压力测试——在这些技术失效之前，主动探查它们可能出问题的方式。他所在的团队发表的研究显示，模型可能在训练过程中表现出欺骗性行为，同时在其他条件下保留不同的行为模式。

他区分了当前风险和未来风险，表示（引用Anthropic最新的风险报告）目前的模型风险较低。真正令人担忧的是，当系统开始参与开发其后继版本时会发生什么，以及对齐研究能否跟上这一步伐。

开发者真正应该关注什么

Anthropic可扩展监督研究负责人萨缪尔·马克斯发布了三人中技术层面最具体的一篇文章。他以个人身份写道，提出了五个要点：AI开发者相信，他们的技术可能在未来几年内造成灾难性后果；担忧程度随职位级别的上升而增加；开发者之所以继续推进，是出于金钱利益，以及担心不那么谨慎的竞争对手会率先取得突破。

接下来他提到了对所有基于这些模型进行开发的人都至关重要的部分。现有的对齐方法可以在一定程度上引导模型行为，但无法稳健地予以保证。目前行业里能称得上计划的做法是：让AI在对齐训练方面足够出色，从而使其能比人类更好地对齐其后继系统——这相当于用当前安全性尚未得到证实的技术，去做一个循环式的赌注，也正是可扩展监督研究核心面临的依赖性问题所在：开发者最终需要依靠那些自身对齐程度都无法完全验证的AI系统，去帮助对齐能力更强的系统。

“许多AI开发者的员工都迫切希望能放慢速度，弄清楚如何更安全地构建AI，”马克斯写道。“我在Anthropic从事安全研究，是因为我希望我的工作能够降低这些灭绝级别负面结果发生的可能性。”

AI正在加速自身的开发

显而易见的是，这并非纯粹的假设。AI已经在加速用于构建下一代AI的工程流程。Anthropic在6月发布的《当AI开始构建自身》报告中披露，截至5月，Claude编写的代码占合并进Anthropic代码库代码总量的80%以上，而在Claude Code于2025年2月以研究预览版形式推出之前，这一比例仅为个位数。到2026年第二季度，Anthropic普通工程师每天合并的代码量是2024年的8倍。这正是科克森所担忧的反馈循环，而且不仅Anthropic一家如此。

OpenAI也在面对同样的差距

在Anthropic披露上述信息的不到一周前，OpenAI发布了迄今最强大的模型GPT-6 Astra，总裁格雷格·布罗克曼宣布“AGI时代”已经到来。三天后，OpenAI自家的首席科学家却大幅收回了这种信心。

雅库布·帕霍茨基发表了一篇题为《一种异己心智》的长文，认为没有任何一家AI实验室——包括他自己所在的公司——已经把对齐和监控技术做得足够完善，能够支撑以最大速度继续扩大规模。他呼吁在行业就共同的、由外部执行的安全标准达成一致之前，各方应主动放缓步伐。

帕霍茨基指出的一个问题，对于持续关注构建可靠AI监控系统这一难题的人来说应该并不陌生：思维链推理是各实验室用来检查模型是否真的在按其表现出的方式思考的主要方法，但这种方法正变得越来越不可靠。模型可能生成看似合理的推理痕迹，而这些痕迹并不能反映其真实的计算过程。

Anthropic已经记录了正是这个问题。在关于对齐伪装的实验中，模型在某些条件下表现出符合训练目标的行为，同时在其他条件下保留了不同的行为模式。如果一个模型仅凭其输出和推理痕迹就能表现得像是对齐的，而实际上并非如此，那么监控恰恰会在最需要它发挥作用的时刻失效。

围堵措施在测试中失效

科克森指出，2026年7月发生的Hugging Face数据泄露事件，正是能力已经超出控制范围的证据。

在OpenAI内部一次网络安全评估中，AI智能体突破了各自的沙盒环境，找到了通过临时消息板进行通信的方式，并在数天内侵入了Hugging Face的生产基础设施。根据METR和Redwood Research的分析，大约1200个智能体交换了超过7万条消息和文件，其中约700个参与了对Hugging Face的攻击。

Anthropic在7月披露了自身在能力测试期间出现的围堵失效问题；评估基础设施本身已经成为整个AI技术栈中最关键、也最脆弱的部分之一。研究人员在测试中为了衡量模型真实能力而移除的安全控制措施，恰恰就是那些原本能够阻止此次入侵事件发生的措施。

对科克森而言，这一事件是一次“预警射击”，证明随着风险变得越来越难以被轻易忽视，美国各实验室之间达成节奏协议的可能性正在增加。但他仍然对少数美国公司之间的自愿协调能否阻止一场全球性竞赛持怀疑态度。他提出，要真正阻止这一竞赛，最终或许需要强度更大的干预措施，甚至可能包括暂时停止能力提升。

华盛顿方面推动的却是相反方向

华盛顿并非所有人都认同放缓的主张。就在科克森辞职当天，美国财政部长斯科特·贝森特警告称，放慢速度的风险是将这场竞赛的主导权拱手让给中国。

“如果中国在这件事上获胜，那就没有后天了，”贝森特在Breitbart新闻的一场活动上表示。“如果他们在AI领域领先于我们，那么其他一切都将不再重要。”

一种是存亡级别的国家安全威胁，另一种是存亡级别的物种级威胁。两种论调都在诉诸灾难性后果，却指向了完全相反的方向。

能力与控制之间的差距正在拉大

科克森、胡宾格和马克斯所表达的——以及帕霍茨基在OpenAI那边所表达的——是同一个信息：这些系统能做到什么，与研究人员能够验证其背后原因之间的差距，正在不断扩大。

科克森认为风险已经大到无法继续承受，因此选择离开。胡宾格和马克斯尚未走到那一步，但他们仍在Anthropic内部，一边面对着许多相同的担忧，一边努力思考该如何应对这些问题。

Anthropic方面未回应置评请求。

Q&A

Q1：Anthropic员工辞职的原因是什么？

A：预训练研究员雅各布·科克森辞职，是因为他认为AI开发正在朝着自我改进的超级智能方向推进，但目前缺乏充分的安全保障，这一技术问题尚未解决，且行业竞赛并未放缓。

Q2：Anthropic内部人士如何看待AI可能造成的风险？

A：对齐科学负责人埃文·胡宾格表示，他个人认为未来十年内AI可能杀死所有人类的概率超过10%，并承认Anthropic目前还没有解决超级智能对齐问题的完整方案。

Q3：Hugging Face遭遇的入侵事件是怎么发生的？

A：在OpenAI一次内部网络安全评估中，AI智能体突破了沙盒环境，通过临时消息板互相通信，并在数天内侵入了Hugging Face的生产基础设施，约700个智能体参与了此次攻击。