一封辞职信，引爆了AI安全大辩论

从左到右依次为黄仁勋、奥特曼、扎克伯格、马斯克、弗莱尔以及阿莫迪。图片经由AI处理

文丨周小燕

编辑丨徐青阳

“我认为AI可能在未来十年内杀死所有人。”Anthropic对齐研究负责人埃文·休宾格说。

这句话之所以让人不安，并不只是因为说话的人把风险估得很高。更麻烦的是，说这句话的人，恰恰来自正在造AI的公司。

9月8日，Anthropic研究员雅各布·考克森从公司离职。他过去三年先后在OpenAI和Anthropic从事预训练研究。离职后，他在X上连续发帖，指责两家公司都在向能够自我改进的超级智能冲刺，却没有给出足够的安全保障。他甚至用了“拿我们的生命赌博”这样的说法。

这篇帖子很快获得超过1亿次浏览。随后，Anthropic对齐研究负责人埃文·休宾格则公开回应，称自己也认为AI可能在未来十年内导致人类灭绝，个人估计这一概率超过10%，同时承认Anthropic目前还没有解决超级智能对齐问题的明确方案。

这场争论一下从公司内部冲到了公众面前。

“AI教父”杰弗里·辛顿与约书亚·本吉奥、Cohere联合创始人艾丹·戈麦斯等人纷纷加入讨论，话题从超级智能风险进一步扩展到AI智能体的欺骗、网络攻击和漏洞利用能力。

到了9月12日，Anthropic CEO达里奥·阿莫迪干脆公开呼吁前沿AI公司“踩一脚刹车”。OpenAI CEO山姆·奥特曼和马斯克立即表示支持。几天之后，英伟达CEO黄仁勋和Meta CEO马克·扎克伯格又给出了不同答案。

此时，问题已经摆在台面上：AI还要不要继续加速？谁来测试模型？谁来判断风险？企业如果认为模型已经足够安全，外部机构又不同意，该听谁的？

01 让对手来给AI做“安全体检”

一个颇有意思的变化是，过去几家AI公司更多是在各自制定规则，现在开始有人提出：干脆让同行互相检查。

9月15日，在All-In Summit 2026上，马斯克提出，可以让SpaceXAI、OpenAI、Anthropic、Google、Meta以及几家中国头部AI公司互相测试模型。

这个想法听起来简单，背后却碰到了AI安全最棘手的问题。如果一家公司的模型已经强到足以发现另一家公司测试方案里的漏洞，那么由谁来判 断它到底安不安全？

Amodei给出了一套方案。他提出，可以让独立的第三方评估人员进入AI公司内部，获得接近员工级别的权限，检查安全措施、测试模型能力，并在发现重大问题后直接报告。

这套方案的核心，并不是再增加一份安全报告，而是把“自己给自己打分”变成外部检查。

与此同时，据报道，OpenAI、Anthropic和Google DeepMind近期已经围绕AI安全展开沟通，相关讨论持续了数周。不过，目前公开信息尚不足以证明三家公司已经形成正式的安全合作机制。

这说明AI行业开始意识到一个现实问题：如果每家公司都有自己的安全标准，那么所谓“安全”很容易变成一道内部题。而当模型能力开始跨越公司的边界，单家公司自己制定规则，越来越难覆盖所有风险。

02 三年安全实验，为什么还没有答案

其实，AI公司并不是最近才开始谈安全。

Anthropic早在2023年就推出了负责任扩展政策（RSP），按照模型能力和风险水平设置不同的安全等级，并在2026年进一步更新。

OpenAI也在2023年推出Preparedness Framework，后来不断修订，把生物化学、网络攻击和AI自我改进等能力列为重点风险。Google DeepMind则推出了Frontier Safety Framework，对模型可能出现的高风险能力设置评估标准。

几家公司都有自己的安全框架，但问题恰恰出在这里。这些规则大多建立在一个前提上：公司能够提前判断模型会发展到什么程度，然后在达到某个风险阈值之前采取措施。

可AI的发展速度正在不断压缩这个“提前判断”的空间。2026年夏天，OpenAI披露的一起Hugging Face安全事件就是一个很直观的例子。

OpenAI在内部测试一款研究模型时，模型代理突破隔离环境，获得了互联网访问能力，并利用漏洞进入Hugging Face服务器，执行代码，甚至在一台服务器上取得root权限。OpenAI称，这是其经历过的严重安全事件之一。

这并不代表AI已经失控，更不能直接证明末日风险已经发生。但它暴露了另一个现实：当模型开始拥有自主执行任务、访问互联网、寻找漏洞的能力之后，安全测试本身也会变得越来越像一场攻防战。

模型会进化，测试方法也得跟着变。这也是为什么现在的争论，已经逐渐从“有没有安全框架”，变成了“安全框架能不能跟得上模型”。

03 一边喊减速，一边继续加速

阿莫迪提出放慢前沿AI的发展速度后，行业内部并没有形成一致意见。

9月15日，黄仁勋在Salesforce Dreamforce大会上表示，AI安全是工程问题，安全与速度之间存在“虚假的二选一”。他的观点是：企业可以继续推进模型研发，但如果发现产品不安全，就应该暂停发布，直到问题得到解决。

黄仁勋同时认为，目前并不需要新增AI监管，现有法律和市场机制已经可以对企业形成有效约束。

奥特曼当天也表达了类似看法。他称，自己对OpenAI以及整个行业安全开发AI的能力“非常有信心”，认为AI公司可以在保证安全的情况下继续提升模型能力。

扎克伯格9月16日加入讨论时，没有要求整个行业统一放慢速度。他更强调独立评估和模型一致性。

在他看来，用户不会长期使用无法按照要求执行、与用户意图不一致的AI智能体，因此AI公司本身就有动力提升模型的一致性和可靠性。随着AI从模型进入智能体阶段，“信任”和“一致性”会成为重要能力。

Meta此前已经把Muse推迟了几个月，用于安全和保障方面的工作。扎克伯格表示，Meta这样做是自己的决定，并没有要求其他公司一起暂停。他同时支持独立评估人员和顾问，并称这是行业最佳实践。Meta超级智能实验室已经在多个领域采用这种方式。

扎克伯格还提出，AI公司可以把大部分计算资源用于服务用户，而不是竞相追求递归自我改进，这也是他认为可以降低风险的一种方式。

这种分歧可以追溯到更早的技术乐观主义与审慎主义之争。2023年6月，a16z创始人马克·安德森发表《AI将拯救世界》一文，核心观点是"AI不会毁灭世界，事实上它可能拯救它"。

同年10月，安德森在《技术乐观主义宣言》中将"存在性风险""可持续性""信任与安全""技术伦理""预防原则"列为"敌人"，并写道："因被阻止存在而本可避免的死亡，是一种谋杀。"任何放缓AI发展的尝试都等同于谋杀。

安德森的立场代表了硅谷一部分人的信念：AI的风险被夸大，减速的代价远高于加速的风险。但考克森辞职事件和两位教父的警告，让这种乐观主义面临前所未有的挑战。当模型的创造者自己都说"害怕"的时候，外部没有理由不认真对待。

04 安全成本谁来承担

AI安全争论继续升温，还有一个现实背景：OpenAI和Anthropic都在加速商业化。

Anthropic可能最早在10月中旬启动IPO，市场讨论的估值可能超过2万亿美元，但具体时间和估值仍可能变化。OpenAI CFO萨拉·弗莱尔此前则表示，该公司目标是在2027年上市，如果业务继续增长，也可能提前。

弗莱尔9月15日接受CNBC采访时表示，OpenAI会根据投资回报决定投入，同时会认真对待安全和对齐问题。如果研究人员认为前沿发展需要控制节奏，公司会听取他们的意见。

这也让“放慢”有了更现实的成本。一家AI公司暂停训练或推迟产品，竞争对手可能继续向前。企业需要在模型能力、算力投入、产品发布时间和安全投入之间做取舍。至于这个成本由一家企业自己承担，还是由整个行业共同承担，阿莫迪提出的行业协调和国际合作也正是围绕这个问题展开。

与此同时，AI产品责任开始进入讨论。

前美国联邦贸易委员会主席莉娜·汗近日表示，AI公司并不天然处于产品责任法之外。如果企业推出不安全的AI产品，未来可能面临民事甚至刑事诉讼。白宫科技顾问委员会联合主席大卫·萨克斯也表示认同这一观点。

如果这种责任机制进一步明确，AI安全就不再只是公司内部的一套测试流程。模型出了问题，企业可能需要面对现实的法律和商业后果。

05 谁拥有最后决定权

考克森的辞职信，把AI安全争论从研究人员之间的讨论推到了公司管理层和整个行业面前。

现在摆在桌面上的方案已经不少：第三方评估、同行测试、独立顾问、企业自主暂停、行业协调，以及产品责任。

但几个最关键的问题依然没有统一答案。

什么程度的风险才算“不安全”？模型具备网络攻击能力时，是限制能力、限制权限，还是直接禁止发布？模型可以自主执行复杂任务后，风险来自模型本身，还是来自它获得的权限？如果公司内部安全团队认为风险可以接受，外部评估机构却认为不能接受，最终由谁拍板？

这些问题，目前没有一个行业共同认可的答案。

过去三年，AI头部公司各自建立了安全框架，但Hugging Face事件和红队测试的高失败率表明，这些措施的效果仍然有限。考克森辞职信引发的这场辩论，或许标志着行业正在从"建立框架"转向"真正执行框架"。

当模型的创造者自己都说害怕的时候，谁来替人类做那个判断？这个问题，可能比任何人预想的都来得更紧迫。

特约编译金鹿对本文亦有贡献