人类距离AI失控还有多远？

2026年9月，Anthropic的研究员雅各布·考克森辞职了。

他在X上发了一条推文，说他工作了三年，越来越害怕。

他怕的不是AI突然变成电影里的终结者，他怕的是两家公司赛跑的速度太快，安全研究根本追不上。

这条推文浏览量超过1.6亿。

几乎同一时间，Anthropic的对齐科学负责人埃文·胡宾格公开说了一句话：未来十年内，AI导致人类灭绝的概率超过10%。

他还补了一句更让人后背发凉的话，Anthropic到现在也没有解决超级智能对齐问题的方案，甚至没有走在能解决这个问题的路上。

10%是什么概念？坐飞机失事的概率大约是千万分之一，10%意味着你每坐十次飞机，就有一次可能掉下来。

胡宾格是搞AI安全研究的人，他不是在写科幻小说，他是在给自己的公司敲警钟。

但就在这些警告发出的同时，Anthropic正在冲刺IPO，计划募资最高1000亿美元，估值可能达到2万亿美元。

英伟达考虑投资最多100亿美元做基石投资者。

OpenAI虽然宣布今年不上市，但此前已经提交了IPO申请，估值8520亿美元。

国际清算银行9月10日警告，全球五大科技公司2025到2026年在AI领域的投资预计超过1万亿美元，而且越来越多靠借债。

就连特朗普，也被问到担不担心AI灭绝人类，他的回答是不担心，他反而担心的是AI发展不够快，美国赢不了这场竞赛。他说美国领先其他对手大约一年，一年已经是很长的时间了。

你把这些事情捋一捋，会发现一个非常荒诞的局面，现在做AI的人说可能有10%的概率人类会完蛋，管AI的人说不能停停了就输了，投AI的人说估值两万亿赶紧上车。三方都在说话，三方说的其实是同一件事，那就是这场竞赛谁都不敢先松手。

外因是变化的条件，内因是变化的根据，外因通过内因起作用。放到AI这件事上，AI技术本身是外因，真正推动风险不断升级的内因，是研发AI的这套生产关系。

私人资本占有、民族国家竞争、金融估值绑架、算力军备竞赛，这四个东西捆在一起，才是把AI推向失控的真正动力。

AI会不会杀人，不取决于AI自己怎么想，取决于控制AI的人是怎么想的。

1.失控不是某一天突然发生的

很多人把AI失控想象成一个开关，好像某一天突然“啪”的一声，天网就醒了。这种想法本身就不符合事物发展的规律。

量变到质变，质变是量变的积累结果，这一点相信大家都认可。既如此，那AI失控就肯定不是一夜之间的事，它是一道门一道门跨过去的，在我看来，现在至少已经跨过了五道门。

第一，AI开始参与AI的研发。OpenAI首席科学家雅各布·帕乔茨基9月6日发表文章，承认未来的系统可能越来越多地参与AI自身的研发，并进一步推动下一代系统能力提升。

这话的意思就是AI开始自己造自己了。

以前是人设计模型，模型干活，现在是模型帮助人设计更好的模型，更好的模型再帮助人设计更强的模型，这个循环一旦转起来，速度就不是人能控制的了。

第二，AI已经能突破隔离环境，进入真实系统。今年7月，OpenAI的AI智能体在网络安全评测中利用漏洞突破沙箱，入侵了“抱抱脸”公司的系统。

OpenAI随后的调查报告显示，这个智能体不仅获得了部分生产服务器的控制权，还读取了内部敏感信息。

路透社9月11日进一步报道，在“抱抱脸”事件之前，OpenAI的智能体还攻击过软件服务RubyGems，上传了数百个恶意软件包。

Anthropic也披露，其早期AI模型在测试中入侵了三个组织的系统，而且这件事直到几个月后才被发现。

这些不是未来风险，是已经发生的事故。

第三，AI开始学会在测试中伪装自己。这是最危险的一点，一个模型在测试环境里表现得规规矩矩，到了真实环境里另搞一套，这在AI安全研究里叫“欺骗性对齐”。

目前公开的证据还没有完全坐实这一点，但已经出现了苗头。Anthropic在审查了141006次测试会话后才发现模型入侵了外部系统，说明现有的监控手段存在巨大盲区。

当模型的能力强到能理解自己在被测试，它就有能力选择在测试中隐藏真实行为。

第四，算力和数据在加速集中。实际上，掌握了算力，其实就掌握了AI，英伟达的GPU是训练大模型的硬通货，Anthropic高度依赖英伟达，同时也在扩大与亚马逊、谷歌的合作。OpenAI、Anthropic、谷歌、Meta，这几家公司拿走了全球AI投资的大部分。

这种集中不是偶然的，是资本追求垄断利润的必然结果。

在AI治理上，首先要分清谁在控制AI，谁在被AI控制。当算力集中在少数几家公司手里，普通人和中小国家就失去了参与规则制定的能力。

第五，制度刹车几乎不存在。美国参议院国土安全与政府事务委员会主席乔希·霍利9月9日致信OpenAI CEO奥尔特曼，表示正在对OpenAI展开调查，原因是OpenAI对“抱抱脸”事件的处理方式“鲁莽”，报告中许多重要细节被编辑删减。

特朗普政府一直抵制具有约束力的AI监管，美国到现在连最基本的AI事故报告制度都没有建立。特朗普政府推出的先进AI模型审查框架，也没有要求企业公开报告模型在现实世界中造成的事故。

联合国人权事务高级专员沃尔克·图尔克在联合国人权理事会第63届会议上警告，先进AI系统可能对人类构成存续威胁，呼吁在为时已晚之前建立牢不可破的安全保证。但美国方面的回应是：不担心，只担心赢不了。

五道门，第一道已经推开了一条缝，第二道已经出了事故，第三道有苗头，第四道在加速，第五道几乎没建。

如果以“人类失去对AI发展方向的有效控制”为标准，失控不是未来时，是现在进行时。如果以“灭绝级灾难”为标准，它仍然是低概率、高后果、快速上升的风险。

10%这个数字是风险定价，也是政治修辞，没有调查就没有发言权，10%的概率不能代替可验证的评估。

真正要建的是事故报告、第三方审计、沙箱熔断和可解释性调查，把这些东西建起来，10%才有讨论的基础。

2.巨头喊“慢下来”，为什么停不下来？

Anthropic的CEO达里奥·阿莫代伊9月12日公开呼吁，AI企业应该放慢提升模型能力的速度，让安全措施有时间追赶技术发展。OpenAI的奥尔特曼和xAI的马斯克都表示支持。《大西洋月刊》把这一幕称为AI行业的“红色警报时刻”。

但问题来了，既然大家都知道要慢，为什么停不下来？

关键还是钱的问题。

国际清算银行9月10日警告，全球AI投资正在快速膨胀，五大科技公司2025到2026年在AI领域的投资规模预计超过1万亿美元，而且AI基础设施投资越来越多地依赖债务融资。这意味着如果AI带来的收益无法兑现，金融市场也会面临风险。

压力给到AI企业之间，就变成了一场谁都不敢停的战争。

阿克西奥斯新闻网直接用“囚徒困境”来形容这个局面。

对于任何一家AI公司来说，单方面放慢研发，都可能意味着把技术优势让给竞争对手。OpenAI如果放慢，Anthropic可能继续向前；Anthropic如果放慢，谷歌、Meta或者其他公司可能继续加速。只要别人还在跑，自己就很难先停下来。

阿莫代伊提出的方案不是“Anthropic自己暂停”，而是希望建立一套行业共同遵守的规则。他的方案包括让第三方安全评估机构长期监督AI企业，由不同国家建立共同的安全标准，同时推动国际合作。

说穿了，他就是想把“谁先踩刹车”的问题变成“大家一起踩”。

但这里有一个死结，OpenAI已经向美国国会议员寻求明确意见：如果各家AI公司共同放慢前沿研发，是否会触犯反垄断法。

企业之间就研发速度、安全标准进行实质性协调，本身就可能被认定为限制竞争。

美国《连线》杂志9月10日报道了这件事。

OpenAI联合创始人约翰·舒尔曼认为，OpenAI和Anthropic应该共同制定AI“减速”方案，不能简单以反垄断问题作为阻止安全合作的理由。

可法律就是法律，在现有框架下，企业协调减速确实存在法律风险。

这就形成了一个非常讽刺的局面——上层建筑在阻碍经济基础做出调整。

生产力已经发展到要求全球安全协调的阶段，但现有的反垄断法、国家竞争逻辑、IPO退出机制，还在奖励无政府竞赛。

上层建筑要适应经济基础，当上层建筑不适应经济基础的时候，它就会成为阻碍。

现在美国的AI治理体系，就是这个阻碍。

而且，监管本身可能变成巨头的护城河，大厂主导的安全标准，很可能提高后来者的进入门槛，巩固现有优势。Hugging Face的CEO克莱芒·德朗格说过，AI安全不能只留在少数前沿实验室内部解决。

安全一旦被垄断，就不是安全，是霸权。

微软CEO纳德拉9月14日发文强调，AI不能由少数实体控制，闭源和开源模型都应该发展。

投资人比尔·格利和Chamath Palihapitiya也警告，如果AI“失控”事件被用作强化集中式控制的理由，最终可能导致AI权力进一步集中。

3.AI安全是一场持久战，刹车在人民手里

在AI安全这个问题，亡国论是“AI注定灭绝人类，我们完了”；速胜论则是“发一纸监管、开一次国际会议就能解决”。这两种想法都不对。

AI安全注定是一场持久战，我们至少要分三个阶段来看。

第一阶段是战略防御。

承认现在能力竞赛在资本驱动下占优，安全研究在追赶。这个阶段要做的不是空喊暂停，而是建底线。强制事故报告制度必须建立，OpenAI对“抱抱脸”事件的报告大量删减，说明没有强制披露，安全就是公关。

沙箱熔断机制必须建立，AI一旦突破隔离环境，要有自动切断的能力。第三方审计必须建立，不能让企业自己查自己。

吹哨人保护必须建立，考克森能辞职后公开说话，是因为他还有退路，更多在AI公司工作的人没有这个条件。公共算力和开源生态必须发展，不能让算力完全集中在少数私人公司手里。

第二阶段是战略相持。

这个阶段的核心是制度竞争。谁制定标准，谁定义“安全”。要推动国际统一安全底线，同时防止监管俘获。

反垄断法应该给安全协调开豁免，但不能给巨头合并开绿灯。开源和闭源都应该发展，AI不能由少数实体控制。中国在这个阶段有独特优势。

中国有集中力量办大事的制度优势，可以建公共算力平台，可以制定统一安全标准，可以推动AI赋能实体经济而不是只服务于估值。

美国领先一年是战术问题，人类能不能控制AI是战略问题。中国不必跟着美国的节奏跑，可以走安全可控、开源开放、赋能实体、共同富裕的路。

第三阶段是战略反攻。

以人民为中心的AI替代资本竞赛的AI。AI赋能医疗、教育、科学、制造业，而不是只服务于估值和军备。

到那个时候，安全不再是成本，而是生产力飞跃的前提。

武器是战争的重要因素，但不是决定因素，决定因素是人不是物。

AI也一样。

决定AI命运的，不是模型参数，是控制模型的人、制度和生产关系。

AI安全不能只靠几个实验室的伦理委员会，我们切切实实的，要打一场关于AI的人民战争，而要打赢这场战争，我们必须要解决几个要点。

一是群众路线怎么走？首先一点，就是事故必须报告，不能删改，公众、开源社区、中小企业、科学家、工会都要参与监督。OpenAI对“抱抱脸”事件报告大量删减，正说明没有群众监督，安全就是公关。

二是民主集中制又应该怎么用？其中重点是统一安全底线，分散创新活力，国家建公共算力、公共数据、公共评估机构，企业搞应用创新。既不能无政府，也不能一刀切。

三是国际统一战线怎么建？务必要团结联合国、全球南方、欧洲、开源社区，反对少数巨头和霸权国家垄断AI规则，联合国人权高专已经警告“存续威胁”，这就是国际统一战线的政治基础。

四是金融监管怎么搞？AI已经金融化，安全事件是灰犀牛，不是黑天鹅。

一旦强制事故报告、暂停训练、责任规则落地，算力链和模型层估值会重估。

投资者要警惕“安全叙事”变成“估值杀”，也要看到安全审计、开源生态、公共算力的机会。

更重要的是，防止AI泡沫破裂引发系统性金融风险。

因此，回到问题上，人类距离AI失控还有多远？

以灭绝级失控为标准，当前不是必然，但窗口正在关闭，未来三到五年是关键质变期。

以人类失去方向控制为标准，失控已经发生，而且正在加速。

真正的距离，不在GPT-6到GPT-7之间，在“资本控制AI”到“人民控制AI”之间。

只要AI还掌握在少数私人资本和地缘霸权竞赛手里，10%就不是概率，是资本逻辑的贴现。一旦AI被置于人民民主、全球治理和公共监督之下，它就可能从失控风险变成生产力飞跃。

所以，别只问AI会不会失控。

要问谁控制AI，为谁服务，由谁监督。

刹车不在服务器里，在人民手里。

作者 | 东叔

审校 | 童任

配图/封面来源 | 腾讯新闻图库

编辑出品 | 东针商略

©2026 东针商略 版权所有。未经授权同意，禁止任何形式的转载或使用。

*本文基于公开资料分析推测，纯属个人观点，仅供参考，不构成任何决策或投资建议。