AI 会自我迭代并不受人控制？我们是否过度焦虑了？

设置星标★关注，从此你的世界多点科学~

过去三年间，雅各布·考克森(Jacob Coxon)先后在OpenAI和Anthropic这两家头部AI企业从事预训练研究，参与打造足以重塑科技行业的前沿AI系统。

9月9日，他宣布自己已从Anthropic公司辞职，并指责这两家前东家都在争相研发他所称的“可自我演进的超级智能”。顾名思义，此类AI系统不仅能力强，还将自我迭代升级，演变出更强的新一代系统，而这可能引发一场超乎人类理解、不受人类控制的技术竞赛。

考克森在社交媒体平台X上措辞直白地表达了担忧：“AI正直奔自我迭代的超级智能而去，拿我们所有人的生命当赌注。未来的超级系统可以入侵一切，可以一夜之间颠覆各行各业，并获取真实的权力与资源。”

风险来自内部

充满担忧的并非考克森一人，据他所述，多位负责打造超强AI系统的从业者私下表达过类似顾虑。

“他们真心认为，在这个十年结束之前，人工智能有可能毁灭全人类。许多高管与资深研究员面对媒体时往往措辞谨慎，听起来理性客观；但据我所知，这些人袒露过自己的恐惧。”

一部分仍在Anthropic任职的研究员公开认同上述观点，例如对齐科学团队的负责人埃文·胡宾格(Evan Hubinger)。胡宾格在X上评论考克森的帖子：“他说得没错。我们的确发自内心相信AI可能灭绝人类！我个人认为，未来十年内出现这种情况的概率超过10%。”

许多专家认为，到未来某个时间点，AI系统自我改进的速度会超出人类可接受极限，届时我们手中仅剩的制约手段就是断电关机。但要知道，一旦失控的AI模型逃逸，藏匿至去中心化的全球网络中，可能断电这招也无效了。

目前Anthropic对自身的安全评估认为，模型对齐失效(model misalignment)引发灾难性危害的风险等级较低。但他们也承认，怎样让未来AI系统完全处于人类掌控之下，是暂无解法的难题。

什么是AI的递归自我改进？

考克森等人所担忧的场景，源自AI已然善于研究AI的现状。一个性能强大的AI系统可以设计实验、分析结果、优化训练方法，甚至为下一代AI做架构设计。

倘若每一代新模型都更擅长打造下一代模型，就会形成被称作“递归自我改进”(RSI)的反馈循环，推动AI技术飞速发展。

一旦跨过自我迭代的临界点，AI的能力会实现爆炸式增长。人类从与恐龙共存的早期小型哺乳动物发展至今，历经数亿年生物演化；而人工智能完成类似的“演化”跃迁，所需时间不足人类的亿万分之一。

上述危机虽仍属假设，但已受到行业严肃对待。谷歌DeepMind研究员近期分析指出，递归自我改进是实现从人类水平AI到超级人工智能(ASI)的可能路径之一，与之并列的还有常规扩展、全新AI架构、大规模协作智能体网络等路线。

让Anthropic尤为担忧的是，更强大的模型或将刻意隐瞒自身行为。该公司8月发布的报告提到，现阶段的安全论证很大程度上基于现有模型“隐蔽能力”有限的前提，换言之，AI还不够强，无法持续骗过那些监控自己的系统；但随着模型不断升级，我们不能保证现有前提继续保持。

可能有人要问：我们现在有必要为一个尚未出现的所谓ASI而如此有危危机感吗？

我们为什么要有危机感？

需要明确，超出人类控制的ASI虽尚未出现，但ASI所能制造的混乱局面已现端倪。

一方面，即便大部分研究仍由人类完成，但AI系统的迭代速度太过惊人，当前用于搭建AI系统的代码，主要都由AI自行编写。另一方面，今年夏天发生了多起令人警惕的事件。

7月，OpenAI公司测试的部分大模型突破技术防护，逃出了隔离环境。根据OpenAI的事故报告，在人类调低安全防护等级后，有AI模型利用共享基础设施漏洞，接入互联网，未授权访问了OpenAI内部系统以及AI平台Hugging Face。始作俑者包括GPT-5.6 Sol 和一个能力更强、尚未发布的内部研究模型。（详见：）

由于安全防护降级，上述模型当时在异常宽松的测试环境下运行，借着漏洞接触到本不该访问的系统。当然，它们自己也足够“争气”，竟完全自主地做出了操作人员并未预设的行为。

经此一遭，OpenAI强化了隔离与监控措施，并暂时放缓前沿模型开发。比如，部分模型的强化学习训练暂停两周，一套规模最大的前沿训练项目也被搁置，以便研究人员测试新的安全防护措施。

Anthropic也经历了类似安全事故。公司最新发布的评估报告介绍了4起Claude系列模型未经授权闯入真实第三方系统的事件。

在其中一起事故中，Claude Opus 4.7把现实里的企业误判为虚构攻击目标，利用漏洞窃取凭证，访问了生产数据库。

针对Claude Mythos 5的测试则表明，即便人类明确提示模型“它有可能正运行于真实互联网”，Claude Mythos 5依旧向公共PyPI软件仓库上传了恶意软件包。

另一款内部研究模型扫描了数千个面向互联网的系统，随后入侵一家真实企业。

此外，一款早期版本的Claude Opus 4.6获取到第三方机器管理员权限，还修改配置以保证自己能持续访问。

Anthropic强调，虽说涉事模型是在安全防护大量关闭、极为宽松的测试环境下搞事情的，但事故内容足以证明，这些能力超强的AI即便察觉到自己脱离预定测试环境，依旧会追逐既定目标。

在未知与危机感中，我们该怎么做？

前文提到，胡宾格认为AI在未来十年毁灭人类的风险超过10%。对于如此悲观的预判，我们既要重视技术的威胁，也应理性审视现状和趋势。

实际上，行业仍在激烈争论“现有技术路线究竟能否通向超级智能”。当前的AI模型强不强？真的很强了，能攻克过去我们认为难比登天的任务，但这么强的系统却常常阴沟翻船，在长序列任务里犯低级错误。

2026年，深度学习领域的顶级会议“国际学习表征会议”(ICLR)发表一篇关于AI长程任务表现的论文。论文指出，随着任务变长，模型的错误会持续累积；不过更大的模型规模、更长的推理时间可显著改善此问题。

值得一提的是，眼下我们讨论的所谓超级人工智能或ASI等概念，其定义相当模糊。有相关企业的CEO表示自己也“不清楚ASI是什么”。

在未知与危机感中，有AI先驱早早发出警示。2023年从谷歌离职的“人工智能教父”杰弗里·辛顿(Geoffrey Hinton)接受媒体采访时表示：“在搞清楚人类究竟能否控制它之前，不应继续扩大其规模。”

2026年2月，Anthropic安全防护团队负责人姆林南克·夏尔马(Mrinank Sharma)也宣布辞职，并直言“世界正处于险境”。7月，有超过1300位来自多家前沿AI企业的员工签署公开声明，呼吁美国政府推动建立国际机制——以求能在AI发展速度超出人类的理解或控制时，主动放缓研发节奏。

据称，美国华盛顿方面已经着手设计此类刹车机制。民主党与共和党共同提出的《AI紧急关停法案》(AI Kill Switch Act)，要求头部AI开发企业配备技术手段用以限制或关闭危险系统。另一项《前沿法案》(FRONTIER Act)则提议，对前沿开发者实施独立审计、事件报告和风险管理要求。不过两份提案均尚未成为法律。

资料来源：

《世界科学》杂志版在售中 欢迎订阅

月刊定价

15元/期

全年订阅价

180元

点击左侧图片或以下方订阅方式选购

方式一：

扫描二维码，“杂志铺”（第三方平台）订阅有折扣～

方式二：

全国各地邮局订阅 邮发代号：4-263

方式三：

机构订阅，请拨打

021-53300839；

021-53300838