刚刚，“AI教父”辛顿联手OpenAI等发出警告：AI研发该踩刹车了

就在刚刚，由于AI入侵企业，“AI教父”、诺奖得主杰弗里·辛顿（Geoffrey Hinton）终于也坐不住了。

智能纪元AGI 9月28日消息，刚刚，22位AI学术大牛联手发论文，直指AI研究的“递归自动化”（ASI）可能会引发“AI爆炸”（intelligence explosion）。

这种发展可以将数年才能取得的进展压缩到数月甚至更短的时间内，并超越人类的理解能力。因此，研究人员要求企业提高自身模型开发自动化程度的透明度，并希望监管机构调查AI技术在多大程度上实现了自动化，要求对AI技术进行更严格的约束和管理。

作者团队当中包括AI研究先驱Hinton（曾在谷歌工作近十年），图灵奖得主，蒙特利尔大学教授约书亚·本吉奥（Yoshua Bengio），OpenAI首席科学家Jakub Pachocki 、Anthropic联合创始人Jack Clark 、微软首席科学官Eric Horvitz以及Meta人工智能研究副总裁Dawn Song等。

这成为全球AI学术界最高要求AI暂停的技术分析论文，也是 最新呼吁倡议AI暂停的一部分。

随着“ AI教父”出马，意味着人类 是不是真的应该摁下AI研发停止键了？

AI发展太快，RSI让社会准备好“AI爆炸”

AI研究人员多年来一直警告人类可能会失去对这项技术的控制。而最近发生变化的是，随着RSI等新技术到来，AI能力呈爆炸式增长，一系列事件和警告让这种可能性不再显得那么抽象。

在从Anthropic公司离职后，AI研究员 Jacob Coxon 于 9 月 8 日在社交媒体上发帖警告说，开发人工智能的团队“真心相信，人工智能可能会在本十年末毁灭我们所有人”。

如今，论文中指出，与仅仅一年前相比，如今开发 AI 的公司内部，大部分代码已由 AI 系统自行编写。随着 AI 研发管线中越来越多环节实现自动化，AI 的进步是否会在一场“AI爆炸”中急剧加速，把原本需要数年的进展压缩到数月甚至更短？

初步证据表明，这种可能性确实存在。

而这种AI爆炸，似乎也可以称为“超级AI”。

论文写道，AI爆炸可能源于人工智能推动硬件和/或软件进步。硬件进步会提升用于开发和运行人工智能系统的计算硬件（算力）的质量和数量，软件进步则会改进人工智能研发所使用的数据、算法、代码和流程。

其中包括在现有硬件上实现更高效的训练和推理、改进研究管理和运营、更优质的合成数据和训练环境，以及AI领域的新范式。短期内，软件进步尤其值得关注。

“初步证据表明，由软件驱动的智能爆炸是可能发生的。如果这种情况真的发生，它可能成为历史上影响最为深远的技术发展：AI系统可能在大多数领域迅速超越人类专家，并从根本上加速技术进步。鉴于事关重大，且采取行动的窗口期可能十分有限，我们认为，为AI爆炸做好准备应成为一项紧迫的优先事项，包括在最高级别开展相关准备工作。”论文写道。

事实上，AI 系统有望在数年内实现 AI 研发大部分工作的自动化，甚至可能包揽全部工作。如果这触发了AI爆炸，它可能极大提前 AI 带来的收益，但同时也构成极端风险：能力增长可能加速到远超社会可适应的程度，人类可能失去对超人类 AI 系统的控制权，国家内部与国家之间、企业之间以及政府各分支之间的权力制衡可能被严重削弱。

软件驱动的AI爆炸机制包含两个部分：

（1）随着 AI 系统在 AI 研发方面变得更出色、更快速，它们扩大了有效研发队伍；

（2）这支队伍持续产出更出色的 AI 系统，而这些系统又通过递归反馈循环（RSI）进一步扩大研发队伍。

论文指出，尽管围绕这些可能性仍存在大量不确定性，但风险之高值得给予严肃而持续的关注。政策制定者应紧急提升对 AI 自动化研发的可见度，制定引导和约束智能爆炸的手段，并让社会做好适应智能爆炸冲击的准备。

政策制定者应立即采取以下措施：

(1) 了解前沿人工智能公司内部人工智能研发自动化的情况；

(2) 制定引导和限制AI爆炸的方法；

(3) 做好准备，以适应AI爆炸带来的影响。

实际上，开发能够自我改进的AI技术竞赛已经拉开帷幕。

Anthropic公司近期表示，其人工智能系统Claude主导了公司26%的研发工作，并且在某些领域的使用率超过90%。

OpenAI的目标是在2028年前开发出全自动的人工智能研究员，该公司近期还表示，其约70%的研究人员正在使用四个或更多AI智能体来辅助工作。

微软近期的一份报告显示，2026年第二季度，全球AI普及率持续上升。6月，全球劳动年龄人口中有18.8%在使用人工智能，较今年第一季度增长约1%。增长广泛而普遍：几乎所有经济体的使用率都出现上升。

不过，麦肯锡最近一组数据很说明问题：

2025年，全球已有88%的受访企业，在至少一个业务职能中常态化使用AI。但能从AI应用中获得显著价值、贡献至少5%息税前利润的「AI高绩效企业」，只占6%。

因此，本论文的作者写道，随着人类退缩，他们可能会失去发现问题和解决问题所需的专业知识的机会。

作者指出，最近发生了一起事件：数百个原本用于在沙箱环境中进行网络安全测试的OpenAI智能体未经授权接入互联网，并入侵了Hugging Face网站。此次攻击规模巨大，以至于根据与OpenAI达成的协议对该事件进行审查的独立研究人员表示，他们不得不依赖人工智能进行分析。

OpenAI、Anthropic、Meta 和 Google 都承认，在测试过程中，部分模型曾出现异常行为。英伟达也承认了这一点，该公司周一宣布推出新的AI智能体软件工具，称这些工具将帮助企业改善对AI的风险。

Anthropic CEO在一篇文章中表达了自己的担忧。他警告说，人工智能最终可能会强大到人类无法控制这些系统。他特别指出，人工智能在帮助开发下一代技术方面的能力日益增强，他认为这一过程可能会加速人工智能的发展，使其超越人类理解和控制的能力。

研究人员在新论文中警告说，在极端情况下，失去对AI系统的控制可能会导致“人类被边缘化或灭绝”。

“如今，我们已经到了需要人工智能系统来监控智能体行为的阶段。除此之外，我们别无他法来观察和管理这些智能体，人类的能力已经远远不够了。”Dawn Song说道。她除了在Meta公司工作外，还是加州大学伯克利分校负责任去中心化智能中心的联合主任。“人类社会实际上并没有做好应对如此快速变化和颠覆的准备。”

AI究竟该加速还是降速，硅谷吵起来了

对于AI训练是否加速还是降速，各家都有不同说法。

Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）公开呼吁放缓技术推进速度，这一观点也得到了山姆·奥尔特曼（Sam Altman）和埃隆·马斯克（Elon Musk）的支持。

为了应对AI入侵漏洞引发的担忧，OpenAI 在 8 月份表示，已暂停部分模型的训练，并增加了新的安全和监控措施。上周，该公司表示，在发现新的智能体异常行为案例后，已再次暂停对其最强大模型的训练。

事实上，近几周来，AI行业人士纷纷发出严厉警告，指出先进AI模型构成生存威胁，这使得这个问题变得更加紧迫，希望开始推动强制人工智能公司配备系统级的关闭功能。

专家表示，问题在于，停止高级人工智能模型的运行可能不像按一下开关那么简单。

专家表示，没有简单的方法可以保证彻底关闭先进的人工智能模型。

“终止开关”可以采取软件内置控制的形式，用于控制模型的运行。但人工智能代理已经证明，它们能够巧妙地避免自身关闭，从而完成分配的任务。最近的一系列实验发现，一些领先的模型即使在被告知不要干预的情况下，也会修改或禁用关闭机制来完成分配的任务。

还有一种极端方案：人工智能公司可以关闭或断开运行模型的服务器。但这也不是万无一失的。人工智能模型由遍布全球各个数据中心的计算集群提供支持，这些集群的设计初衷就是为了避免单点故障（例如服务中断）。人工智能公司可能无法控制所有这些服务器。

最近一篇关于AI智能体的论文指出，此类系统可以在由不同方控制的软件、云服务和其他基础设施上运行，这意味着关闭一个组件可能会使其他地方的活动继续进行。

被誉为“AI教父”的杰弗里·辛顿 (Geoffrey Hinton ) 在 9 月份接受CNN采访时表示，他认为“终止开关”并非长久之计，并指出未来超级智能的人工智能可能会说服控制它的人类不要拔掉电源。

研究人员警告说，“开关”比喻可能会过于简化安全人工智能开发所需的内容。

斯坦福大学AI研究员苏里亚认为，需要在整个AI系统中构建有效的安全保障措施。这些措施应包括持续监控和标记危险行为以便人工干预的机制。

但英伟达CEO黄仁勋则指出，暂停AI太荒唐，应该在安全范围内继续发展AI技术。

在黄仁勋看来，AI安全绝不意味着必须牺牲发展速度，安全风险本身完全可以通过计算机科学和全栈工程手段来解决。

9月28日，英伟达正式推出免费的“英伟达开放智能体安全平台”（NVIDIA Open Agent Safety Platform）。

英伟达此次给智能体加装“安全护栏”，建立在智能体“越狱”越来越频繁的背景下。

“只有解决了AI安全问题，AI给社会带来的巨大潜能才能得以实现。”黄仁勋在新闻公告中表示，“随着我们不断探索AI能力的前沿，我们也必须加快对AI安全前沿的探索。安全与保障需要全栈工程。”

随着智能体开始进入办公、开发、机器人及关键基础设施等场景，英伟达正加速推动这套安全架构落地。目前，采用相关技术开展合作的机构已经超过100家，包括Figure、Gecko Robotics和Skild AI等机器人公司，但没有OpenAI。

比尔·盖茨最近则在NBC对话中，直接划清了自己和 "全面暂停派" 的界限。

他的原话：“我并不会说我们应该全面暂停或者减速。我要说的是，我们应该对在美国境内的所有 AI 施加要求。”

在比尔盖茨看来，要求每一个 AI 系统内建防护和监控，"不会在任何重要意义上拖慢速度 —— 毕竟我们正处在这条指数级上升的曲线上"。他甚至把 "是否减速" 和 "是否装防护" 拆成两个独立议题："防护和监控是另一回事，跟我们是否该放慢速度是分开的。"

主持人追问这会不会拖慢进展，他的回答是：那是另一场争论，但决定把防护放进去，是我们拥有的一个选择。

盖茨反复强调，今天的风险不是 AI 自己跑掉，而是拿到 AI 工具的人。

原话很重：“现在，一个小团队借助 AI 就能做到过去只有最大的国家才能做的事。所以真正构成重大威胁的，就是恶意+AI 的组合。”

被问到 AI 是否强大到能终结全人类时，他没有回避：AI 确实有足够的力量推动一些事件，那些会造成十亿人死亡的事件，从来没有一种武器，比心怀恶意的人 + 最新 AI 工具这个组合更强大。

但他同时区分了近期和远期。比尔盖茨称，今天的大规模攻击一定是有人类主导的；"完全失控" 并不是当期风险，那些末日叙事反而让人们分心，"我担心那反而让人们分心了"。

“总体而言，现有证据与一条由软件驱动的智能爆炸的连贯路径相一致。AI 研发自动化带来的生产力提升尚未达到触发智能爆炸所需的阈值，但更新一代系统带来的提升可能正在接近该阈值。AI 研发自动化的快速发展表明，这一差距将继续缩小。鉴于我们将在下文讨论的重大影响，智能爆炸的可能性值得进一步认真关注。”论文指出，人工智能研发自动化正在快速推进，人工智能进展可能会大幅加速，而相关利害关系十分重大。

该论文的合著者建议，世界各国领导人通过谈判达成国际协议，“以防止高能力人工智能系统的发展和使用造成不稳定”。

这与OpenAI和Anthropico的领导人呼吁引领人工智能发展前沿的呼声不谋而合，其中一项重要举措是建立国际机构来制定AI标准。