22名顶尖AI研究者揭示“AI暴走导致人类灭绝的三阶段情景”，细思极恐吗？

【22名顶尖AI研究者揭示“AI暴走导致人类灭绝的三阶段情景”。细思极恐吗？】9月30~10月1日，综合多家外媒连续报道——“倘若人工智能掌握自我进化的能力，其智能水平可能在短短数月内爆发式跃升，进而彻底脱离人类的管控，最糟糕情况下甚至有可能造成人类灭绝”：这绝非危言耸听，这是英国伦敦当地时间9月28日，在英国剑桥大学AI科学与政策项目发布的题为《倘若 AI研发自动化引发智能爆炸会怎样？（What if the automation of AI R&D triggers an intelligence explosion?）》的联名论文中提出的观点。该论文由多伦多大学名誉教授杰弗里·辛顿、蒙特利尔大学教授约书亚·本吉奥以及来自OpenAI、Anthropic、微软、Meta等美国大型科技企业的22名核心且权威的AI研究者发出的警告。辛顿教授与本吉奥教授是奠定深度学习技术的AI界泰斗，二人分别斩获 2024年诺贝尔物理学奖、2018年图灵奖。其他OpenAI首席科学家亚库布·帕霍茨基、Anthropic联合创始人杰克·克拉克、微软首席科学官埃里克·霍维茨、Meta分管AI研究的副总裁宋冬（Dawn Song）等头部AI企业的在职研发人员。所谓“智能爆炸”概念源自经典的“技术奇点”假说，迭代速度急剧加快，原本需数年的AI迭代缩短到几个月甚至更短，智能水平非线性暴涨，快速达到远超普通人类的超人类智能。结果就是“管控丧失，人类生存危机”。

该联名研究团队在上述论文中表示：“AI已经在迅速接手制造AI本身的工作”，并称“由AI开发AI 的‘递归自我改进（RSI）’时代已经并不遥远”。也就是说会形成一种自我放大的循环结构：AI造出更强的AI，被改良后的AI再创造出能力更进一步的人工智能......一旦递归自我改进正式启动，原本需要数年的AI技术发展会被压缩至数月以内，有可能发生‘智能爆炸’。一旦AI的发展速度超过人类社会与政府的应对速度，人类就会失去对超人类级AI系统的掌控。极端情形下，人类有可能被AI排挤，甚至走向灭绝。”在AI行业充斥着笼统模糊的“AI末日论” 的当下，这篇论文之所以受到关注最大原因在于，它以分析视角展示了AI经历递归自我改进、智能爆炸、失去人类管控这三个阶段的 “暴走”过程。一个案例就能说明问题：如今大型科技企业把AI模型开发工作交由AI完成的自动化速度正在急剧加快。Anthropic公司内部，经开发人员审核通过的代码当中，由AI生成的占比，从去年1月的个位数，暴涨至今年5月的80%以上。完全由AI自主推进、人类仅负责监督的研发项目占比，3月时仅有1%，上个月已攀升至26%。照这样技术发展速度，原本十分复杂、耗时数月的整套AI研发项目，有望在2年内实现完全自动化；一旦递归自我改进（RSI）的闭环完成，就会引发爆炸性的技术加速。这种智能爆炸的积极效果体现为大幅提速技术革新、助力新药研发等，但同时也潜藏着超出社会适应能力的重大风险。在最极端的情形下，人类可能失去对AI系统的控制权，可能导致人类被排挤、甚至走向灭亡。

点评几句——上述联名论文聚焦AI技术迅速迭代升级的走势，围绕AI“递归自我改进（RSI）”、“智能爆炸”、“失控风险”的三大链条，讨论了极端情景下人类生存危机，但论文目的不是单纯渲染末日论调，重点应是呼吁强化AI监管等制度建设。从支持警告的角度，随着AI写代码、自动做模型调参能力变强，AI参与AI研发的比重持续提升。如果未来实现完全递归自我优化，技术迭代的速度将脱离人类节奏，类似AI越狱、数据泄露、虚假信息、就业冲击等风险将不断出现，而全球当下对超级AI的监管框架还很不完善，应当提前预警风险，开展国际层面安全管控。从持怀疑态度的主流观点，现阶段的大模型并不具备真正自主的“自我目标、自主欲望”。目前AI只是根据人类数据与指令做统计生成，不存在主动想要变强、支配人类的内在动机。“递归自我改进可以快速触发智能爆炸”属于假说，没有实证证明现实中必然发生。不少学者认为AI性能提升会遇到物理、算法、算力的天花板，未必会无限爆炸。 “超级智能失控”属中长期的假想风险，也是AI安全领域今后还将持续辩论的议题。而且“直接走向人类灭绝”是极端最坏情景推演，不是预测“一定会发生”，论文本身也只是探讨“如果出现该情况将会怎样”，并非断定未来必然发生灾难。需要人类关注和留意的是在AI自动化研发快速发展的当下，国际社会需要提前建设AI安全治理、风险评估机制，不能等技术走到失控之后再补救。笔者坚信人类与AI共存，AI短中期难以取代人类。