“如果机器有能力设计比自己更聪明的机器,那么第一台足够强大的机器,可能成为人类最后需要制造的发明之一。”这句话出自英国数学家欧文·约翰·古德,时间是20世纪60年代。六十多年后,它被22位AI领域前沿专家重新翻了出来。
近日,剑桥大学人工智能科学与政策项目发布了一篇联合论文,标题直白得有点吓人:《如果自动化AI研发触发“智能爆炸”会怎样?》。作者阵容包括诺贝尔奖得主、图灵奖得主杰弗里·辛顿,图灵奖得主约书亚·本吉奥、安德鲁·巴托,以及OpenAI首席科学家雅库布·帕霍茨基、Anthropic联合创始人杰克·克拉克、微软首席科学官埃里克·霍维茨等人。
![]()
他们讨论的核心问题只有一个:如果AI逐渐接管AI研发流程,更强的模型帮助开发下一代模型,下一代模型又进一步提高研发效率,这种循环会不会让AI进步突然加速,把原本需要数年完成的技术进展压缩到几个月,甚至更短?
代码库里的比例,已经变了
“智能爆炸”不是新概念。它后来发展出递归自我改进的说法:AI能力提高后,进一步增强自身参与AI研发的能力,从而推动下一轮改进。过去这个设想停留在理论层面,原因很现实——AI还无法真正承担多少AI研发工作。
现在情况开始不同。代码生成是最明显的领域,自动化已经从写几行程序,扩展到调试、运行实验、分析结果、评估模型,甚至选择下一步实验方向。
Anthropic今年公布的内部数据显示,截至2026年5月,公司合并进入代码库的代码中,超过80%已经由Claude编写;Claude Code在2025年初进入研究预览时,这一比例还只有个位数。到今年8月,在Anthropic内部评估的AI研发工作中,Claude已经能够在只接受高层级人类监督的情况下“主导”26%的任务,而几个月前这一比例约为1%;超过90%的研发工作至少进入了较深程度的人机协作。
OpenAI内部也出现了类似现象。今年年初,其研究人员对编程智能体的使用仍相对有限。到8月中旬,按照8小时工作日换算,OpenAI研究部门每投入一个人类工作日,已经对应约3.1个智能体工作日。大量智能体同时运行,使研发工作的“人力规模”第一次可以在软件层面迅速扩张。
论文据此指出,今天最强的AI系统已经能够完成部分原本需要专业研究人员数小时甚至数天的研发任务,而2023年的模型通常只能可靠完成以秒计的任务。一些自动化科研系统还能够自行生成研究想法、运行实验并撰写论文。论文援引的趋势外推甚至提出,如果近期能力增长持续,到2028年中,原本需要人类团队数月推进的部分AI研发项目可能进入自动化范围。不过作者也把这一预测明确描述为初步外推。
一年进步压缩到五周,靠的是什么
AI研发之所以可能更早实现高度自动化,一个重要原因是它的大部分工作本来就在计算机里完成。代码可以直接修改和运行,实验结果很快就能反馈,新的方法一旦有效,也可以马上用于下一轮研发。相比之下,芯片、设备和现实实验都要受制于更长的生产和建设周期。
如果AI只是帮助研究人员提高效率,影响其实相对有限。22位作者真正关注的是,当AI开始承担越来越多研发工作之后,这些进步是否会反过来继续加快下一代AI的开发速度。
这个过程可以分成两步。随着模型能力提高,AI能够处理更多研发任务,研究团队的整体效率和规模随之扩大。更强的AI又会参与开发下一代模型,进一步提高研发速度。如果这种循环能够持续,每一轮进步都会为下一轮提供更多研发能力,AI的迭代速度也可能不断加快。
类似的反馈机制过去也出现过。性能更强的计算机可以帮助设计更先进的芯片,工程软件也能提高下一代产品的开发效率。AI的特殊之处在于,它很容易复制和并行运行。一个优秀的人类研究员无法同时变成成千上万个自己,同一个AI智能体却可以部署大量实例。算法一旦取得改进,也能很快应用到整个研发流程中。
论文据此做了一项较为激进的推演。如果AI达到专家级的研发能力,同时运行成本与今天的系统大致相当,一家前沿AI公司的现有计算资源,理论上可能支撑相当于数百万名顶尖人类研究者的自动化研发力量。不过作者也强调,目前还无法确定这种加速究竟能持续多久,最终又能达到多大规模。
论文还引入了一个名为“科研努力回报率”的指标,衡量的是研发投入增加后,技术进步能够以多大程度继续增长。论文采用的模型中,如果这一数值低于1,边际收益递减占据主导;如果等于1,两种力量大致抵消;如果高于1,研发力量增长带来的收益足以超过边际递减,技术进步就有可能继续加速。
论文援引对三个AI研究子领域历史数据的分析,给出的核心估计值在1.2至1.9之间。也就是说,从这些历史数据看,增加研发投入仍然能够带来较明显的技术进步,边际收益递减还没有强到足以压住这种增长。
在此基础上,论文做了一项条件推演。如果未来AI研发实现充分自动化,这一回报率继续保持在类似水平,同时算力、数据等环节没有形成新的瓶颈,那么AI技术进步的速度可能在大约一年半内提高10倍。到了那个阶段,按照今天速度需要一年取得的进展,可能只需要约五周。
快的不只是研发,还有风险
不过,这实现起来并不容易。研发速度还会受许多限制因素的影响。
其中一个限制是边际收益递减。容易找到的改进逐渐减少后,大量AI智能体可能开始重复探索相似方向,增加研发规模也很难继续带来同等比例的成果。
算力和物理资源则是另一层约束。AI智能体可以快速复制,但GPU、电力和数据中心无法按照同样的速度扩张,训练一个前沿模型本身也可能持续数月。软件端的研发能力即使迅速增加,真正的大规模训练仍然受到现实资源和时间的限制。
还有一些研究环节很难用明确指标衡量。写代码、运行实验通常可以快速获得结果,模型能够根据反馈不断调整;但到了研究方向选择、资源分配和长期判断这类问题,往往没有现成的标准答案。系统可以同时完成大量实验,却很难准确判断哪些结果真正重要、哪些方向值得继续投入。
论文也提到了AI自动化研发可能带来的正面影响。更快的研发速度,有望让药物、新材料等领域的技术成果更早出现,一些原本需要多年推进的研究,也可能明显缩短周期。
但相对于此,22位作者更关心的是,当AI研发本身开始持续加速,社会是否还能跟上这种变化。如果AI能力的迭代周期从“年”缩短到“月”甚至“周”,留给评估、监管和调整制度的时间也会随之减少。
围绕这一点,论文重点讨论了三类风险。
- 第一类,技术能力的增长速度超过社会的调整能力。网络攻击、生物技术滥用、劳动力市场变化等问题,都可能随着AI能力提升而提前出现,但现实世界中的防御措施往往需要更长的准备周期。论文举了一个例子:AI可以同时加快病毒设计和疫苗研发,但两者进入现实世界后的速度并不对等。病毒能够自行复制和扩散,疫苗则需要经过生产、运输和接种。
- 第二类,监督能力下降。随着越来越多研发环节由智能体自主完成,人类直接参与其中的程度可能逐渐降低,对系统内部发生了什么,也会越来越难保持充分了解。作者担心,如果未来AI进一步参与下一代模型的训练和设计,一个系统中存在的错误、偏差或不符合人类意图的行为,也可能被带入后续系统,并在连续迭代中被进一步放大。论文指出,在极端情况下,人类甚至可能逐渐失去对高度自主AI系统的有效控制。
- 第三类,权力结构变化。如果某家公司或某个国家率先获得显著更强的AI研发能力,原本有限的技术领先可能在连续迭代中迅速扩大,并进一步改变企业之间、国家之间,以及不同公共机构之间原有的力量平衡。
基于这些判断,22位作者提出了应对方向。首先,是建立更系统的监测和报告机制,让监管机构能够了解前沿AI公司有多少研发工作已经交给AI,自动化程度又在以什么速度提高。其次,是提前准备第三方审计、安全评测、隔离环境,以及在出现严重异常时暂停部分AI研发任务等措施。论文还建议政府为劳动力冲击、网络安全、生物安全和AI失控等情况提前建立应急预案。
类似的警告近来已经并不少见。9月中旬,英国皇家学会数十位院士联名致信,要求学会宣布AI发展速度已经构成“紧急状态”;几乎同一时间,Anthropic CEO达里奥·阿莫迪发表长文呼吁“放慢前沿”,OpenAI和马斯克随后也公开表示支持。
但到目前为止,这些表态大多还停留在自愿承诺层面,没有形成真正具有约束力的机制。它们覆盖的也主要是少数几家美国头部公司,开源阵营和其他国家的实验室并不在同一套规则之内。甚至有评论认为,在几家公司筹备上市、竞争持续升温的背景下,“减速”的表述也带有维护企业形象的意味。
这篇论文会不会也一样,热闹一阵,然后石沉大海?这完全有可能。
不过,它至少提出了一个和此前“减速”呼吁不太一样的角度。论文没有直接要求谁停下来,而是先追问一个更基础的问题:前沿公司究竟有多少研发工作已经交给AI,这个比例又在以多快的速度上升。如果“减速”最终仍然只能依赖企业自觉,那么至少应该有一套外部可以核查的数据,让外界知道它们到底有没有慢下来,也让人判断AI研发自动化究竟已经走到了哪一步。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.