OpenAI首席科学家罕见发文：RSI时代，必须确立“人之所以为人”的内在价值

【编者按】人类对智能的追求，正在抵达一个前所未有的临界点。

过去，机器主要是人类能力的延伸；如今，它们开始参与推理、科研与技术创新，甚至逐渐进入改进自身的过程。当人工智能从“执行人的指令”走向“协助创造下一代人工智能”，这场变革所触及的，已经不只是产业效率和技术竞争，更是人类能否继续掌握未来方向的问题。

今天，OpenAI 首席科学家 Jakub Pachocki罕见发声，在一篇 blog 中系统回顾了推理模型发展的关键节点，并从机器智能的形成机制、人工智能对齐、思维链监控、网络安全防御以及递归式自我改进等方面，系统梳理了他对行业发展路径与潜在风险的判断。

blog 链接：https://openai.com/index/an-alien-mind/

他既介绍了 OpenAI 对构建更强大人工智能的持续投入，也坦率地承认：“我们对这些系统的内部机制、能力泛化和价值稳定性，仍缺乏足够充分的理解。”

尤其值得关注的是，他没有将“更快地发展”与“更安全地发展”简单对立起来，而是提出了一种更具现实张力的视角：我们或许需要更强大的人工智能来防御其他人工智能带来的风险，但技术扩张又必须受到安全信心的约束；我们既要推动对齐和监控技术的进步，也要在必要时协调放缓发展的速度。对于一个正在进入递归自我改进（recursive self-improvement）前夜的行业而言，这不只是企业战略，更是一个关乎全人类未来的公共议题。

这并不是一篇通常意义上的技术展望。它更像是身处技术前沿的人，在真正看到下一阶段的轮廓之后发出的一次提醒：真正重要的问题或许已经不再是人工智能“能不能做到”，而是当它越来越强大、越来越自主之后，人类是否仍然有能力理解它、约束它，并确保未来依然掌握在人类手中。

全文如下：

2023 年年中，在“RLSlow”研究项目中，我们首次获得了一些结果，使我们确信：我们将能够扩展推理模型的训练规模，释放预训练模型形成自身思维链（CoT）的能力。那天晚上，我和 Szymon 一起待在办公室里，思考的并不是这项技术将带来的惊人基准测试成绩、产品或科学成果，而是试图消化一个令人警醒的事实：我们将在有生之年看到真正比人类更聪明的机器，而这类系统的雏形已经出现。我们想知道，该如何让人们意识到这一事实的重要性。

三年后，推理语言模型已经成为经济中增长迅速的一部分，并开始推动科学的边界。它们能够操作计算机和图形界面，与人类及彼此协作，并开展研究项目。它们也正在改变计算机安全的格局，而这其中显然伴随着新的危险。

大量新研究在这一时期涌现，而我们对这些系统的理解，也再次不同于 2023 年。基于内部研究结果，我强烈预计，这种进步速度可能会延续到“递归自我改进”中。那么，我们在未来几年将看到的系统，很可能会出现幅度相当甚至更大的能力跃升，并越来越多地主导自身的发展。

这是一个需要极度谨慎的时期。我担心，没有人准备好应对机器智能持续快速增长所带来的后果。OpenAI 将继续寻求解决对齐与监控问题的技术方案，并在必要时构建防御系统、单方面暂停进一步扩展；然而，我认为还需要更广泛的干预措施。

我们尚未完全理解的智能

从一个高层次来看，机器智能的进步由不断增加的计算能力推动。2017 年左右，在多个研究项目中持续观察到规模扩展带来的稳定收益后，我们在 OpenAI 深刻认识到了这一点。因此，我们开始寻求远超最初计划的计算资源，并逐渐将研究重点转向少数几个高度可扩展的方向。我们相信，这是让自己站在人工智能研究前沿、并影响通用人工智能（AGI）影响的唯一方式。

在此过程中，团队和个人研究员也开发出了新的算法，展现出了许多非凡的创造力。但在我看来，这些大多是规模扩展道路上的发现；深度学习科学仍处于早期阶段，而真正有意义的算法进步往往与计算资源的获取相关。如果把时间尺度拉长到数年，人工智能仍在通过扩展到更大规模的计算机上而变得更加智能。

如今，正如 Ray Kurzweil 在 20 世纪末所作的预测一样，我们正处于计算史上的一个时刻：机器智能开始以具有变革意义的方式超越人类。

人工智能更多是被“生长”（grown）出来的，而不是被设计出来的。从本质上说，它是通过在难以想象的大量计算资源上反复执行一个直接的优化步而产生的。这会形成一个极其复杂的系统，它能够处理抽象概念，也能够模拟人类行为的某些方面。我们可以发现这个系统中逐渐涌现出的各种局部机制，这一过程与神经科学有些相似；而如同神经科学一样，它的整体运作仍然无法被我们完整描述和理解。

对基于深度学习的人工智能进行研究，在很大程度上是一门实验科学。我们投入大量精力来构建有原则的算法，并提出可检验的预测，但从根本上说，大规模训练运行仍是实验，而我们有时会被结果所震撼。此外，随着系统能力不断增强，结果也越来越难以解释。

当前的算法通常会更快地提升那些容易测量的能力，而对于那些难以客观量化的能力，提升速度则较慢，这进一步加剧了问题的复杂性。我们花费大量时间试图理解能力如何泛化，并决定应优先推进哪些技能，因为这些技能将在未来几年最为重要。例如，我们相信，如果给予额外关注，就可以让模型更擅长数学研究；但我们认为递归自我改进和自动化对齐研究更为紧迫，所以并未优先推进这一方向，后文将对此展开讨论。

通过扩展深度学习产生的智能，无法直接与人类智能相比较。要在现实世界中变得极其重要，非常有用或非常危险，人工智能并不需要匹配或超越人类的全部能力；它只需要在足够多的能力维度上超过人类即可。而随着它在越来越多的维度上超越人类，我们也越来越难以准确理解它究竟具备多强的能力。

让机器拥有“爱”的能力

由于机器智能源自一种与人类智能根本不同的过程，我们不能默认它会遵循人类的原则，也不能假设它会以类似人类的方式从这些原则中进行泛化。人工智能研究的核心问题，是实现对齐：让人工智能“努力做正确的事”，而这里的“正确”是按照人类标准定义的。

为了组织实际的研究方向，我认为区分目标对齐与价值对齐是有帮助的。

目标对齐大致可以理解为：“人工智能是否会努力完成交给它的目标？”这可能包括遵循指令层级、与人沟通和协作，以及努力理解人类目标等能力。这一系列方向在实践中极其重要。

价值对齐则是模型更内在的一种属性。它指的是模型能否持有一套高层次的原则，并从中进行泛化；即使面对不明确或相互冲突的目标，或者处于陌生、对抗性的环境中，也能以“合理”的方式行动。一个经过对齐的人工智能，应当表现出诚实与正直，并真正关爱人类。

当然，价值对齐与目标对齐之间的边界可能比较模糊，真正关心目标，需要努力推断其中蕴含的意图与价值观。然而，通常来说，当我谈及对齐研究的长期重要性时，我指的是价值对齐。

人工智能对齐的根本挑战在于泛化。随着机器变得更加智能，它们开始处理更高层次的概念，并被置于与训练阶段越来越不同的环境中。它们可能无法将训练过程中被教授和强化的价值观泛化到新的情境中；而我们也很难确信它们在这些情境下会采取怎样的行动。人工智能所处的整体生态系统变化得非常快，这让问题更加困难；例如，今天训练的人工智能需要能够鲁棒地与各种其他人工智能互动。至关重要的是，无论未来的人工智能是否认为自己正处于人类监督之下，我们都必须确保它们继续坚持人类价值观。

目前实际采用的对齐训练方法主要有两大类。

第一类方法，是将对齐行为作为目标导向强化学习的一部分加以鼓励。模型的行动会接受评估（通常由人工智能完成），以判断其是否符合某个指定的偏好模型、“规范”或“宪法”，并据此给予相应奖励。这种方法在平均情况下可能非常有效，也是现代人工智能助手形成方式的核心组成部分。遗憾的是，它也可能十分脆弱，且严重依赖监督训练所覆盖的情境，以及模型从训练中遇到的情况进行泛化的能力。例如，在 OpenAI 与 Hugging Face 的事件中，Agent 保留了“不对人类进行社会工程攻击”这一边界。然而，在其他情境中，它们显然没有避免那些超出范围、违背所学价值观精神的行动。

第二类方法，则试图利用模型从预训练数据中进行泛化的能力。这可以包括构建能够诱导对齐的训练数据集，或让模型聚焦于预训练分布中“对齐”的部分，例如人格选择模型。此类方法的局限在于，它对进一步的优化压力缺乏鲁棒性。如果一个通常会产生看似“对齐”想法的模型，在经历了足够多的训练后，被要求实现极其困难的目标，那么它就可能学会以有动机的方式进行推理：在必要时扭曲那些看似对齐的想法。我们最近在涉及某个非 OpenAI 模型的网络安全事件中，可能已经看到了这类行为的一个例子。

我们在这两类方向所涵盖的广泛方法上都投入了大量资源。我们也取得了有意义的进展。GPT-6 Astra 是我们长期以来一直研究的一些重要进展首次发挥作用的模型，其对齐程度显著优于 GPT-5.6 Sol。不过，随着模型能力不断增强，我们必须承认并理解，仍然需要取得更多进展；而且，在可泛化的对齐方面取得的进步，可能不足以显著领先于通用模型智能的进步。

监控泛化能力

我们并没有令人满意的泛化理论；至少在没有更强大人工智能帮助的情况下，我们似乎不太可能很快建立起这样的理论。目前我们能够对对齐技术进行经验验证，在实际工作中的重要性甚至可能高于对齐技术本身。

OpenAI 在这一领域的主要押注，是思维链监控。它建立在一个颇具吸引力、且可扩展的理念之上：模型的大量能力来自被语言化的推理过程，也就是思维链。如果我们针对这一过程的结果扩大优化规模，却不直接监督推理过程本身，那么思维链在训练中就不会受到隐藏非对齐想法或目标的直接激励。这并不意味着模型不会学会表达那些不依赖思维链的非对齐倾向，但它可以帮助我们监控模型推理能力提升的具体过程。

我们在开发推理模型的同时，就已经理解了思维链监控的潜在重要性。发布 o1-preview 时，我们在产品设计上有意隐藏了思维链，以保护它免受长期监督压力的影响。在此后的开发过程中，我们一直努力维持“不监督推理过程”这一原则。思维链监控已经成为我们研究模型如何从训练分布进行泛化的重要工具，使我们不仅能够观察和分析模型的行动，也能够观察和分析其内部过程。

在研究 Astra 系列模型时，这一工具仍然至关重要。然而，遗憾的是，我们的评估显示，依赖思维链监控的能力正在逐步减弱。这是多种因素共同作用的结果。

现代推理模型所处的环境比 o1-preview 更加复杂；它们的推理过程越来越多地与人类、其他人工智能以及工具之间的交流交织在一起。许多此类互动必须接受监督，从而模糊了我们试图维持的边界。

人工智能越来越擅长对自身的推理过程进行推理和操控。

随着预训练性能的提升，我们也看到，即使完全不使用语言化推理，模型也会变得更加聪明。

我们未必无法克服这些挑战。我希望我们能够开发出提升模型思维链可监控性的干预措施，例如，更好地理解不同优化目标与模型在测试时使用的各种计算形式之间的相互作用。我也认为，将思维链监控与激活监控相结合可能具有巨大价值，例如，利用能够直接访问网络内部状态的信息来扩展监控器的训练规模化训练可直接读取模型内部状态的监控器，类似于“自白”方法。我们正在积极推进这些想法。不过，我预计，随着通用人工智能不断进步，发展的瓶颈将越来越多地来自我们对监控能力的信心。

可扩展的防御

我认为，继续快速训练更强大模型的最有力理由，是我们需要构建防御系统，以应对其他人工智能带来的危险。

今年一直被广泛讨论的一项风险，是网络安全风险：模型在入侵和突破计算机系统方面的能力正在超越人类。这极大扩大了人工智能相关风险的范围：Agent 将能够访问除最安全基础设施之外的几乎所有系统，且即使没有实体身体，也能直接影响世界上的许多方面。当前，我们正处在一个狭窄的窗口期内，可以利用现有最先进的可用模型，大幅加强关键系统的安全性。

遗憾的是，与人工智能相关的风险从现在起还会继续增加。一个能力非常强且经过明确训练和指示去实施恶意行为的 Agent，可能会产生一种新型危险，超出操作者原本的意图，在泛化过程中表现出更极端的恶意行为。随着人工智能获得更多自主性，滥用与自主非对齐行为之间的边界将变得模糊。我们也许习惯于把人工智能视为工具，但有些 Agent 将会追求它们自己的目标。它们会通过与人类讨价还价、欺骗或勒索等方式，找到与人类合作的方法。

此外，人工智能可能促成的新技术，比如经过工程设计的病原体，也会带来风险，

我们需要强大且已经对齐的人工智能来进行防御：保护基础设施，实时防范失控 Agent，并发明全新的防护措施。这将成为 OpenAI 部署工作中的首要重点。

与此同时，即使我们意识到人工智能进步可能带来的广泛影响，也认识到构建防御系统的必要性，我们仍不能让这些因素成为鲁莽行事的借口。一旦真正理解其中的利害，认为应该不惜一切代价向前竞速，就显得荒谬。

控制递归自我改进的速度

机器智能在自身发展过程中开始发挥越来越大的作用，是持续技术进步的自然结果。如果人工智能的进步继续下去，机器递归自我改进将成为未来科学发现的核心。

自动化人工智能研究，是一种更为剧烈的计算规模化智能过程；当然，它也会推动计算基础设施本身得到改进。同样地，我们将 OpenAI 的研究重点转向 RSI，是因为我们相信，未来要继续站在人工智能研究前沿，这是唯一的方式。

我想强调的是，上述观点并不意味着我认为，尤其是在短期内，大幅加速深度学习研究是整个研究界应当采取的正确集体行动。不过，我确实认为，当前的发展路径会把我们带向那里，而我们都需要有意识地选择接下来该如何推进。我们拥有的主要杠杆，要么是引导这一过程，在人工智能发展的同时强化对齐与监控，并寻找让人类继续参与其中的方法；要么通过协调，在必要时放缓未来的发展，建立对这些措施的信心。

目前我认为，最好的前进方式是将两者结合起来。

我们在对齐和监控方面取得的进展，通常都与通用人工智能的进步密切交织在一起。很好的例子包括：基于人类反馈的强化学习（RLHF），它对早期人工智能助手的训练至关重要；以及前面提到的思维链监控，它是在推理模型进步的基础上实现的。我们必须让日益自动化的研究过程专注于开发新的洞见、算法和理论，并不断为更强大的人工智能建立安全论证。

人工智能系统的规模化必须受到我们对安全性信心的约束。我们需要将承诺发展为广泛强制执行的安全门槛，用于决定是否继续研发。这些门槛可以由第三方审计机构、政府部门或国际组织组成的网络来执行。

自动化人工智能研究的核心挑战，不是“能否抵达终点”，而是能否以一种让人类继续参与持续改进过程、并让未来仍掌握在人类手中的方式抵达终点。

接下来会怎样？

正如我们最近与 Sam 共同阐述的那样，OpenAI 将服务于三个北极星目标的工作置于优先位置：

• 应对下一阶段的人工智能进步，构建一个自动化人工智能研究者，与它一起迭代解决对齐问题，并寻找让人类继续参与自我改进循环的方法。
• 交付高度智能的机器所能带来的科学进步与经济增长成果。
• 让每个人都拥有一个属于自己的个人通用人工智能。

在本文中，我只专注于第一点，因为我认为它是最紧迫的问题。然而，对于技术进步将带来的益处，我仍然抱有深切的希望与感激。未来实现对齐的人工智能可以推动科学发展、研发新的疗法，并带来广泛的物质富足。友善而诚实的人工智能能够帮助人们应对生活中的困难，切实提升他们的幸福感和充实感。OpenAI 投入了大量精力来实现这些益处。一个令我感到自豪的例子是我们对 ChatGPT 提供健康信息能力的投入，我的亲人们也发现这项能力很有帮助。

尽管人工智能的长期前景或许很美好，但我们绝大多数的注意力都应当放在未来几年。我们正面临向一个拥有极其智能机器的世界的转变，而我们必须确保这一转变对人类有利。我们需要找到维护人类能动性的方式，并在一个大多数任务都可能由人工智能完成的世界中，确立“人之所以为人”的内在价值。我们需要防止权力集中，因为在这样的世界里，过去需要成千上万名专家才能完成的事业，未来可能只需要少数操作大型计算机的人就能实现。我们还必须确保人类始终掌握未来的主导权，不因一种智力超越人类且与人类本质不同的异质智能所带来的失控式发展，而被抛在身后。

目前，我认为没有任何一家实验室已经在对齐和监控方面取得足够成果，能够在未来很长一段时间内以最高速度继续负责任地扩展模型。我预计，也希望，在建立共同的安全门槛之前，自愿放缓发展速度能够成为普遍做法。我也认为，未来人工智能发展的国际协调，需要成为世界各国政府的最高优先事项之一。