智能体或带来灾难性风险，图灵奖得主指明新路径Scientist AI

编辑丨coisini

领先的人工智能公司越来越专注于构建通用 AI 智能体，旨在让系统能够自主规划、行动并追求目标，几乎涵盖人类能够执行的所有任务。虽然这些系统可能非常有用，但不受约束的 AI 智能体对人类安全构成了重大风险。

一些学者认为我们迫切需要一种更安全且仍具实用性的替代方案，以取代当前以智能体为导向的发展路径。

最近，图灵奖得主 Yoshua Bengio 以第一作者身份发表了一篇论文 ——《Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?》。该论文提出了一种在设计上可信且安全的非智能体 AI 系统 ——Scientist AI。

论文地址：https://arxiv.org/abs/2502.15657

Scientist AI 旨在通过观察来解释世界，而不是在其中采取行动以模仿或取悦人类。它包含一个生成理论以解释数据的世界模型，以及一个问答推理机。这两个组件在操作时都明确考虑了不确定性，以减少过度自信预测的风险。

Scientist AI 可用于协助人类研究人员加速科学进步。特别地，Scientist AI 可以作为防范 AI 智能体的护栏，最终使我们能够在享受人工智能创新带来的好处的同时，避免当前发展路径所带来的风险。

Scientist AI 简介

受柏拉图式理想化科学家形象的启发，研究团队提出了 Scientist AI 的设计与构建方案。Scientist AI 基于SOTA概率深度学习技术，并借鉴科学过程的方法论，即首先理解或建模世界，然后基于这些知识进行概率推断。

Scientist AI 展示了如何将概率预测转化为实验设计，从而消除科学发现中对强化学习智能体的需求。与旨在追求目标的自主 AI 不同，Scientist AI 的训练目标是提供对事件的解释及其估计概率。研究团队还提出了确保 Scientist AI 保持非自主性的策略。

Scientist AI 没有内置的情境意识，也没有能够驱动行动或长期计划的持久目标。它包含一个世界模型和一个概率推理机。世界模型根据从世界中观察到的一组数据生成解释性理论，推理机则基于世界模型进行无状态输入到输出的概率估计。

更准确地说，世界模型根据观察数据输出解释性理论的后验分布，推理机随后将后验分布与高效的概率推理机制结合起来，估计任何问题 X 的答案 Y 的概率。形式上，推理机接收一对输入（X, Y），也称为查询，输出在给定与问题 X 相关的条件下 Y 的概率。

Scientist AI 具有以下特性：

1. 世界模型生成的理论和推理机处理的查询都使用逻辑语句表达，这些语句可以用自然语言或形式语言表示。世界模型采样的语句形成因果模型，即以因果关系的形式提供解释。

2. 根据世界模型，任何查询都有一个唯一的正确概率，这是通过全局优化 AI 的贝叶斯训练目标得到的结果。推理机的输出近似于这个唯一的正确概率。

3. Scientist AI 可以生成涉及潜在或未观察变量的解释，从而对其进行概率预测。

最后，研究团队还预见了 Scientist AI 的三大主要应用场景：

1.作为一种工具，帮助人类科学家显著加速科学进步，包括医疗等高回报领域；

2.作为一种防护机制，通过双重检查自主 AI 提议的行动并确保其安全部署，从而防范自主 AI 的风险；

3.作为一种 AI 研究工具，帮助更安全地构建未来更智能（甚至超级智能）的 AI。

感兴趣的读者可以阅读论文原文，了解更多研究内容。