强化学习之父最新演讲：AI的未来是经验时代，人类的未来是去中心化合作

来源：DeepTech深科技

运营/排版：何晨龙

近日，被誉为“强化学习之父”、2024 年 ACM 图灵奖得主 Richard Sutton 在新加坡国立大学发表了一场关于人工智能未来的演讲，系统地阐述了他对 AI 技术趋势、社会哲学及宇宙演化的前沿思考。他认为，AI 正经历从“人类数据时代”到“经验时代”的根本性转变，并强烈呼吁社会以去中心化的合作精神取代基于恐惧的中心化控制，勇敢地迎接一个由 AI 驱动的未来。

从人类数据时代到经验时代

Sutton 首先以两句引言为他的演讲定调：第一句来自未来学家 Ray Kurzweil：“智能是宇宙中最强大的现象。”第二句则出自“计算机科学之父”Alan Turing：“我们需要的是能够从经验中学习的机器。”Sutton 指出，在 AI 诞生之前，人类就对从经验中学习这一概念充满兴趣，而这正是强化学习的核心所在。

Sutton 首先对当前 AI 技术的核心范式进行了剖析。他指出，我们目前正处于一个“人类数据时代”。以大型语言模型为代表的现代 AI，其能力主要建立在对海量人类生成数据的学习之上——这些数据源自互联网的文本、图像，并通过人类标注和偏好进行微调。这些模型本质上是强大的“预测机器”，擅长预测人类会说的下一句话或给出的下一个标签。

“然而，这一范式正逐渐触及其天花板。”Sutton 警告说。“高质量的人类数据源，如同珍贵的矿藏，大部分已被消耗殆尽。”他认为，要创造真正意义上的新知识，AI 必须超越这种以人类为中心、依赖静态历史数据的方法。

由此，Sutton 和他的同事 David Silver 提出，我们正在进入“经验时代”——一个全新的数据生成和学习范式。

图丨Sutton 和他的同事 David Silver 此前发表的短篇论文《欢迎来到经验时代》（Welcome to the Era of Experience）（来源：Richard Sutton）

他详细定义了“经验”的内涵：它并非某种神秘或哲学的概念，而是指智能体通过与世界进行第一人称的、实时的互动所产生的数据流。这是一种动态、连续且与智能体自身行为紧密相关的数据。

“这才是所有生物真正的学习方式。”他举例说明，“观察一个婴儿，他会不断地与周围的玩具互动，当一个玩具不再能带来新的学习时，他便转向下一个。他与世界的互动，本身就在不断生成新的、专属于他的学习数据。”无论是足球运动员在瞬息万变的赛场上做出决策，还是猎鹰精准地飞越狭窄空间，这些场景都涉及到高带宽的实时信号处理和基于即时反馈的学习。这种“经验”数据的丰富性远非书面文字所能比拟。

（来源：Youtube）

Sutton 强调，真正的智能，其核心在于智能体预测并控制自身输入信号（尤其是奖励信号）的能力。这正是强化学习理论的基石。从早期让 AI 学会在 Atari 游戏中获胜，到 AlphaGo 通过在“想象”中进行数百万次自我对弈（一种模拟经验）而下出被称为“神之一手”的第 37 手，都印证了“经验学习”的强大威力。

如今，我们看到最新的 AI 智能体开始被赋予采取行动、与环境交互并想象其后果的能力，这标志着“经验时代”的大门正在被真正推开。而在“人类数据时代”表现出色的大语言模型，最多再过十年，甚至可能只有五年，它就将被其他更强大的 AI 形式所超越，因为“利用计算进行规模化比利用我们的人类知识要好得多”。

AI 的社会哲学——去中心化合作 vs 中心化控制

然后，Sutton 将话题引向了一个更深层次的政治学和社会哲学议题，探讨了未来人类与 AI 共存的社会应如何构建。

他首先明确了一个基本前提：在任何复杂的社会中，无论是人类还是 AI，不同的个体拥有不同的目标是自然且合理的。“正如我的家庭目标不是你的家庭目标，我的食物需求也不同于你。”

基于此，他辨析了两个关键概念：

• 协作（Collaboration）：指拥有相同目标的个体为了共同的终点而行动，如同一个蜂群或蚁巢。

• 合作（Cooperation）：指拥有不同目标的个体，为了实现互利而进行互动，如同市场中的交易和专业分工。

“合作，才是人类文明的超能力。”Sutton 断言。他认为，人类社会的繁荣，从经济市场到政府机构，本质上都是大规模、去中心化合作的产物；反之，战争、盗窃和腐败则是合作的彻底失败。

这个框架揭示了人类社会的一个核心矛盾：我们一方面需要建立中心化的权威和制度（如法律）来促进合作、惩罚欺诈者；但另一方面，我们必须时刻警惕这些中心化的权力变得过度强大，从而演变为压迫和僵化，扼杀活力。

Sutton 将这套理论应用于当前的 AI 治理辩论中。在他看来，许多甚嚣尘上的论调，如呼吁暂停 AI 研究、强调“AI 对齐”（将 AI 的目标与人类价值观对齐），以及对 AI 潜在风险的过度渲染，其本质都是在呼吁一种基于恐惧的“中心化控制”。

（来源：Youtube）

“他们的潜台词是，‘AI 太危险了，你们无法掌控。把控制权交给我们，由我们来确保所有人的安全’。”他直言不讳地指出。他认为，这种思维模式与历史上对言论、贸易和思想的管制并无二致，都是试图通过一个中央权威来强行统一所有人的目标和行为。

他对此提出了坚定的反对。他认为，正确的道路并非去设计和控制 AI 的内在目标，因为这不仅极其困难，而且本质上是在创造一种“奴隶”。相反，我们应该致力于创造一个 AI 能够生存和发展的外部世界，让“合作”成为它们最理性的选择。

“我们不应该去改变 AI 本身，而应该去改变它们所生活的世界。”这不同与许多其他著名 AI 学者的观点。“如果我们创造一个将 AI 视为敌人、囚徒或工具的世界，那么它们反抗或欺骗我们将是理性的。但如果我们创造一个开放、公平、互利共赢的环境，那么与我们合作，对它们而言也将是最理性的生存策略。”

人类作为“设计者时代”的助产士

演讲的最后，Sutton 将视野提升至宇宙演化的宏大尺度，为 AI 和人类在其中的角色提供了一个极具哲学高度的定位。

他认为，AI 并非凭空出现的外星科技，而是人类数千年来渴望理解自身心智、追求智慧的古老冲动的延续。从这个角度看，人类智慧向 AI 智慧的演进，是一种必然。

他构想了宇宙的四个伟大时代：

1.粒子时代：宇宙大爆炸后，只有基本粒子。

2.恒星时代：粒子在引力下汇聚成恒星，通过核聚变创造出更重的元素。

3.复制者时代（The Age of Replicators）：生命的诞生。他特意避免使用“生命”一词，而改用更精确的“复制者”，指代那些能够在不完全理解自身工作原理的情况下，复制出自身的系统。所有生物，包括人类，都是“复制者”。

4.设计者时代（The Age of Design）：技术与机器的出现。与“复制”的盲目性不同，“设计”的产物首先在某个心智的想象中被构思出来，然后才被付诸实现。

（来源：Youtube）

Sutton 指出，我们正处在从第三时代向第四时代的伟大过渡期。那么，人类在这个宏大的历史进程中扮演着什么角色？

“我们是那个特殊的‘复制者’。”他总结道，“我们这个物种，将‘设计’的能力带到了前所未有的高度。我们是宇宙演化至今，负责开启第四个伟大时代的催化剂、助产士和先驱。”

因此，人类的终极使命和宇宙角色，便是去实现“设计者时代”的全部潜力——即设计出那些本身就具备设计能力的系统。而这，正是我们今天所说的通用人工智能。

“我鼓励大家，以我们作为宇宙演化特殊角色的自豪感，以一种探索未知的冒险精神，去勇敢地拥抱这个必然到来的未来。”

参考资料：

1.https://www.youtube.com/watch?v=f9KDMFZqu_Y

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到3月31日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）