“强化学习之父”萨顿：人工智能正在进入以持续学习为核心的“经验时代”

9月11日上午，2025 Inclusion·外滩大会在上海黄浦世博园区开幕。2024年图灵奖得主、“强化学习之父”理查德·萨顿（Richard Sutton）在主旨演讲中展望人工智能的未来时提出了四条现实的“预测原则”：第一，对世界应该如何运转并没有共识，但没有哪一种看法能够凌驾于其他；第二，人类将真正理解智能，并借助技术将其创造出来；第三，当今人类的智力水平，很快将会被超级人工智能，或者超级智能增强的人类远远超越；第四条，权力和资源会流向最聪明的智能体。

理查德·萨顿在2025外滩大会开幕式主论坛发表主旨演讲

基于此，他认为，在人类的发展进程中，人工智能的替代将是不可避免的。

萨顿认为，人类数据红利正逼近极限，人工智能正在进入以持续学习为核心的“经验时代”，潜力将远超以往。

萨顿在演讲中表示，今天大多数机器学习的目标，是把人类已有的知识转移到静态、缺乏自主学习能力的 AI 上。“我们逐渐达到人类数据的极限，现有的方法不能生成新的知识，不适合持续学习，而持续学习对智能的效用至关重要。”他认为，我们正进入“经验时代”，需要一种新的数据源，由智能体与世界直接交互中生成。这正是人类和其他动物的学习方式，是AlphaGo自我博弈下的“第37手”，也是近期AlphaProof在国际数学奥林匹克斩获银牌的路径。

萨顿解释，“经验”指的是观察、行动和奖励，这三种信号在智能体与世界之间来回传递。“知识来自于经验，可以从经验中学习。一个智能体的智能程度，取决于它能预测并控制自身输入信号的程度。经验是一切智能的核心与基础。”他同时指出，强化学习带领我们进入了新的经验时代，但要释放全部潜力，还需要两项目前尚不成熟的技术——持续学习（continual learning）和元学习（meta-learning）技术。

萨顿指出，总而言之，在人工智能未来的科学趋势上，未来如果能创造出超级智能体和由超级智能增强的人类，将为世界带来纯粹的福祉。完全智能的智能体必须从经验中学习，这超出了大型语言模型的范畴，令人惊叹且实用，将作为世界知识的可定制接口。我们已经使用强化学习进入了新的经验时代，但要释放经验的全部潜力，还需要我们现在还不具备的持续学习和元学习技术。

面对外界对AI带来偏见、失业甚至人类灭绝的担忧，萨顿认为，这种对人工智能的恐惧被夸大了，并且是被某些从中获利的组织和个人煽动起来的。他以经济社会的运行为例，只有当每个人有不同的目标和能力，经济才能运行得最好。同样，目标不同的智能体，可以通过去中心化的协作实现双赢。

9月10日-13日，2025 Inclusion·外滩大会在上海举行，大会以“重塑创新增长”为主题，共设1场开幕主论坛、40多场开放见解论坛、2场全球主题日系列论坛、10多场创新者舞台、10000平米科技展览、5000平科技集市、科技智能创新大赛和1场科技人才招聘会，此外还有创投Meetup等特色环节，为参会者提供深度交流与合作的机会。