网易首页 > 网易号 > 正文 申请入驻

Nature重磅:DeepMind AI又一重大突破,1次配置解决150种多任务

0
分享至

只需使用一种通用算法,就可以解决来自各个应用领域的各种任务,一直是人工智能(AI)行业的基本挑战之一。

如今,Google DeepMind 在这一方向取得了新的突破。

他们开发的第三代 Dreamer 通用算法,只需一次配置,就能在 150 多种不同任务中胜过专用方法。

据介绍,Dreamer 是第一个在没有人类数据或课程的情况下,从零开始在《我的世界》中收集钻石的算法,可以在不进行大量实验的情况下,解决具有挑战性的控制问题,使强化学习具有更广泛的适用性。

相关研究论文以

Mastering diverse control tasks through world models
为题,于今日发布在权威科学期刊
Nature
上。

Dreamer 是怎样炼成的?

目前的强化学习算法可以很容易地应用于与之相似的任务,但将其应用于新的应用领域则需要大量的人类专业知识和实验。更专业的算法通常用于实现更高的性能,针对不同应用领域提出的独特挑战,如连续控制、离散动作解析奖励、图像输入、空间环境和棋盘游戏。

将强化学习算法应用于全新的任务,例如从视频游戏转向机器人任务需要大量的精力、专业知识和计算资源来调整算法的超参数。这种脆性成为将强化学习应用于新问题的瓶颈,同时也限制了强化学习在计算昂贵的模型或任务中的适用性。

创建一种无需重新配置就能掌握新领域的通用算法,一直是人工智能领域的核心挑战,它将为强化学习带来广泛的实际应用。

Google DeepMind 提出的第三代 Dreamer 算法实现了这一突破。

据介绍,Dreamer 由 3 个神经网络组成:世界模型预测潜在行动的结果,评论者判断每个结果的价值,行动者选择行动以达到最有价值的结果。

图|Dreamer 的训练过程

当行动者与环境互动时,这 3 个部分会根据重放的经验同时进行训练。要在不同领域取得成功,3 个部分都需要适应不同的信号幅度,并在其目标中鲁棒地平衡各项条件。

世界模型通过自动编码学习感官输入的紧凑表征,并通过预测潜在行动的未来表征和奖励来实现规划。行动者和评论者神经网络纯粹从世界模型预测的抽象轨迹表征中学习行为。行动者在探索过程中通过熵正则学习选择收益最大化的行动。

Dreamer 使用 symlog 函数对编码器输入和解码器目标进行向量观测转换,并对奖励预测器和批评器采用 synexp 双热损失。这些技术可以在许多不同领域实现鲁棒且快速的学习。

效果怎么样?

在固定超参数下,研究团队从基准、《我的世界》、消融、扩展性 4 个角度评估了Dreamer 在 8 个领域、超过 150 项任务的通用性。

他们首先进行了广泛的实证研究来评估基准,包括连续和离散动作、视觉和低维输入、密集和稀疏奖励、不同奖励尺度、二维和三维世界以及程序生成。

结果发现,在适用的领域中,Dreamer 可以和最好的专用算法相媲美,甚至表现更好,无论它们是否基于模型。

图|基准分数

《我的世界》是在一个独特的随机生成的无限三维世界中进行的。在此期间,玩家需要通过寻找资源和制作工具,从稀少的奖励中发现一连串的 12 种物品。有经验的人类玩家大约需要 20 分钟才能获得钻石。

Dreamer 是第一个从零开始在《我的世界》中收集钻石的算法,不像 VPT (视频预训练)或自适应课程要求使用人工数据,这实现了 AI 领域的一个重要突破。所有 Dreamer 智能体都在 1 亿个环境步数内发现钻石。

图|Dreamer在《我的世界》钻石挑战中的表现

在消融方面,他们在 14 个任务的不同集合上消融了鲁棒性技术和学习信号,发现所有鲁棒性技术都有助于提高性能,其中最显著的是世界模型目标的库尔巴克-莱伯勒平衡和自由比特,其次是返回归一化和用于奖励和价值预测的 symexp 双热回归。

为了研究世界模型的影响,他们消除了 Dreamer 的学习信号,方法是阻止特定任务的奖励和价值预测梯度或与任务无关的重构梯度塑造其表征。

以往的强化学习算法通常只依赖于特定任务的学习信号,而 Dreamer 则主要依赖于其世界模型的无监督目标。这为未来利用无监督数据进行预训练的算法变体提供了可能。

图|Dreamer 的消融

在扩展性方面,他们在 Crafter 和 DMLab 任务上训练了参数从 1200 万到 4 亿不等的 6 个模型,并采用了不同的重放比例,这会影响智能体执行梯度更新的次数。增加模型大小可直接转化为更高的任务性能和更低的数据要求,梯度步数的增加进一步减少了学习成功行为所需的交互。

结果显示,Dreamer 能在不同的模型大小和重放比例下稳健地学习,这为通过扩展计算资源来提高性能提供了一种可预测的方法。

图|Dreamer 的鲁棒扩展

作为一种基于学习世界模型的高性能算法,Dreamer 为未来的研究方向铺平了道路,包括从互联网视频中向智能体传授世界知识,以及跨领域学习单一世界模型,让智能体积累越来越多的通用知识和能力。

作者:与可

如需转载或投稿,请直接在公众号内留言

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
名单没日本,高市早苗不来深圳APEC?别误会

名单没日本,高市早苗不来深圳APEC?别误会

爱下厨的阿酾
2026-11-17 06:16:19
旷野氛围感穿搭|咖色套装解锁熟龄松弛美感

旷野氛围感穿搭|咖色套装解锁熟龄松弛美感

只要高兴就好
2026-11-16 08:46:38
人不会无缘无故患上糖尿病!研究发现:患糖尿病,多半爱干这6事

人不会无缘无故患上糖尿病!研究发现:患糖尿病,多半爱干这6事

汪医生健康百科
2026-11-16 19:55:03
基辛格直言:中越边境之战输得最惨的不是越南,历史证明他说对了,而那个真正的输家却极少有人提起

基辛格直言:中越边境之战输得最惨的不是越南,历史证明他说对了,而那个真正的输家却极少有人提起

磊子讲史
2026-11-10 18:12:41
法国新生代女演员安热尔·梅茨格意外坠亡,年仅27岁。

法国新生代女演员安热尔·梅茨格意外坠亡,年仅27岁。

环球趣闻分享
2026-11-15 13:30:15
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
普京获报:乌军炸塌克里米亚大桥部分桥拱,克宫:一定修,还要修得更好

普京获报:乌军炸塌克里米亚大桥部分桥拱,克宫:一定修,还要修得更好

桂系007
2026-11-17 22:06:40
2场独造3球!19岁王钰栋成国足最亮的星:身价180万欧 将留洋闯荡

2场独造3球!19岁王钰栋成国足最亮的星:身价180万欧 将留洋闯荡

风过乡
2026-11-17 22:19:09
笑了!票房仅626万,2天血亏出局,陈思诚把佟丽娅新片打懵了

笑了!票房仅626万,2天血亏出局,陈思诚把佟丽娅新片打懵了

八卦南风
2026-11-16 12:37:45
别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

听风看局
2026-11-17 17:09:05
俄罗斯交通部:克里米亚大桥铁路恢复单线通行

俄罗斯交通部:克里米亚大桥铁路恢复单线通行

极目新闻
2026-11-17 20:43:32
曲阜会议上那一巴掌,拍碎的是谁的账本

曲阜会议上那一巴掌,拍碎的是谁的账本

纪史行者
2026-11-16 20:06:55
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

鹰眼Defence
2026-11-17 15:55:18
360副总裁被带走调查 公司回应:内审发现该员工涉嫌经济问题

360副总裁被带走调查 公司回应:内审发现该员工涉嫌经济问题

新京报
2026-11-17 12:24:04
广州、深圳周边房价跌至一千多一平

广州、深圳周边房价跌至一千多一平

邓浩志教买房
2026-11-17 18:24:52
黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

财经要参
2026-11-16 12:00:05
你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

明天见灌装冰块
2026-11-17 09:33:32
马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

环球趣闻分享
2026-11-16 13:00:24
西部排名又变了:湖人坐收好礼,勇士岌岌可危,3队排名互换

西部排名又变了:湖人坐收好礼,勇士岌岌可危,3队排名互换

篮球大视野
2026-11-17 14:06:35
2026-11-18 00:15:00
学术头条
学术头条
致力于学术传播和科学普及,重点关注AI4Science、大模型等前沿科学进展。
1516文章数 5081关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
艺术
家居
手机
公开课

小伙表示连玩7天《GTA6》 这下PS5可惨了

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版