网易首页 > 网易号 > 正文 申请入驻

用动作分块突破RL极限,伯克利引入模仿学习,超越离线/在线SOTA

0
分享至

机器之心报道

编辑:杜伟、冷猫

如今,强化学习(Reinforcement Learning,RL)在多个领域已取得显著成果。

在实际应用中,具有长时间跨度和稀疏奖励特征的任务非常常见,而强化学习方法在这类任务中的表现仍难令人满意。

传统强化学习方法在此类任务中的探索能力常常不足,因为只有在执行一系列较长的动作序列后才能获得奖励,这导致合理时间内找到有效策略变得极其困难。

假如将模仿学习(Imitation Learning, IL)的思路引入强化学习方法,能否改善这一情况呢?

模仿学习通过观察专家的行为并模仿其策略来学习,通常用于强化学习的早期阶段,尤其是在状态空间和动作空间巨大且难以设计奖励函数的场景。

近年来,模仿学习不仅在传统的强化学习中取得了进展,也开始对大语言模型(LLM)产生一定影响。近日,加州大学伯克利分校的研究者提出了一种名为Q-chunking的方法,该方法将动作分块(action chunking)—— 一种在模仿学习中取得成功的技术 —— 引入到基于时序差分(Temporal Difference, TD)的强化学习中。

该方法主要解决两个核心问题:一是通过时间上连贯的动作序列提升探索效率;二是在避免传统 n 步回报引入偏差的前提下,实现更快速的值传播。

  • 论文标题:Reinforcement Learning with Action Chunking
  • 论文地址:https://www.alphaxiv.org/overview/2507.07969v1
  • 代码地址:https://github.com/ColinQiyangLi/qc

如下图 1 左所示,Q-chunking(1)使用动作分块来实现快速的价值回传,(2)通过时间连贯的动作进行有效探索。图 1 右中,本文方法首先在离线数据集上进行 100 万步的预训练(灰色部分),然后使用在线数据更新,再进行另外 100 万步的训练(白色部分)。

问题表述与研究动机

Q-chunking 旨在解决标准强化学习方法在复杂操作任务中存在的关键局限性。

在传统强化学习中,智能体在每一个时间步上逐一选择动作,这常常导致探索策略效率低下,表现为抖动、时间不连贯的动作序列。这一问题在稀疏奖励环境中尤为严重 —— 在此类环境中,智能体必须执行较长的、协调一致的动作序列才能获得有效反馈。

研究者提出了一个关键见解:尽管马尔可夫决策过程中的最优策略本质上是马尔可夫性的,但探索过程却可以从非马尔可夫性、时间上扩展的动作中显著受益。这一观察促使他们将「动作分块」这一原本主要用于模仿学习的策略引入到时序差分学习中。

该方法特别面向离线到在线的强化学习场景(offline-to-online RL),即智能体先从预先收集的数据集中进行学习,再通过在线交互进行微调。这一设定在机器人应用中尤为重要,因为在线数据采集成本高且可能存在安全风险。

方法概览

Q-chunking 将标准的 Q-learning 扩展至时间扩展的动作空间,使策略不再仅预测单一步骤的动作,而是预测连续 h 步的动作序列。该方法主要包含两个核心组成部分:

扩展动作空间学习

算法实现

研究者展示了Q-chunking框架的两种实现方式:

QC(带有隐式 KL 约束的 Q-chunking)

该分支通过「从 N 个中选择最优」(best-of-N)的采样策略,隐式地施加 KL 散度约束。其方法如下:

1. 在离线数据上训练一个流匹配行为策略 f_ξ(・|s)

2. 对于每个状态,从该策略中采样 N 个动作序列(action chunks)

3. 选择具有最大 Q 值的动作序列:a* = arg max_i Q (s, a_i)

4. 使用该动作序列进行环境交互与 TD 更新

QC-FQL(带有 2-Wasserstein 距离约束的 Q-chunking)

该实现基于 FQL(Flow Q-learning)框架:

1. 保持一个独立的噪声条件策略 μ_ψ(s, z)

2. 训练该策略以最大化 Q 值,并通过正则项使其靠近行为策略

3. 使用一种蒸馏损失函数,对平方的 2-Wasserstein 距离进行上界估计

4. 引入正则化参数 α 来控制约束强度

实验设置及结果

关于实验环境和数据集,研究者首先考虑 6 个稀疏奖励的机器人操作任务域,任务难度各不相同,包括如下:

来自 OGBench 基准的 5 个任务域:scene-sparse、puzzle-3x3-sparse,以及 cube-double、cube-triple 和 cube-quadruple,每个任务域包含 5 个任务;来自 robomimic 基准中的 3 个任务。

对于 OGBench,研究者使用默认的「play-style」数据集,唯独在 cube-quadruple 任务中,使用了一个规模为 1 亿大小的数据集。

关于基线方法比较,研究者主要使用了以加速「价值回传」为目标的已有方法,以及此前表现最好的「离线到在线」强化学习方法,包括BFN(best-of-N)、FQL、BFN-n / FQL-n 以及 LPD、RLPD-AC

下图 3 中展示了 Q-chunking 与基线方法在 5 个 OGBench 任务域上的整体性能表现,下图 4 中展示了在 3 个 robomimic 任务上的单独性能表现。其中在离线阶段(图中为灰色),QC 表现出具有竞争力的性能,通常可以比肩甚至有时超越了以往最优方法。而在在线阶段(图中为白色),QC 表现出极高的样本效率,尤其是在 2 个最难的 OGBench 任务域(cube-triple 和 quadruple)中,其性能远超以往所有方法(特别是 cube-quadruple 任务)。

下图 5 为消融实验,比较了 QC 与其变体 QC-FQL、以及 2 种 n 步回报的基线方法(BFN-n 和 FQL-n)。这些 n 步回报基线方法没有利用时间扩展的 critic 或 policy,因此其性能显著低于 QC 和 QC-FQL。实际上,它们的表现甚至常常不如 1 步回报的基线方法 BFN 和 FQL,这进一步突显了在时间扩展动作空间中进行学习的重要性。

接下来探讨的问题是:为什么动作分块有助于探索?研究者在前文提出了一个假设:动作分块策略能够生成在时间上更连贯的动作,从而带来更好的状态覆盖和探索效果。

为了进行实证,他们首先可视化了训练早期 QC 与 BFN 的末端执行器运动轨迹,具体如下图 7 所示。可以看到,BFN 的轨迹中存在大量停顿(在图像中心区域形成了一个大而密集的簇),特别是在末端执行器下压准备抓取方块时。而 QC 的轨迹中则明显停顿较少(形成的簇更少且更浅),并且其在末端执行器空间中的状态覆盖更加多样化。

为了对动作的时间连贯性进行定量评估,研究者在训练过程中每 5 个时间步记录一次 3D 末端执行器位置,并计算相邻两次位置差向量的平均 L2 范数。如果存在较多停顿或抖动动作,该平均范数会变得较小,因此可以作为衡量动作时间连贯性的有效指标。

正如图 7(右)所示,在整个训练过程中,QC 的动作时间连贯性明显高于 BFN。这一发现表明,QC 能够提高动作的时间连贯性,从而解释了其更高的样本效率。

更多细节内容请参考原论文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马斯克预言:接下来全球将面临一场危机,或许只有中国是个例外

马斯克预言:接下来全球将面临一场危机,或许只有中国是个例外

点燃好奇心
2026-11-22 11:02:54
宋朝的“经略相公”到底是多大官?放到今天相当于啥职位?

宋朝的“经略相公”到底是多大官?放到今天相当于啥职位?

爆史君带你读历史
2026-11-21 17:50:51
果然,“让黄仁勋下台”只是第1招,美国的第2招、第3招都来了

果然,“让黄仁勋下台”只是第1招,美国的第2招、第3招都来了

互联网.乱侃秀
2026-11-22 10:00:21
斯诺克英锦赛资格赛22日结束多场比赛,中国选手交出7胜3负,罗泽涛2-5落后连扳4局6-5晋级,赵心童、吴宜泽已进32强

斯诺克英锦赛资格赛22日结束多场比赛,中国选手交出7胜3负,罗泽涛2-5落后连扳4局6-5晋级,赵心童、吴宜泽已进32强

爱体育的小悠悠
2026-11-22 10:49:57
于金永新合同被网传,泰山大概率难留!鲁媒:续约操作,真看不懂

于金永新合同被网传,泰山大概率难留!鲁媒:续约操作,真看不懂

建哥说体育
2026-11-22 10:43:19
经济日报金观平:稳步扩大金融市场双向开放

经济日报金观平:稳步扩大金融市场双向开放

澎湃新闻
2026-11-22 08:47:03
兄妹顶峰相见后日乒再现情侣顶峰相见 90后姐姐与00后弟弟温馨依偎

兄妹顶峰相见后日乒再现情侣顶峰相见 90后姐姐与00后弟弟温馨依偎

劲爆体坛
2026-11-22 08:18:04
深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

故事终将光明磊落
2026-11-21 09:45:41
两日本人上海起冲突 致一人死亡 日媒集体装瞎带节奏 日本网友先炸了

两日本人上海起冲突 致一人死亡 日媒集体装瞎带节奏 日本网友先炸了

娱乐圈见解说
2026-11-22 02:02:15
楼市只是开头!比卖掉房子更揪心的两大难题,普通人一定要看清

楼市只是开头!比卖掉房子更揪心的两大难题,普通人一定要看清

爱看剧的阿峰
2026-11-22 07:24:25
60~70岁老人,这11条占7条说明身体底子好,全占高质量长寿不是梦

60~70岁老人,这11条占7条说明身体底子好,全占高质量长寿不是梦

暖风吹过竹林
2026-11-22 09:16:34
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

开开森森
2026-11-21 09:48:22
触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

上观新闻
2026-11-22 08:24:56
春节返乡潮要变天?专家预言:2027年前后打工潮降温,原因很现实

春节返乡潮要变天?专家预言:2027年前后打工潮降温,原因很现实

江启
2026-11-21 12:47:21
不理解,为什么馒头是小麦做的,可山东河南等地到了80后才吃上?

不理解,为什么馒头是小麦做的,可山东河南等地到了80后才吃上?

抽象派大师
2026-11-22 02:00:30
孙俪家狗“芒果”拿下“最丑第一名”,本尊发文:我是该笑,还是哭?

孙俪家狗“芒果”拿下“最丑第一名”,本尊发文:我是该笑,还是哭?

韩小娱
2026-11-19 19:33:26
“就这一个大孙子,怎么只给800?”宝妈吐槽婆婆红包小气,评论区一句话直接怼醒她

“就这一个大孙子,怎么只给800?”宝妈吐槽婆婆红包小气,评论区一句话直接怼醒她

火山詩话
2026-11-22 11:06:08
评论吵翻了!赵本山唱《慌啥子嘛》,不少网友吐槽:坐 2 亿私人飞机,很难共情普通人的焦虑

评论吵翻了!赵本山唱《慌啥子嘛》,不少网友吐槽:坐 2 亿私人飞机,很难共情普通人的焦虑

秋风妃
2026-11-21 22:37:53
凯尔登冲突!马刺登顶西部第一,文班轰50分19板4断5帽,一战创6大神迹

凯尔登冲突!马刺登顶西部第一,文班轰50分19板4断5帽,一战创6大神迹

老侃侃球
2026-11-22 11:30:40
2026-11-22 12:44:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

时尚
房产
健康
本地
亲子

我们总说爱动物,但我们真的懂得如何善待它们吗?

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

如何情绪稳定带娃?耐心看完,避免一写作业鸡飞狗跳

无障碍浏览 进入关怀版