面向分解动作空间：基于干预语义的Q函数分解

面向分解动作空间：基于干预语义的Q函数分解

Q-function Decomposition with Intervention Semantics for Factored Action Spaces

https://arxiv.org/pdf/2504.21326

摘要

许多实际强化学习环境具有离散的分解动作空间，导致动作组合数量庞大，带来巨大挑战。现有方法利用动作空间的规则结构，对Q函数进行线性分解，以避免枚举所有动作组合。本文考虑在原始动作空间的低维投影子空间上定义Q函数，并借助因果统计中“无未观测混杂因素”设定下的因果效应估计，研究了分解Q函数保持无偏性的条件。由此，我们提出了一种名为“动作分解强化学习”的通用方案，利用投影Q函数来近似标准无模型强化学习算法中的Q函数。结果表明，该方法在基于模型的强化学习设定中有效改善了样本复杂度。实验证明，与现有最先进的基线方法相比，该方法在在线连续控制环境和真实的离线脓毒症治疗环境中，均显著提升了样本效率。

1 引言

强化学习（RL）与深度学习的结合已在众多应用领域实现了超越人类的性能（Mnih等，2015；Silver等，2017），但在样本复杂度和计算可行性方面仍有很大提升空间，以推动其在真实场景中的广泛应用与部署（Pearl，2019；Schölkopf，2022）。在医疗等许多实际应用中，由于交互成本高昂或难以实施，通常更倾向于以异策略（off-policy）甚至离线（offline）的方式收集一批交互数据，但这限制了获取大量多样化样本的能力（Komorowski等，2018；Tang等，2022）。即使是在线环境，结构化的组合动作空间也会显著降低样本效率，这已是业界共识（Dulac-Arnold等，2015；Tavakoli等，2018，2020）。

本文旨在提高基于价值的强化学习算法在求解具有庞大分解动作空间问题时的样本效率。处理大型动作空间的挑战已得到广泛认可，典型方法包括动作空间分解（Tang等，2022；Rebello等，2023）或数据增强（Pitis等，2020，2022；Tang和Wiens，2023）。在多智能体强化学习中（Sunehag等，2018；Son等，2019；Wang等，2020；Rashid等，2020），存在清晰的分解结构，可将全局价值函数表示为各智能体局部价值函数的组合。然而在单智能体强化学习中，现有方法通常基于一种假设，即给定的马尔可夫决策过程（MDP）可分解为多个独立的MDP，从而实现Q函数的线性分解（Russell和Zimdars，2003；Tang等，2022；Seyde等，2022）。

在第3节中，我们在表格型基于模型的强化学习设定下，研究了分解动作空间中Q函数分解的合理性（soundness）和样本复杂度的理论性质。在第4节中，我们提出了一种称为“动作分解强化学习”的实用方案，该方案通过基于Q函数分解的改进评论家（critic）学习过程来增强无模型算法（Mnih等，2015；Fujimoto等，2019）。在第5节中，我们使用深度Q网络（DQN）（Mnih等，2015；Van Hasselt等，2016）和批量约束Q学习（BCQ）（Fujimoto等，2019）实现了该方案，并在涉及在线2D控制环境以及源自真实世界MIMIC-III数据集的脓毒症治疗离线环境的实验中进行了验证，结果表明我们提出的方法提高了样本效率。

2 预备知识

在Neyman-Rubin潜在结果框架（Rubin, 2005）中，状态S是观测到的混杂因素，因为它同时影响对S'的干预和结果R。因果统计的主要关注点在于估计存在混杂偏差时的因果效应，这源于因果推断的基本问题。如果强化学习智能体能够重新访问相同的状态并收集替代的动作选择，那么原则上我们就不会面临混杂偏差的问题。然而，我们将看到，将强化学习构建为具有干预语义的因果效应估计，为提高样本效率提供了契机。在提升bandit问题（Johansson等，2016；Saito等，2023）以及推荐系统等机器学习应用（Gao等，2024）的样本效率方面，也有类似的活跃研究。我们可以通过考察哪些组件是可分离的，来对分解MDP中的可分解结构进行分类，如图1所示。Tang等（2022）研究了图1a所示的情况，其中状态空间和奖励函数在每个投影动作空间上均是可分离的。在这种情况下，Q函数可以被精确分解为：

3 方法

3.1 投影动作空间马尔可夫决策过程

让我们考虑图1b中所示的分解情况，其中我们假设各分解动作所产生的效果互不干扰。

3.2 基于模型的分解策略迭代

接下来，我们提出了一种具体的基于模型的强化学习（RL）算法，称为基于模型的分解策略迭代（MB-FPI），用于研究所提出的Q函数分解的合理性。我们还在以下假设下证明了MB-FPI样本复杂度的改善。

4 动作分解强化学习框架

在上一节中，我们探讨了分解动作空间中Q函数分解的理论特性，及其在表格型基于模型的强化学习设定中的优势，该设定隐含地假设干预策略可以在结构良好的离散状态空间中被学习，从而使我们能够了解状态变量在动作影响下如何变化。

在实际环境中，如果状态空间是连续的、无结构的或高维的，这些假设将不再成立。因此，我们提取了上一节中提出的核心思想，并提出了一种实用且通用的方案，该方案增强了无模型基于价值的强化学习算法中Critic（评论家）学习的两个组件。

4.1 动作分解DQN

DQN类算法面临的主要挑战之一是处理大型离散动作空间，尤其是当动作空间的大小呈组合式增长时。通常，价值分解方法会引入局部价值函数，并以局部方式执行动作选择，从而避免枚举所有可能的动作组合。在此，我们利用分解动作空间中的投影Q函数来提高DQN的样本效率。

4.2 动作分解BCQ

在异策略（off-policy）强化学习方法中（Lange等，2012；Levine等，2020；Uehara等，2022），行为策略生成的一批样本与评估策略下的分布不相关。Fujimoto等（2019）表明，这种差异会引发外推误差，从而严重降低离线及在线环境中的性能。数据分布与目标分布之间的不匹配会引入选择偏差，因为经验均值是在该批次上计算的；此外，如果在逆倾向得分（inverse propensity score）较大的区域使用重要性采样方法，还会导致较大的方差。因此，离线强化学习算法中的Critic（评论家）学习面临着由样本收集局限性带来的额外挑战，这就需要能够提高样本效率的方法。

5 实验

我们在DeepMind控制套件（Tassa等，2018）的二维质点控制环境和MIMIC-III脓毒症治疗环境（Komorowski等，2018；Goldberger等，2000；Johnson等，2016；Killian等，2020）中进行实验，分别用于评估AD-DQN和AD-BCQ。这两个强化学习环境都贴近现实世界问题，并且都具有明确定义的分解动作空间。此外，目前已有利用线性Q函数分解的最先进算法，我们可以与之进行比较，以验证样本效率的提升。

5.1 2D质点控制

5.2 MIMIC-III 脓毒症治疗

我们在源自MIMIC-III数据库1.4版（Goldberger等，2000；Johnson等，2016；Komorowski等，2018）的脓毒症治疗环境中评估了AD-BCQ和分解BCQ（Tang等，2022）。处理MIMIC-III数据集后，我们获得了一个包含177,877名患者的队列，并应用70/15/15的比例进行训练、验证和测试划分。每位患者有5个非时变的人口统计学特征和33个在72小时内以4小时间隔收集的时变特征，这些特征构成了一个离散时间序列。奖励设定为：出院状态100分，死亡状态-100分，其他情况0分。在状态表示学习的可能选择中（Killian等，2020），我们使用了近似信息状态编码器（Subramanian等，2022），并获得了64维的状态空间。动作空间由两个连续变量组成，分别是静脉输液的总体积和使用的血管升压药剂量。我们通过将这两个连续变量的分位数均匀划分，把离散化的分箱数量从5x5变化到14x14，在动作空间中进行了实验，如图3a和3b所示。当我们增加分箱数量时，可以看到可用于学习的转移样本数量减少，这使得离线强化学习算法更具挑战性。

评估结果 我们遵循Tang和Wiens（2021）；Tang等（2022）提供的开源环境的评估协议。对于所有扫描的超参数和20次随机试验，我们选择在验证集中具有最高WIS且满足最小ESS截止值（如图3c中黑线所示）的最佳模型。使用选定的模型，我们在测试集中评估其WIS和ESS以进行最终比较。在模型选择分数方面，我们看到AD-BCQ（蓝色）显示出比基线更高的ESS分数。图3d-3f显示Y轴为测试WIS分数，X轴为ESS分数。应用于患者的临床医生策略在测试集中的观察值为87.75，显示在黑色虚线中。由于该数据集在每个回合结束时只有一个奖励，且评估的折扣因子为1.0，因此该值是回合奖励的平均值。

每个算法在20个不同的随机种子上进行训练，我们看到图3d-3f中AD-BCQ的轮廓形成了其他两种算法的帕累托前沿（Pareto frontier），证实了AD-BCQ学习的策略函数在各种动作空间中主导了基线的性能。

6 相关工作与讨论

Tang等人（2022）提出了一种方法，将Q函数分解为Q函数的线性组合，即在分解动作空间中每个动作变量对应一个Q函数。该论文对这种近似方法的偏差和方差进行了理论分析。Pitis等人（2022）在分解MDP设定中考虑了结构因果模型，用于设计离线强化学习的数据增强算法。Luczkow（2021）研究了如何将结构因果模型应用于强化学习。这两种方法都未能捕捉到干预的因果语义，并得出结论认为干预会引入全局变化。根据我们的研究，可以通过动作模型中的无操作（no-op）动作，利用系统的默认动态来捕捉这种全局影响。

局限性 我们希望强调几个局限性。所提出的方法假设我们能够获得因果表示或解耦的状态变量。在这项工作中，我们没有探讨如何从高维特征空间中学习解耦表示（Mitrovic等，2021；Brehmer等，2022；Huang等，2022a）。在控制环境或医疗领域等现实世界问题中，通常这种表示已经可用，且大多数情况下动作模型也已明确定义。我们工作的另一个局限性，特别是在MIMIC-III脓毒症治疗实验中，是所提出的方法不能保证在实际情况中改善结果，且其结果必须由领域专家仔细审查。

7 结论

在本文中，我们结合因果学中的干预语义，研究了分解马尔可夫决策过程（MDP）中可分解的动作结构。所提出的Q函数分解方法的主要优势在于，它能够提高在面临大型离散动作空间时的样本效率，而这是强化学习中的主要挑战之一。理论研究表明，如果投影动作空间的效果互不干扰，我们可以将Q函数分解方案从完全可分离的MDP扩展到不可分离的MDP。此外，如果底层的Q函数是单调的，沿着投影动作空间进行的一系列局部改进仍然能够得出最优策略。

将这些在理想设定下的发现应用到更实用的DQN风格算法中，我们提出了一种动作分解强化学习框架，该框架改进了Critic（评论家）学习过程，并在真实的在线和离线环境中证明了样本效率的提升。

在未来的工作中，有几个有趣的研究方向。首先，我们可以联合学习因果状态表示和因果机制，以进一步提高样本效率。其次，更深入的分析将增进对Q函数分解的理论理解。最后，将问题设定扩展到“未观测混杂因素设定”将带来巨大的研究挑战，同时也能使其更广泛地应用于现实世界。

原文链接：https://arxiv.org/pdf/2504.21326