参数化动作的强化学习

Reinforcement Learning with Parameterized Actions

参数化动作的强化学习

https://arxiv.org/pdf/1509.01644

摘要：

我们提出了一种无模型算法，用于在具有参数化动作（即带有连续参数的离散动作）的马尔可夫决策过程中进行学习。在每一步中，智能体必须同时选择使用哪个动作以及为该动作使用哪些参数。我们提出了用于在这些领域学习的 Q-PAMDP 算法，证明了该算法能收敛至局部最优，并在进球（goalscoring）和平台（Platform）领域中将其与直接策略搜索方法进行了比较。

1 引言

强化学习智能体通常具有离散或连续的动作空间（Sutton 和 Barto，1998）。在离散动作空间中，智能体决定从有限的动作集合中执行哪一个具体的动作。在连续动作空间中，动作被表示为单一的实值向量。如果我们使用连续动作空间，我们就失去了考虑“种类”差异的能力：所有动作都必须能表示为单一的向量。如果我们仅使用离散动作，我们就失去了根据当前状态微调动作选择的能力。

参数化动作是指由实值向量参数化的离散动作。以这种方式对动作进行建模，通过将不同类型的连续动作视为相互独立的实体，从而在动作空间中引入了结构。在每一步中，智能体必须同时选择使用哪个动作以及使用什么参数来执行该动作。例如，考虑一个可以踢球、传球或奔跑的足球机器人。我们可以为每个动作关联一个连续的参数向量：我们可以以给定的力度将球踢向给定的目标位置，传球到特定位置，或者以给定的速度奔跑。这些动作中的每一个都有其独特的参数化方式。参数化动作马尔可夫决策过程（PAMDPs）对以下情况进行建模：我们拥有需要参数来根据不同情境调整动作的离散动作，或者存在多个相互不兼容的连续动作。

我们重点关注在给定预定义参数化动作的情况下，如何学习动作选择策略。我们提出了 Q-PAMDP 算法，该算法交替学习动作选择策略和参数选择策略，并将其与直接策略搜索方法进行了比较。我们证明了在适当的更新规则下，Q-PAMDP 能够收敛到局部最优解。这些方法在进球（goal）和平台（Platform）领域中进行了实验比较。我们发现，Q-PAMDP 的表现优于直接策略搜索和固定参数的 SARSA。

2 背景

参数化任务

参数化任务是由每个回合开始时给定的任务参数向量 τ τ 定义的问题。这些参数在整个回合中是固定的，目标是学习一个依赖于任务的策略。Kober 等人（2012）开发了算法来调整运动原语以适应不同的任务参数。他们将其应用于学习具有不同起始位置和目标位置的乒乓球和飞镖游戏。Da Silva 等人（2012）引入了参数化技能作为依赖于任务的参数化策略的想法。他们对一组任务进行采样，学习其相关参数，并确定从任务到策略参数的映射。Deisenroth 等人（2014）应用基于模型的方法来学习依赖于任务的参数化策略。这被用于学习击球任务和解决积木操作问题的依赖于任务的策略。参数化任务可以用作参数化动作。例如，如果我们学习了一个向位置 τ τ 踢球的参数化任务，这可以用作参数化动作 kick-to( τ τ)。

参数化任务

参数化任务是由每个回合开始时给定的任务参数向量 τ τ 定义的问题。这些参数在整个回合中保持不变，目标是学习一个依赖于任务的策略。Kober 等人（2012）开发了算法来调整运动原语以适应不同的任务参数。他们将其应用于学习具有不同起始位置和目标位置的乒乓球和飞镖游戏。Da Silva 等人（2012）引入了参数化技能作为依赖于任务的参数化策略的概念。他们对一组任务进行采样，学习其相关参数，并确定从任务到策略参数的映射。Deisenroth 等人（2014）应用基于模型的方法来学习依赖于任务的参数化策略。这被用于学习击球任务和解决积木操作问题的依赖于任务的策略。参数化任务可以用作参数化动作。例如，如果我们学习了一个向位置 τ τ 踢球的参数化任务，这可以用作参数化动作 kick-to( τ τ)。

3 参数化动作 MDP

它是每个离散动作与其所有可能参数的并集。我们将此类 MDP 称为参数化动作 MDP（PAMDP）。图 1 描绘了不同的动作空间。

4 理论结果

Q-PAMDP( ∞ ∞) 的收敛性质比 Q-PAMDP(1) 弱，因为它需要一个全局收敛的 P-UPDATE。然而，它有潜力绕过附近的局部最优（Bezdek and Hathaway 2002）。

5 实验

我们首先考虑一个简化的机器人足球问题（Kitano et al. 1997），其中单个前锋试图在面对守门员时进球。每个回合开始时，球员位于场地底边的随机位置。球员开始时持有球，守门员位于球和球门之间。游戏在一个 2D 环境中进行，球员和守门员具有位置、速度和方向，球具有位置和速度，总共产生 14 个连续状态变量。

为了进球，球员必须绕过守门员射门。这意味着在某些位置它必须向左射过守门员，而在其他位置必须向右射过守门员。然而在任何时候都不应该射向守门员，因此最优策略是不连续的。我们将动作分为两个参数化动作：shoot-goal-left（向左射门）和 shoot-goal-right（向右射门）。这允许我们使用简单的动作选择策略，而不是复杂的连续动作策略。这种策略在纯连续动作空间中很难表示，但在参数化动作设置中更简单。

回报与进球概率直接相关，因此它们的图表几乎相同。由于更容易解释，我们在图2中绘制了进球概率。我们可以看到，直接的 eNAC 表现不如 Q-PAMDP(1) 和 Q-PAMDP(∞)。这可能是由于直接优化动作选择参数的难度，而不是使用 Q-learning。

对于这两种方法，进球概率都大大增加：虽然初始策略很少进球，但 Q-PAMDP(1) 和 Q-PAMDP(∞) 都将进球概率提高到了大约 35%。直接的 eNAC 收敛到了 15% 的局部最大值。最后，我们包含了 SARSA(λ) 的性能，其中动作参数固定在初始的。这实现了大约 20% 的进球概率。Q-PAMDP(1) 和 Q-PAMDP(∞) 都显著优于固定参数的 SARSA，但 eNAC 没有。图3描绘了使用收敛的 Q-PAMDP(1) 策略的单个回合——球员将守门员引出，并在球门开放时射门。

图5显示了 eNAC、Q-PAMDP(1)、Q-PAMDP(∞) 和固定参数 SARSA 的性能。Q-PAMDP(1) 和 Q-PAMDP(∞) 都优于固定参数 SARSA 方法，平均分别达到总距离的 50% 和 65%。我们认为 Q-PAMDP(∞) 优于 Q-PAMDP(1) 是由于平台领域的性质。Q-PAMDP(1) 最适合动作价值函数随参数策略变化而平滑变化的领域。在平台领域中，我们的初始策略如果不进行修改就无法完成第一次跳跃。当策略能够到达第二个平台时，我们需要彻底改变动作价值函数以适应这个平台。因此，Q-PAMDP(1) 可能不太适合这个领域，因为在跳跃失败和实际成功跳跃之间发生的参数微小变化会导致动作价值函数的巨大变化。这比 40% 的固定 SARSA 基线要好，并且比使用 eNAC 直接优化达到 10% 要好得多。图6显示了平台领域成功完成的回合。

6 相关工作

Hauskrecht 等人（2004）提出了一种求解具有混合离散-连续动作空间的因子化马尔可夫决策过程（MDPs）的算法。然而，他们的形式化方法中，动作空间包含混合的离散和连续分量，而我们的领域中，动作是相互独立的，且每个动作具有不同数量的连续分量。此外，他们假设领域具有紧凑的因子化表示，并且仅考虑规划问题。

Rachelson（2009）在研究依赖于时间的连续时间马尔可夫决策过程（TMDPs）时，遇到了以“等待给定时间段”形式出现的参数化动作。他开发了 XMDPs，即具有参数化动作空间的 TMDPs（Rachelson 2009）。他为该领域开发了一个贝尔曼算子，并在后来的论文中提到 TiMDPpoly 算法可以处理参数化动作，尽管这特指参数化的等待动作（Rachelson, Fabiani 和 Garcia 2009）。这项研究同样采取了规划的视角，并且仅考虑依赖于时间的领域。此外，所有参数化动作的参数空间大小都是相同的。

Hoey 等人（2013）在其关于贝叶斯情感控制理论的研究中，考虑了混合的离散-连续动作。为了解决这个问题，他们使用了一种 POMCP（部分可观测蒙特卡洛规划）形式的蒙特卡洛采样算法，并使用特定领域的调整来计算连续动作分量（Silver 和 Veness 2010）。他们指出，动作空间的离散和连续分量反映了不同的控制方面：离散控制提供“做什么”（what），而连续控制描述“怎么做”（how）（Hoey, Schroder 和 Alhothali 2013）。

在他们对符号动态规划（SDP）算法的研究中，Zamani 等人（2012）考虑了具有一组离散参数化动作的领域。这些动作中的每一个都有不同的参数空间。符号动态规划是关系型或一阶 MDP 的一种规划形式，其中 MDP 具有一组定义其动态和奖励函数的逻辑关系。他们的算法将价值函数表示为扩展代数决策图（XADD），并且仅限于具有预定义逻辑关系的 MDP。

分层 MDP 是一种每个动作都包含子任务的 MDP。子任务本身就是一个具有自己状态和动作的 MDP，这些状态和动作可能还有它们自己的子任务。分层 MDP 非常适合表示参数化动作，因为我们可以将为离散动作选择参数视为一个子任务。MAXQ 是一种用于分层 MDP 价值函数分解的方法（Dietterich 2000）。一种可能性是使用 MAXQ 来学习参数化动作问题中的动作价值。

7 结论

PAMDP（参数化动作马尔可夫决策过程）形式化方法对具有参数化动作的强化学习领域进行了建模。参数化动作赋予了我们连续领域的适应性，并允许使用不同类型的动作。它们还允许在不使用复杂参数化的情况下，简单地表示不连续的策略。我们提出了三种在 PAMDP 中进行无模型学习的方法：直接优化以及 Q-PAMDP 算法的两个变体。我们已经证明，在适当的 P-UPDATE 方法下，Q-PAMDP(1) 会收敛到局部或全局最优解。带有全局优化步骤的 Q-PAMDP(∞) 会收敛到局部最优解。

我们考察了这些方法在进球（goal scoring）领域和平台（Platform）领域中的性能。机器人足球进球领域模拟了前锋必须通过巧妙的走位绕过守门员才能进球的情况。在这些方法中，Q-PAMDP(1) 和 Q-PAMDP(∞) 的表现优于 eNAC 和固定参数的 SARSA。Q-PAMDP(1) 和 Q-PAMDP(∞) 在进球方面的表现同样出色，学习到的策略能够以大约 35% 的概率进球。在平台领域中，我们发现 Q-PAMDP(1) 和 Q-PAMDP(∞) 的表现均优于 eNAC 和固定参数的 SARSA。

原文链接：https://arxiv.org/pdf/1509.01644