DeepMind强化学习再放大招，这次他们设计了一个专业足球机器人OP3

那个曾经训练出AlphaGo模型（第一个击败人类职业围棋世界冠军的计算机程序）的DeepMind，最近又有大动作，这次他们瞄准的目标是足球，使用的”杀手锏“仍然是那个魔力无限的深度强化学习（Deep Reinforcement Learning）。

论文链接： https://arxiv.org/abs/2304.13653 项目链接： https://sites.google.com/view/op3-soccer

DeepMind研究团队通过使用深度强化学习训练了一个具有20个驱动关节的微型仿生机器人OP3，在为其设置了多种单一行为策略后，OP3可以逐渐掌握在动态环境中组合自身行为应对复杂情况的能力，例如，两个OP3就可以进行简单的一对一足球比赛：

在对OP3进行训练时，研究团队首先对其训练单一的行为技能，然后使其通过自我博弈方式端到端的组合这些单一技能，通过这种方式产生的组合行为展现出了惊人的运动潜能。例如OP3可以流畅地完成行走、转身、运球、射门等复杂足球行为，如下图所示，有一说一，这射门动作还是很帅的。

除了上述专业足球动作，研究团队还着重考虑了OP3对外界环境的适应能力，例如快速跌倒恢复动作，如下图所示，如果将运动中的OP3直接推到，它能够快速平稳的重新站立，展现出了较强的环境适应能力。

上一次看见这种操作还是在波士顿动力（Boston Dynamics）的类人机器人Atlas身上，相比起来，OP3还是更加袖珍一点，但是却拥有非常专业的足球运动能力。

研究团队提到，OP3的所有行为都是从一系列的外界奖励累积产生的，这也正是深度强化学习算法的核心所在。研究团队首先在一个模拟环境中训练代理模型，然后以zero-shot的形式将学习到的技能迁移到OP3机器人身上。由于模拟环境与机器人所处的真实环境具有不可忽视的域差异，因而在模拟训练期间，作者设计了一种结合了高频控制、动力学随机化和随机扰动加噪的混合优化方法，这一方法使得代理模型与OP3之间的高质量运动能力迁移成为可能。

一、介绍

之所以选择足球运动作为研究目标，DeepMind认为，像足球这样的运动体现了人类运动智能的诸多特征，足球运动要求运动员完成各种高度敏捷和动态动作，包括跑动、转身、侧踏、踢球、传球、跌倒恢复、物体互动等等，要完成一个出色的足球进球，需要运动员将以上动作进行多种形式的组合。此外运动员还需要对球、队友和对手的状态做出预测，并根据比赛环境调整自身的动作，选择足球运动作为研究目标已经成为机器人和人工智能社区中一项广泛认可的任务。

在本文中，DeepMind研究团队设计了一个具有20个可控关节的低成本双足人形机器人OP3作为实施对象，并且选取了足球问题中的一个子集，即1对1足球游戏开展实验。由于低成本机器人移动缓慢而笨拙，因而作者团队为其量身定制了一套深度强化学习算法，使其能够以自然流畅的方式组合自身行为以适应动态场景。在实验中，机器人智能体逐渐掌握了预测足球运动的能力，并且可以根据足球轨迹实现拦球和防守等高级操作。

研究团队首先在一个定制的足球仿真环境中训练了智能体，然后将策略转移到对应的真实环境中，如上图所示，该环境由一个长5米、宽4米的足球场构成，其中设置了两个球门，每个球门的开口宽度为0.8米。在仿真环境和真实环境中，足球场的周围都设置有坡道，确保球保持在边界内。真实的足球场上铺有橡胶地板砖，以增加机器人与地面的摩擦力。

二、本文方法

本文算法的训练目标是训练一个智能体，并将完成足球游戏所需的各项运功技能（包括行走、踢球、从地面起身、进球和防守）组合成可持续的行为策略，随后将其转移到真实机器人OP3上。作者提到，如果仅仅对智能体的目标函数进行简单的稀疏奖励训练，很难实现上述复杂的行为组合效果，因而本文通过将整体训练过程分为以下两个阶段来分步实现，如下图所示。

在第一阶段，研究团队首先训练了一个教师模型，教师模型主要使用两个特定技能进行训练，即从地面起身（getting up from the ground）和进攻对手得分（scoring goals）。需要注意的是，在训练进攻对手得分任务时，智能体必须处于站立状态，如果没有对该条件进行限制，智能体会陷入一个局部最小值陷阱，即在地面上滚动来将球送入球门，而不是通过行走运球和射门，这是强化学习训练中常见的问题。

在第二阶段，研究团队使用第一阶段训练得到的教师模型来指导智能体学习如何有效地对抗越来越强的对手。这里作者采用了自我博弈的形式，即对手是从智能体的先前训练版本中随机采样得到的。这是一种自动课程学习的方式，对手的强度随着智能体的改进而增加。此外，为了提高后续策略迁移的泛化能力，作者在智能体训练过程中加入了域随机化、随机扰动和传感器噪声等增强手段。

2.1 第一阶段：教师模型训练

对于教师模型的进攻得分任务，作者设置了多种训练情景，当智能体发生摔倒、出界、进入球门禁区或被对手进球等情况时，训练会直接终止，停止奖励反馈。而当智能体进球或者相对于对手带球进攻时，为智能体累积奖励分数，最终的总奖励是各奖励成分的加权和。此外，作者发现，对教师模型训练从地面起身技能（getting up from the ground）可以帮助智能体来获得更加完善的足球技能。

从地面起身动作可以分解为一系列关键姿态，如下图所示，作者分别预先定义了从前方或后方起身的三个关键姿势。如果直接在关键姿势之间进行插值就可以使机器人以足够稳定的方式起身，但是动作较为笨拙，相反，作者以关键姿势作为引导条件来训练智能体，并且不对最终的动作进行限制，这有助于提高智能体的灵活。

为此，作者引入了一系列额外的任务变量作为目标姿势，包括目标关节角 度 和目标躯干方 向 ， 机器人的初始化状态设置为倒地状态，并以1.5秒的频率采样一个新的目标姿势。智能体的目标函数设置为 ：

其 中 是关节位置的比例误差。

是所需重力方向与实 际重力方向之间的角 度。 和 分别是时间步数 的实际关节位置和重力方向。

2.2 第二阶段：蒸馏和自我博弈

在第二阶段，智能体将与越来越强的对手进行竞争，同时根据教师模型的引导进行正则化。这一过程可以产生多个能够进行各种足球技能的单一智能体，例如行走、踢球、从地面起身、进球和防守。当智能体或对手得分时训练会被终止，当智能体处于倒地状态、越界或球门禁区时，它在这些时间段都会收到一个固定的惩罚，所有的积极奖励成分都被忽略。

当从地面起身和进攻对手得分教师模型均训练完成后，智能体必须学会在这两种技能之间平稳过渡。由于教师策略在相同的环境中以相同的实验设置进行训练，因此可以使用策略蒸馏的方式，通过添加一个正则化项来鼓励智能体策略的输出与教师策略的输出相似就可以完成训练。 作者将训练目标分为两个部分：一个将足球训练目标 和KL正则化结合应用于进攻得分教师模型 上，另一个将其与KL正则化结合应用于从地面起身教师模型 上：

在智能体处于站立状态时，训练目标 起作用，而在其他状态时，训练目标 起作用，因此，综合训练目标可以表示为:

其中 是智能 体处于所有站立状态的集合。在训练的第二阶段，作者会对前期训练的智能体模型进行保存构成一个策略池，并且从该策略池中均匀随机选取一些模型作为对手来构成自我博弈，作者提到，如果从策略池的前四分之一选择时，自我博弈后产生的智能体效果更加稳定，因为这样可以确保对手的性能随着时间的推移而改善，而不会因为太快逼近对手模型而得到局部最优解。

三、实验效果

在实验部分，作者主要对OP3代理程序的1对1足球效果进行了评估。作者提到，在OP3的第一个训练阶段中，从地面起身的教师模型和进攻得分教师模型训练分别花费了14小时和158小时（相当于6.5天），而在第二个阶段中，蒸馏和自我博弈训练耗时68个小时。评估实验在真实环境中进行，作为对比方法，作者将1v1足球比赛中常见的一些足球行为（例如行走、起身和运球）使用一些手动编程的baseline控制脚本作为代替。此外为了研究OP3模型的灵活性，作者对其步态模式进行了适应性分析。

3.1 1v1足球评估

在1v1足球运动评估中，作者重点选取了一些复杂的交互行为，如下图所示，包括敏捷的移动技能，如从地面上起身、快速跌倒恢复、奔跑和转身。与物体进行交互，如控制运球和射门，防守等。甚至还有一些足球战术行为，例如始终保持自身的位置处于进攻对手与自己的球门之间来进行防守，并尝试用身体来防守对方的进攻球。

上图中展示了一些1v1比赛实验中的片段，在实际比赛场景中中，OP3可以以流畅的方式在这些技能之间灵活切换。

3.2 与baseline控制脚本的对比

对于一些关键的运动技能（起身、踢球和行走），完全也可以使用人为定义的控制脚本来实现，但是这种方式会使机器人看起来更加笨拙。为了衡量本文使用深度强化学习训练的OP3与这种控制脚本相比的优势，作者对二者进行了实验对比，对比结果如下表所示。

可以看到，使用强化学习训练的运功技能表现明显优于baseline控制脚本，其中机器人的行走速度可以达到0.69m/s，相比baseline提升了156%，机器人从地面起身时间减少了63%。此外，两种方法运球的球速都保持在2m/s左右。但是当机器人通过额外加速靠近球时，强化学习策略可以将运球速度进一步提高到2.6m/s，这比baseline脚本快了将近24%。这表明，通过强化学习训练，代理模型能够学习高度优化的运动技巧，从而将机器人硬件的能力发挥到极限。

3.3 步态模式适应性分析

为了展示了OP3代理模型的运功灵活性，作者对其步态模式进行了分析。在这个实验中，OP3代理模型被初始化在场边附近，与场边平行，并且球放置在球场中心位置，然后观察OP3如何操作。一般而言，对于这种情况，代理模型为了进球得分，应该先转身面对球，然后行走到球的后方并再次转身踢球，形成一个大致对称的“S”形路线。如下图所示，代理模型仅用了10步就成功实现了这一目标，并且在这一过程中，转身、行走和踢球等动作无缝结合，表现出了较强的适应能力。

四、结论

本文将深度强化学习策略应用于低成本的双足机器人上，并提出了一个足球代理模型OP3，OP3可以流畅的完成1v1足球比赛。DeepMind研究团队将OP3的训练分为两个阶段，并首先在仿真环境中进行策略学习，随后将其以zero-shot的形式迁移到真实机器人上。

研究团队在研究过程中发现，在训练时加入例如域随机化、传感器噪声等扰动手段，可以达到意想不到的迁移效果。通过两阶段式的强化学习训练，以及蒸馏学习和自我博弈，OP3可以将所学单个运动技能灵活无缝的结合在一起，明显超过了人为设置的控制脚本。DeepMind表示，如果将类似的方法应用于更强大的机器人上，应该可以解决一些更加实际的现实世界任务。

作者：seven_

Illustration by IconScout Store from IconScout

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球