网易互娱AI Lab获2022 IEEE CoG足球AI竞赛双料冠军

近日，2022 IEEE游戏大会（IEEE Conference onGames, CoG） 足球AI竞赛正式公布了比赛结果。网易互娱AI Lab以1292.28分和1491.48分的成绩分别包揽了5v5和11v11两个赛道的冠军，特别是在11v11赛道中，以高于第二名267分的优势取得了断崖式领先。这是网易互娱AI Lab继去年满分夺冠IEEE游戏大会的格斗游戏AI竞赛后，再获该大会游戏AI类竞赛的冠军，展现了其在游戏AI方面的技术硬实力，也彰显了实验室在提供更精彩的互娱体验方面所做出的不屑努力。

IEEE游戏大会是人工智能方向游戏领域的国际顶会，汇聚了来自全球游戏领域学术界和工业界的领先研究人员和开发人员，共同探讨游戏技术与设计相关的前沿话题和未来趋势。本次IEEE游戏大会下设的足球AI竞赛共分为两个赛道：5v5和11v11赛道。其中，5v5赛道需要训练除了守门员之外的4名队员的模型，而11v11赛道则需要训练包含守门员在内的全部11名队员。两个赛道均属于多智能体训练任务，这已经大大加大了训练的难度；其次，足球游戏策略以其复杂性、多样性和高难度，一直是长期困扰世界顶尖AI团队的研究难题，多智能体不仅需要掌握传球和防守等复杂概念，还需要在短期控制和高水平策略之间取得平衡，例如怎样克服对手的防守以成功进球等，这些都对高强度AI的研发提出了巨大的挑战。

网易互娱AI Lab创新性地提出了一种基于强化学习和多样性模型池的高强度、策略丰富的AI训练框架，该框架具有强度高、泛化性强和策略丰富的特点。相比大部分目前已知的其他模型，用该框架训练的模型能够持续稳定提升自身性能，不会陷入RL领域中经典的“非传递性”问题，即发生模型策略退化的现象，因此也就更不易被玩家找到弱点。此外，该模型的策略丰富度也显著超出此前其他已知的所有模型，例如，模型表现出丰富的进攻方式，除了经典的全队进攻、边路进攻、中路进攻和快速防守反击外，还掌握了利用游戏引擎的特点形成的特定进攻战术，因此能够击败各类具有不同策略的对手。

图：训练框架

在竞赛中，该训练框架不仅提升了模型的泛化性、强度和策略丰富度，更提升了自身的多样性，由此可以帮助获得大量、可满足实际生产应用的AI。例如，根据应用场景和需求不同，可在不同训练阶段挑选得到具备不同难度的AI，如在训练初期可挑选出难度适中、具备拟人性的游戏AI，用于冷启动匹配、补位、陪玩等场景，优化游戏体验；训练后期还可获得具有挑战性的强大游戏AI，为进一步迈向探索通用型人工智能奠定基础。网易互娱AI Lab一直将游戏AI作为研究的核心领域之一，并不断突破AI落地的难题，致力于将AI研究成果成功落地于实际生产应用中，以在未来为大家创造更精彩的互动娱乐体验。