基于人工智能技术的智能自博弈平台研究

　　作者：卢锐轩、孙莹、杨奇、王壮、吴昭欣、李辉

　　摘 要

　　针对实战中红蓝双方对抗博弈过程中的决策效率低、决策规则简单、智能化程度低等问题，采用人工智能与传统仿真平台相结合的方法，构建智能自博弈平台，训练出具有决策能力的红方智能体和蓝方智能体。通过1V1空战仿真试验表明，红蓝双方智能体具备决策能力，可以生成较好水平的交战决策，能够完成智能自博弈的过程。试验结果和研究内容对推进未来军事仿真智能化具有参考意义。
关键词：自博弈; 人工智能; 智能体; 军事仿真智能化

　　军事战场上的作战双方无时无刻不在博弈，且随着战场态势推进，双方的决策会不断更新，会持续将对方的决策纳入己方的决策考虑中。以迭代的思想反复更新策略，这样才能在博弈中掌握主动。而随着军事装备越来越先进，战场态势变化得越来越迅速，预测对方的战术策略变得越来越困难。而传统的军事仿真平台无法完全地模拟作战双方的博弈过程，由此需要使用智能自博弈平台对作战双方进行更智能的模拟。

　　人工智能产生于20世纪50年代，是一门涉及心理学、认知科学、思维科学、信息科学、系统科学和生物科学等多学科的综合型技术学科。将人工智能运用在军事仿真模拟中，可以替代传统军事仿真中的部分人类工作。将传统仿真平台与人工智能相结合，可形成智能化自博弈平台。

　　国内外很多机构已开展相关研究，北京理工大学基于地球模型的交战视景技术研究，提出了一种三维交战视景仿真系统，为交战仿真提供技术背景；国防大学联合作战学院研究基于深度学习的军事辅助智能化决策，将人工智能与军事辅助决策相结合;61683部队和第二炮兵工程大学针对弹道导弹作战，研究基于FDMS理论的任务级弹道导弹仿真建模框架。从20世纪80年代起，军方与国防工业部门从开发武器系统作战过程及战术运用仿真软件着手,逐步向开发人在回路中、硬件在回路中的真正攻防对抗仿真系统过渡。对战仿真系统的关键就是博弈过程，现有的大部分博弈过程还需要人的参与，而在仿真环境中可以使用人工智能进行模拟博弈。

　　实兵对抗训练组织难、消耗大，而模拟仿真技术发展迅猛，仿真能力和仿真逼真程度越来越高，作战指挥模拟化对抗训练逐步成为指挥所指挥对抗训练最为重要的一种组训形式。通过使用智能自博弈平台，可以使用较低的人员成本来模拟战场中作战双方的对抗博弈过程，得到更具战略意义的模拟结果，博弈平台中智能体的决策也可以作为指挥员的重要参考。同时，通过观察智能自博弈平台中智能体的行为，也为未来在军事战场中人工智能的应用打下基础。

　　本文基于传统仿真平台，结合深度学习，强化学习等技术，设计智能自博弈平台，接着对智能自博弈平台中的一些参数和接口进行设定和设计，最后通过1V1空战实验，模拟空战中的博弈过程，得到博弈结果。

　　01

　　深度强化学习

　　强化学习作为机器学习的一种重要手段，可以 使机器人与复杂的动态环境建立起一种交互关系。其尝试获得知识的过程与人类的学习过程十分相似。在强化学习的环境中，智能体Agent接受环境Environment的状态输入State，输出决策动作Action，然后环境根据决策动作给出反馈Reward，接着智能体接收反馈并学习然后给出新一轮的决策动作，如此反复交互就是强化学习的训练过程，如图1所示。

　　图1强化学习

　　强化学习强调与环境的交互，是更接近现实指挥员的学习方法，适合于构建智能自博弈平台。但自博弈平台具有高度复杂性，难以穷举所有的状态、行为以及激励值，因此传统的强化学习方法无法解决此类问题。

　　深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度强化学习结合了深度学习和强化学习，将深度神经网络放在强化学习的环境下训练，可以训练出兼具感知能力和决策能力的智能体。

　　采用深度强化学习的方法构建红蓝双方智能体，智能体需要在智能自博弈平台中完成训练，训练完成的智能体可以感知战场态势，作出决策，同时可以根据不同的战况作出决策优化。将双方智能体同时加入智能自博弈平台，可以进行不同态势下的智能自博弈。

　　02

　　智能自博弈平台

　　智能自博弈平台是由红蓝双方智能体和经过智能化改造的传统仿真平台组合而成。红蓝方智能体可以智能地理解战场态势并作出决策。传统仿真平台可以很好地对战场态势进行模拟，但它不具备利用智能体进行智能推演的能力，为了能和红蓝方智能体进行交互，还需要对传统仿真平台进行智能化改造。经过改造后的仿真平台可以将状态、决策反馈以智能体可感知的形式传递给智能体，同时也可以接受智能体的决策动作，红蓝方智能体通过在平台中不断训练，提升决策能力。

　　2.1智能体设计

　　一个智能体实现的目标往往是目标集的一部分, 它可能与社会中其它的智能体进行交互以完成复杂任务。智能体不仅能作用于自身，而且可以施动作于环境，并能接受环境的反馈信息，重新评估自己的行为；同时它能与其它智能体协同工作，反复此过程即构成智能体的行为。

　　智能自博弈平台中的红蓝方智能体是由深度神经网络以强化学习的训练方式在环境中不断训练而得出来的。红蓝方智能体的输入为自博弈平台中的战场态势信息，态势信息是三维空间信息，即经度、纬度、高度信息，输出为针对不同战场态势所做出的相应战略决策。因此智能体的神经网络结构中的输入层的神经元个数应当等于战场态势信息的特征维度，输出层的神经元个数应当等于战略决策的动作维度。在输入层后加入4层卷积层，用来对战场态势信息进行特征提取，在卷积层后加入使用MaxPooling池化操作的池化层用来提取主要特征，然后加入全连接层用来将特征映射到与决策相同维度的动作空间，最后加入softmax层用来对决策的输出进行归一化处理，用来输出不同决策的概率值。选择非零斜率leak为0.1的Leaky ReLUs函数作为神经元的激活函数。深度神经网络如图2所示。

　　图2深度神经网络

　　2.2智能体训练过程

　　智能自博弈平台包含了传统仿真平台和智能体，通过以上二者的交互，完成对智能体间的博弈和训练。当存在2个智能体时，2个智能体都分别与自博弈平台交互。自博弈平台中包含了交战规则库，智能体们分别向智能自博弈平台发送动作决策，智能自博弈平台接收动作决策后根据作战规则库进行推演模拟并返回下一步的状态，循环往复直到战斗结束，完成一轮的训练和博弈。博弈交互伪代码如下：

　　2.3智能自博弈平台设计

　　传统仿真平台为使用者提供了一个态势模拟的平台，相对于常规的军事演习，仿真平台可以在成本可控的前提下完成新军事装备测试、战略战术验证和任务策略研究。传统仿真平台包括仿真架构、仿真模型、仿真评估，它可以很好地完成仿真任务。

　　模拟作战推演就是在传统仿真平台上进行的决策模拟，作为模拟实战的一种重要方法，作战推演在提高指挥人员谋略水平、辅助作战决策、进行战术战法研究与验证等方面发挥越来越重要的作用。然而在作战推演中，推演人员不断面对决策问题，即如何选择自己的行动，并且要考虑到对方的不确定性因素以及对方可能的应对行动，这是一个博弈对抗过程。为了构建智能自博弈平台，需要设计一些传统平台与智能体之间的接口，如图3所示。

　　图3智能平台设计

　　（1）感知接口

　　传统仿真平台的使用者是人，通过屏幕就能将图像和声音信息传递给使用者；智能体需要感知态势，因此对于智能体而言，需要将数据整合后传输给智能体；在智能自博弈平台中，智能体需要感知的信息是战场态势信息，主要包括三维空间信息。

　　（2）决策接口

　　智能体感知态势后，经过神经网络算法最终得出一个动作即决策，这个决策与使用者在传统仿真平台输入的决策格式相同。与感知接口类似，通过将仿真平台输入程序的接口与智能体的输出相连来完成决策的输入。

　　（3）作战意图接口

　　作战意图包含打击区域、打击目标、保护区域、保护目标，智能体做出决策的最终目的是为了完成最初始设定的作战意图。使用者设定作战意图并通过作战意图接口传递给智能自博弈平台。

　　（4）交战规则库

　　交战规则规定各类作战过程中的约束条件，对战略战术进行了很多限制，目的是为了使智能自博弈更接近现实军事博弈。交战规则库内置在环境中，在决策和动作的交互中起到控制和决策限定的作用。

　　（5）仲裁机构

　　传统仿真平台的仿真结果如是由使用者评判的，在智能自博弈平台中，我们给传统平台加入仲裁机构。仿真平台接收决策后进行模拟，仲裁机构根据传统算法计算决策评价，这样就能给及时智能体反馈评价，为智能体优化决策提供指引。

　　（6）数据传输

　　传统仿真平台是在windows系统下由C++开发的三维仿真平台，智能体端是由python开发的跨平台程序。通过统一二者间传输的数据格式，可以实现二者之间的数据传输。为了在C++端和python段传输数据，我们使用TCP/IP通信来作为数据稳定传输的方式。使用winsock封装的C++端作为服务器端，python端作为客户端，C++服务端先启动，初始化仿真环境，python端作为客户端先向C++端发送动作指令,C++服务器端接收客户端的指令信息后再向客户端发送推演结果和反馈信息，如图4所示。

　　图4数据传输

　　03

　　应用模式

　　作战方分为红蓝两方，红蓝方都可以单独与同一个传统环境进行推演模拟，同时也可以与包含了对方智能体的智能环境进行推演，双方还可以同时与环境进行交互，进行智能自博弈。参与博弈的智能体具有相同的环境模型和公共知识，因此在博弈策略上表现出一定相似性。利用这种相似性，智能体可以站在对手角度预测对手的行动。典型应用模式包括训练蓝方智能体、训练红方智能体、智能自博弈。

　　3.1训练蓝方和红方智能体

　　初始状态下，红方并不知道蓝方是如何决策的，如果采用红方人员模拟蓝方做决策，决策结果会存在偏差；如果使用只包含传统通用算法的环境，会显得决策相对简单，达不到模拟的效果；此外，蓝方本身也会研究人工智能在军事方面的应用。因此，可以在智能自博弈平台中训练蓝方智能体，更准确地模拟蓝方决策。可以将蓝方智能体与包含传统算法的传统环境训练，也可以将蓝方智能体与包含了红方智能体的智能环境训练，如图5所示。

　　图5蓝方训练

　　红方的训练类似蓝方，红方智能体既可以与包含传统算法的传统环境训练，也可以与包含了蓝方智能体的智能环境训练。当两方都具备智能决策能力后，我们就可以进行下一步的训练。

　　3.2智能自博弈

　　当训练出具备智能决策能力的红蓝两方智能体后，可以在自博弈平台中进行红蓝双方联合智能博弈。双方智能体能够根据环境的状态作出智能决策，智能自博弈平台接受双方的决策后作出反馈，双方智能体根据反馈优化下一步的战术策略，双方智能体见招拆招，实现了真正的智能自博弈，如图6所示。

　　图6智能自博弈

　　04

　　1V1空战试验

　　针对战略作战中红蓝双方智能体对抗，采取试验的方式模拟空战中两架飞机的作战从而实现对抗。

　　4.1试验背景

　　智能自博弈平台模拟的空战分为搜索、接敌、攻击、退出战斗四个阶段。以红方为例：在搜索阶段中，红方指挥中心在红方飞机进入作战区域前，通过各种搜索设备，发现和识别蓝方目标；在接敌阶段中，红方飞机为了向攻击目标发起进攻需要向有利的目标位置进行转移，使攻击目标进入飞机的攻击范围。而作为攻击目标的蓝方飞机有可能正在悬停、转移，或者正处于接敌阶段，既攻击目标有移动的也有固定的，因此红方飞机需要根据蓝方飞机的不同状态做出不同的转移策略，因此红蓝双方在接敌阶段中存在博弈过程；在战斗阶段中，红蓝双方用火力消灭对方，在战斗阶段决出胜负；在退出战斗阶段中，结束作战的飞机将会退出作战空域。

　　4.2试验内容

　　本次试验针对空战中的接敌阶段进行训练，即训练飞机向目标位置进行转移，目标位置可能随时间变化而变化。智能体与仿真平台通过参数的传递来完成训练，其中，仿真平台向智能体传递三维空域信息；智能体接收三维空域信息后，返回一个飞机的转移动作，为飞机规划下一步的航线；仿真平台接收飞机的转移动作后进行模拟推演，再传递给智能体下一步的空域信息和反馈信息；智能体接收完新的空域信息和反馈信息后进行学习并获得下一步的飞机转移动作。循环以上的交互过程，成功的情况为飞机在指定的时间限制（步数）内到达制定目标，失败的情况为飞机飞出了指定空域或者在指定的时间限制（步数）内未能到达目标。试验分为两种，第一种：飞机的目标位置为空域内某固定位置，第二种：飞机的目标位置为空域内某移动位置,如表1所示。

　　表1 实验参数

　　4.3试验结果

　　为了验证智能体的训练结果，对每100次飞行训练的结果进行统计，计算每100次训练的反馈值reward的加和以及成功率，可以看到两种实验的训练情况。固定目标的reward和成功率如图7、图8所示。

　　图7 固定目标reward图

　　图8 固定目标成功率

　　移动目标下的reward和成功率如图9、图10所示。

　　图9 移动目标reward图

　　图10 移动目标的成功率

　　4.4试验总结

　　通过图表可以看出固定目标的训练收敛速度要明显高于移动目标。固定目标下，经过110000次左右的训练，智能体就逐渐能在指定的步数下准确地到达目标，而在移动目标的情况下，需经过220000次训练左右，智能体才逐渐在指定的步数下准确地到达目标。

　　05

　　结束语

　　本文采用深度学习、强化学习等人工智能技术，结合传统军事仿真平台，提出了能够进行智能推演的智能自博弈平台并进行了1V1空战试验。智能自博弈由经过改造的传统仿真平台和智能体组成，智能体与仿真平台通过接口交互态势、决策、反馈信息，从而完成对智能体的训练。使用者通过使用该智能自博弈平台，可以观察智能体在平台中的自博弈过程。智能自博弈平台相对于传统仿真平台可以更真实地进行态势推演，我方可以通过智能自博弈平台最大可能地模拟对方可能做出的行为决策，从而有利于我方制定相应的反击决策，智能自博弈平台的推演结果将成为制定战略战术的重要参考依据。

　　[引用格式] 卢锐轩,孙莹,杨奇,王壮,等. 基于人工智能技术的智能自博弈平台研究[J]. 战术导弹技术,2019，(2): 47-52+98.

　　来源：《战术导弹技术》2019年第2期

　　战术导弹技术授权转载