把吊打全网王者荣耀玩家的AI架构从论文里挖出来

绝悟AI：别误会，我是说在座的各位王者荣耀玩家，都是XX（狗头）

大家好，我是一个长得好看说话好听智商超高三者都不具备的，但关注我的人以上三者都会具备的，只相信原理、逻辑和数据的，么得感情的量化机器的，阿婆主略财经。

本期就讲讲后浪们最爱的博弈论学习软件，中西方神话艺术研究，团队配合策略实验，国家互联网巨头产品体验与资金交易，大脑防衰老可能有点用的手指灵活度健指仪------王者荣耀。

大家可能以为我要以讲游戏的角度来讲游戏，too后浪too naive，作为后浪牌基金经理，我如果在网上讲游戏，很可能我会被前浪牌基金经理们骂成浪花。

想必当年让很多自媒体都用过“震惊！”一词描述的震惊！全球的围棋人工智能AlphaGo都震惊！过大家，今天就来讲讲最近让中国玩家闻风丧胆、哀鸿遍野，把人类打到自闭，虐到体无完肤的，绝悟AI。

腾讯AI实验室有一篇论文入围了人工智能顶级会议AAAI 2020，之前1月份那会我刚做视频有个粉丝就很帮我说话，他就跟我私信说过他投过一篇论文给AAAI，改天邀请他来给大家分享下，感兴趣的小伙伴请扣1或者老铁双击666。

回到正题，腾讯那篇入围的AI论文，作者是叶德珩博士，论文名《Mastering Complex Control in MOBA Games with Deep Reinforcement Learning》，直译的意思就是，用深度强化学习掌控MOBA游戏中的复杂控制。

这篇论文是以1V1为测试场景的，而不是5V5，因为后者更注重所有agent的团队合作策略，而不是单个agent的动作决策。Agent就是智能体，可以简单理解成英雄。

叶博士邀请了5位知名的职业选手和大量顶级业余玩家与AI对抗（提供人类数据标本[doge]），于是，他们就全军覆没了，而且是一次又一次的螺旋上升式的全军循环覆没，当然，螺旋上升的是AI，循环挨打的是人类。

人类一共向AI发起了2100次维护人类尊严的生死决斗，失败2096次，最终以胜率0.19%的光荣姿态屹立于文明的历史长河，人类又又又又双叒叕败给了AI。

而且在人类赢的那四场里，绝悟AI选的英雄比较依靠暴击，因为暴击有较大的不确定性，所以胜负的不确定性会加大，当暴击天平倾向不利的一端时，AI输掉的概率就会加大，也就是运气成分阻碍了人家AI的胜利。

于是 腾讯将这个绝悟AI上线了，4 月 27-29 日，十支人类战队兵分五路，从五个平台出发，抗击绝悟AI，于是，被无情屠戮；5 月 1 日~ 5 月 4 日期间，玩家可与绝悟AI对战，但是5月1日仅仅半天，AI不负众望地吊打了全网玩家，人类再一次想起了被AI支配的恐惧，于是腾讯紧急更新调低了AI难度。

于是很多玩家表示终于能勉强与AI一战，还有些玩家特意把论文找出来研究，以知己知彼少被虐。我猜想大家应该不会去找论文看，所以我给大家尽全力地降维解释下论文里介绍的绝悟AI系统架构，帮助大家做到知己知彼，以便未来战胜绝悟AI，向朋友和女朋友展现你超越AI的智慧。

以下进入我相信你终有一天会听懂的环节：

这张图是论文里的强化学习系统，这是一种低耦合且高扩展性的系统架构，可构建数据并行化，采用较大的批大小来加快这个训练速度，毕竟复杂agent的动作决策问题可能引入高方差的随机梯度，所以采用这种系统架构能更好地提升大规模问题的探索效率。

这个系统有四个模块，AI Server，人工智能服务器，这个模块将游戏中实时的环境变化数据与agent的数据进行交互，self-play，自己玩自己，就是AI与AI进行自我对战来训练。

然后Dispatch，调度，这个模块，是负责收集AI Server接收到的游戏样本数据，将数据压缩并传到内存池。

Memory Pool：内存池，就是前面讲的数据储存，它也会处理数据，然后把数据喂给下一个模块，学习器

RL learner，RL是Reinforcement Learning，强化学习学习器，两个学习没打多，这是模型核心，功能是基于内存池传过来的数据进行强化学习训练。

听起来很简单对吧，就是数据传来传去的，那只是因为我没给大家讲论文涉及的模块细节，比如这样的：

这样的：

还有这样的：

这些本质就是复杂的不可能简单化的专业内容，真正专业的内容要是都能简单化来讲，那专业人士都可以喝西北风去了，网络上所有能让非专业人士轻易看懂的内容，本质上都是些很简单的专业里的皮毛罢了。专业一词本就带有门槛之意，真正的专业知识就是带有门槛的知识。比如外行人听到那些不专业但了解一点财经的人说两句什么通胀啊，什么波动率啊，就觉得他很专业了，殊不知在真正专业的人眼里，这些不过是专业常识，随便百度一下看50字的概念介绍就能学会的皮毛，而通胀里面的需求拉动型通胀和成本推动型通胀是更深一级的专业知识，波动率里面的历史波动率、隐含波动率、真实波动率、异质波动率是更深两三级的专业知识。听过一些不怎么专业的人说两句通胀和波动率就认定其专业的外行人，看到真正专业的人说真正专业的但也不可避免对于外行人而言更为高深难懂的理论后，反而会因为越级过多无法理解而认为人家在故弄玄虚在唬人，从而认定那个讲他听得懂的话的人才是真大佬，这就是为什么不怎么专业的人总是能忽悠到更多的人，并且被忽悠的人看不出这其中隐含的种种虚假与陷阱。这就好比外面各种金融骗子只要营销技术好，讲些金融皮毛就能忽悠一批又一批人，就是抓住了有些群体的这种特征。