网易首页 > 网易号 > 正文 申请入驻

历史首次挖到钻石!网易互娱AI Lab的Athena AI在NeurIPS MineRL竞赛中夺冠

0
分享至

近日,在NeurIPS会议上举办的MineRL 2021 Diamond Competition落下帷幕,来自网易互娱AI Lab的Athena AI凭借高超的挖钻技巧,在以《我的世界》游戏为竞技环境的比赛中拿下Intro赛道的冠军以及Research赛道的亚军。这是AI第一次在《我的世界》中挖掘到钻石。该比赛由CMU, OpenAI, DeepMind, Microsoft Research等机构联合举办,是强化学习方向最负盛名的比赛之一。比赛自2019年起,每年在机器学习和计算神经科学领域顶级学术会议NeurIPS上举办,今年为第三届。该比赛近年来吸引了包括腾讯AI Lab,华为诺亚方舟,启元,清华,北大,中科院,香港中文大学,南洋理工大学,斯坦福大学,美国西北大学、德国比勒费尔德大学在内的众多工业界和学术界的相关研究人员。今年的比赛同样有来自海内外近60支队伍、超过400名研究人员同场竞技。

本届MineRL比赛划分为了Intro和Research两个赛道。与Research赛道注重高效地利用玩家数据,对训练数据表征、训练规模等方面进行了诸多的限制不同,Intro赛道更加贴近游戏AI开发中的真实场景,需要参赛者根据游戏特性设计针对性的算法,最大限度地提升AI的水平。

MineRL比赛要求参赛者在我的世界(MineCraft)游戏生存模式中,训练出一个能够从零开始收集各种资源、制作工具最后挖到钻石的智能体。该任务的主要难点有:

1. 巨大的动作空间和状态空间: 我的世界是一款3D开放世界游戏,智能体仅能依赖经过压缩处理的游戏画面以及背包中的部分物品数量信息来感知周围环境,能够执行的动作包括移动、攻击、视角调整、工具制作、装备切换、物品放置等所有玩家能够进行的操作,动作空间巨大。

2. 复杂的工具链:我的世界中存在庞杂的资源系统和物品合成体系,即使是仅为了获取钻石也需要智能体学会按顺序收集并制作各种所需的资源和物品。例如为了保证在挖到钻石前制作出铁镐,智能体必须学会在探索到地下深处时做好木棍、收集至少三块铁矿和一些燃料并在放置好的熔炉边烧制出所需的铁锭。

3. 长期规划能力:在MineRL环境中智能体能够与环境进行至多18000次交互,这就要求智能体能够具备长期规划的能力。例如智能体需要在游戏开始时就根据出生地周围环境,决定是否在收集完附近的木质资源后直接向地下探索矿物或是花费时间离开出生地寻找更多的木材以避免下矿后可能出现没有木头制作工具的尴尬。

4.数据集有限且不完美:主办方提供了可供AI学习的约200场人类玩家数据,数据集规模十分有限且并不是所有场次中的玩家最终都获得了钻石

在本次比赛中,在其他队伍更倾向于利用玩家数据集并使用层次化训练方法的氛围中,网易互娱AI Lab不破不立,另辟蹊径,在面对如此复杂的问题时,大胆放弃依赖主办方提供的人类数据,没有采用分层强化学习等被认为是解决该问题的一些关键技术,而采用端到端的纯强化学习方案,在自研的分布式强化学习框架中结合了自身在游戏AI领域积累的丰富工程实践经验,史无前例地训练出了能够从零开始获得钻石的Athena AI。Athena AI通过合理地约束有效动作,达到了对状态的搜索空间进行剪制的目的,使得AI在不使用分层策略的情况下依然能够高效地在巨大的状态空间中进行探索和学习。Athena AI的实现方案表明,即使是在多任务且任务之间有着复杂依赖关系的游戏场景内,单一的端到端模型的表现也是可以达到甚至超过精细设计的分层训练方式。在最终Intro赛道的结果中,来自网易互娱AI Lab的队伍WinOrGoHome以645.55分夺得冠军,在100场游戏中累计21场都成功挖到了钻石,超越第二名的队伍近50%的分数。

值得一提的是,作为智能AI系统,网易互娱AI Lab研发的Athena AI目前已经落地应用于网易互娱旗下的多款游戏,从竞技对战到平衡性测试,涵盖了多种类型的游戏,产生了巨大的技术价值。

网易互娱AI Lab成立于2017年,隶属于网易互动娱乐事业群,是游戏行业领先的人工智能实验室。AI Lab所提供的人工智能服务包括计算机视觉、自然语言处理、语音信号处理、游戏AI多个方面。目前技术已应用于网易互娱旗下多款热门游戏,如《梦幻西游》、《哈利波特:魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等等。

责任编辑:郭鹏_NO4657

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
太给力了!央视怒批“世袭制”,发出灵魂拷问:问题出在哪?

太给力了!央视怒批“世袭制”,发出灵魂拷问:问题出在哪?

杂谈哥闲谈
2024-04-09 22:15:07
“颜色革命”危机!阮富仲“托孤”中国,越南变不了天……

“颜色革命”危机!阮富仲“托孤”中国,越南变不了天……

占豪
2024-04-16 01:43:02
童话破灭! 亚裔混血美女嫁王子 被关宫殿当性奴 夜夜下药+划口子!

童话破灭! 亚裔混血美女嫁王子 被关宫殿当性奴 夜夜下药+划口子!

北国向锡安
2024-04-15 10:26:16
年满35岁老将场均得分榜:本季KD居首&库里第三 39岁老詹第4

年满35岁老将场均得分榜:本季KD居首&库里第三 39岁老詹第4

直播吧
2024-04-16 05:59:07
一个人想在社会上混得开,秘诀唯二:顺着人性做事,逆着人性做人

一个人想在社会上混得开,秘诀唯二:顺着人性做事,逆着人性做人

失语者云骧
2024-04-10 19:36:29
泰山队刚3比4惜败上港,俱乐部就火线官宣发文,事关崔康熙帅位

泰山队刚3比4惜败上港,俱乐部就火线官宣发文,事关崔康熙帅位

评球论事
2024-04-15 12:08:34
陕西检察长陈平疑案:死前喊冤,被枪毙后家属不能收尸,直接火化

陕西检察长陈平疑案:死前喊冤,被枪毙后家属不能收尸,直接火化

午夜故事会
2024-04-15 18:31:39
曼晚:发言人称加纳乔事件已进行内部处理;Scoop:俱乐部对加纳乔很快取消点赞表示欣慰

曼晚:发言人称加纳乔事件已进行内部处理;Scoop:俱乐部对加纳乔很快取消点赞表示欣慰

MUREDS
2024-04-15 23:05:25
马英九这次来大陆,带来了一个“秘密消息”,信号很明确

马英九这次来大陆,带来了一个“秘密消息”,信号很明确

三姐聊时闻
2024-04-16 00:47:46
亳州市委副书记查文彪拟任安徽省直单位正厅级领导职务

亳州市委副书记查文彪拟任安徽省直单位正厅级领导职务

澎湃新闻
2024-04-15 21:34:27
NBA上座人数破纪录!詹姆斯19亿流量联盟第一:库里第二文班第三

NBA上座人数破纪录!詹姆斯19亿流量联盟第一:库里第二文班第三

罗说NBA
2024-04-16 04:33:19
32岁处男花70元嫖娼,事后爱上卖淫女,为她花了5000块钱后杀了她

32岁处男花70元嫖娼,事后爱上卖淫女,为她花了5000块钱后杀了她

胖胖侃咖
2024-04-14 08:00:09
国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

曾经年少
2024-03-05 11:38:53
焦点对决!CBA1/4决赛对阵:辽宁vs深圳

焦点对决!CBA1/4决赛对阵:辽宁vs深圳

直播吧
2024-04-15 21:51:17
老人吐槽年轻人卧铺挂帘子没地坐,其身份被扒出,是个“惯犯”!

老人吐槽年轻人卧铺挂帘子没地坐,其身份被扒出,是个“惯犯”!

皖声微言
2024-04-15 22:01:46
曼城VS皇马:欧冠生死战,罗德里+B席坐镇,丁丁福登领衔攻击线

曼城VS皇马:欧冠生死战,罗德里+B席坐镇,丁丁福登领衔攻击线

零度眼看球
2024-04-15 22:18:24
苹果销量大跌!IDC:一季度iPhone全球出货量下降9.6%!中国激活量同比大跌20%,华为激增81%居第三

苹果销量大跌!IDC:一季度iPhone全球出货量下降9.6%!中国激活量同比大跌20%,华为激增81%居第三

和讯网
2024-04-15 11:29:14
1989年密谋爆炸天安门、颐和园和外国大使馆大案,武警战士被炸死

1989年密谋爆炸天安门、颐和园和外国大使馆大案,武警战士被炸死

拙言问史
2024-04-15 03:39:42
编造“秦朗丢作业”的网红被重罚,那核酸造假和马拉松造假呢?

编造“秦朗丢作业”的网红被重罚,那核酸造假和马拉松造假呢?

顾礼先生
2024-04-15 15:47:37
即日起,上海地铁所有车站服务中心均可受理外卡购买车票

即日起,上海地铁所有车站服务中心均可受理外卡购买车票

澎湃新闻
2024-04-15 18:48:27
2024-04-16 06:10:44
网易
网易
网聚人的力量
45文章数 12296关注度
往期回顾 全部

游戏要闻

MSI中韩参赛队伍确定,两大全华班携手出征!TES晋级GAM兴奋庆祝

头条要闻

以军总参谋长:伊朗对以色列的袭击“将得到回应”

头条要闻

以军总参谋长:伊朗对以色列的袭击“将得到回应”

体育要闻

英超历史罚点100%成功率球员中,帕尔默9罚9中仅次于亚亚-图雷

娱乐要闻

梁朝伟获影帝,击败林保怡引发质疑

财经要闻

涉嫌受贿已获刑?昔日顶流蔡嵩松回应

科技要闻

特斯拉吃老本,马斯克裁14000人,刚开始?

汽车要闻

刘涛:数字底盘和固态电池是智己大招

态度原创

家居
时尚
数码
房产
教育

家居要闻

一方一隅 让空间成为家的叙事者

春天裤子要精不要多,有这“4条”就够了,配针织衫、西装都好看

数码要闻

M4 Mac 预计从今年晚些时候开始按顺序上市

房产要闻

北京润府获预售证,均价6万/㎡

教育要闻

这真的是小升初的题目吗,也太难了,感觉高中的时候才做这题吧

无障碍浏览 进入关怀版