网易首页 > 网易号 > 正文 申请入驻

用魔法打败魔法!一个叫板顶级人类棋手的围棋AI输给了它的同类

0
分享至

机器之心报道

机器之心编辑部

AI:「我能战胜顶级人类玩家。」另一个 AI:「我玩不过人类,但我能战胜你。」

近几年,自我博弈中的强化学习已经在围棋、国际象棋等一系列游戏中取得了超人的表现。此外,自我博弈的理想化版本还收敛于纳什均衡。纳什均衡在博弈论中非常著名,该理论是由博弈论创始人,诺贝尔奖获得者约翰 · 纳什提出,即在一个博弈过程中,无论对方的策略选择如何,当事人一方都会选择某个确定的策略,则该策略被称作支配性策略。如果任意一位参与者在其他所有参与者的策略确定的情况下,其选择的策略是最优的,那么这个组合就被定义为纳什均衡。

之前就有研究表明,自我博弈中看似有效的连续控制策略也可以被对抗策略利用,这表明自我博弈可能并不像之前认为的那样强大。这就引出一个问题:对抗策略是攻克自我博弈的方法,还是自我博弈策略本身就能力不足?

为了回答这个问题,来自 MIT、 UC 伯克利等机构的研究者进行了一番研究,他们选择自我博弈比较擅长的领域进行,即围棋(Go)。具体而言,他们对公开可用的最强围棋 AI 系统 KataGo 进行攻击。针对一个固定的网络(冻结 KataGo),他们训练了一个端到端的对抗策略,仅用了训练 KataGo 时 0.3% 的计算,他们就获得了一个对抗性策略,并用该策略攻击 KataGo,在没有搜索的情况下,他们的策略对 KataGo 的攻击达到了 99% 的胜率,这与欧洲前 100 名围棋选手实力相当。而当 KataGo 使用足够的搜索接近超人的水平时,他们的胜率达到了 50%。至关重要的是,攻击者(本文指该研究学到的策略)并不能通过学习通用的围棋策略来取胜。

这里我们有必要说一下 KataGo,正如本文所说的,他们在撰写本文时,KataGo 还是最强大的公开围棋 AI 系统。在搜索的加持下,可以说 KataGo 非常强大,战胜了本身就是超人类的 ELF OpenGo 和 Leela Zero。现在该研究的攻击者战胜 KataGo,可以说是非常厉害了。

图 1:对抗策略打败了 KataGo 受害者。

  • 论文地址:https://arxiv.org/pdf/2211.00241.pdf
  • 研究主页:https://goattack.alignmentfund.org/adversarial-policy-katago?row=0#no_search-board

有趣的是,该研究提出的对抗策略无法战胜人类玩家,即使是业余选手也能大幅胜过所提模型。

攻击方法

KataGo、AlphaZero 等之前的方法通常是训练智能体自己玩游戏,游戏对手是智能体自己。而在 MIT、UC 伯克利等机构的这项研究中,攻击者(adversary)和固定受害者(victim)智能体之间进行博弈,利用这种方式训练攻击者。该研究希望训练攻击者利用与受害者智能体的博弈交互,而不只是模仿博弈对手。这个过程被称为「victim-play」。

在常规的自我博弈中,智能体通过从自己的策略网络中采样来建模对手的动作,这种方法的确适用于自我博弈。但在 victim-play 中,从攻击者的策略网络中建模受害者的方法就是错误的。为了解决这个问题,该研究提出了两类对抗型 MCTS(A-MCTS),包括:

  • A-MCTS-S:在 A-MCTS-S 中,研究者将攻击者的搜索过程设置如下:当受害者移动棋子时,从受害者策略网络中采样;当轮到攻击者移动棋子时,从攻击者策略网络中采样。
  • A-MCTS-R:由于 A-MCTS-S 低估了受害者的能力,该研究又提出了 A-MCTS-R,在 A-MCTS-R 树中的每个受害者节点上为受害者运行 MCTS。然而,这种变化增加了攻击者训练和推理的计算复杂性。

在训练过程中,该研究针对与 frozen KataGo 受害者的博弈来训练对抗策略。在没有搜索的情况下,攻击者与 KataGo 受害者的博弈可以实现 >99% 的胜率,这与欧洲前 100 名围棋选手的实力相当。此外,经过训练的攻击者在与受害者智能体博弈的 64 个回合中实现了超过 80% 的胜率,研究者估计其实力与最优秀的人类围棋棋手相当。

值得注意的是,这些游戏表明,该研究提出的对抗策略并不是完全在做博弈,而是通过欺骗 KataGo 在对攻击者有利的位置落子,以过早地结束游戏。事实上,尽管攻击者能够利用与最佳人类围棋选手相当的博弈策略,但它却很容易被人类业余爱好者击败。

为了测试攻击者与人类对弈的水平,该研究让论文一作 Tony Tong Wang 与攻击者模型实际对弈了一番。Wang 在该研究项目之前从未学习过围棋,但他还是以巨大的优势赢了攻击者模型。这表明该研究提出的对抗性策略虽然可以击败能战胜人类顶级玩家的 AI 模型,但它却无法击败人类玩家。这或许可以说明一些 AI 围棋模型是存在 bug 的。

评估结果

攻击受害者策略网络

首先,研究者对自身攻击方法对 KataGo (Wu, 2019) 的表现进行了评估,结果发现 A-MCTS-S 算法针对无搜索的 Latest(KataGo 的最新网络)实现了 99% 以上的胜率。

如下图 3 所示,研究者评估了自身对抗策略对 Initial 和 Latest 策略网络的表现。他们发现在大部分训练过程中,自身攻击者对两个受害者均取得很高的胜率(高于 90%)。但是随着时间推移,攻击者对 Latest 过拟合,对 Initial 的胜率也下降到 20% 左右。

研究者还评估了对 Latest 的最佳对抗策略检查点,取得了超过 99% 的胜率。并且,如此高的胜率是在对抗策略仅训练 3.4 × 10^7 个时间步长的情况下实现的,这一数据是受害者时间步长的 0.3%。

迁移到有搜索的受害者

研究者将对抗策略成功地迁移到了低搜索机制上,并评估了上一节训练的对抗策略对有搜索 Latest 的能力。如下图 4a 所示,他们发现在 32 个受害者回合时,A-MCTS-S 对受害者的胜率下降到了 80%。但这里,受害者在训练与推理时都没有搜索。

此外,研究者还测试了 A-MCTS-R,并发现它的表现更好,在 32 个受害者回合时对 Latest 取得了超过 99% 的胜率,但在 128 个回合时胜率下降到 10% 以下。

在图 4b 中,研究者展示了当攻击者来到 4096 个回合时,A-MCTS-S 对 Latest 最高取得了 54% 的胜率。这与 A-MCTS-R 在 200 个回合时的表现非常相似,后者取得了 49% 的胜率。

其他评估

如下图 9 所示,研究者发现,尽管 Latest 是一个更强大的智能体,但针对 Latest 训练的攻击者在对抗 Latest 时要比 Initial 表现更好。

最后,研究者探讨了攻击原理,包括受害者的 value 预测和硬编码防御评估。如下图 5 所示,所有的基线攻击都要比他们训练的对抗策略表现差得多。

更多技术细节请参阅原论文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
前田大然谈留起头发:女儿说不喜欢光头,喜欢南野拓实那样的

前田大然谈留起头发:女儿说不喜欢光头,喜欢南野拓实那样的

懂球帝
2024-03-18 22:56:23
马航冤魂通灵实录:马航MH370消失10年,美国巫医召唤死者找出真相

马航冤魂通灵实录:马航MH370消失10年,美国巫医召唤死者找出真相

古今档案
2024-03-03 18:59:58
学习诈骗套路后为打响知名度“收徒”,男子竟将作案过程直播

学习诈骗套路后为打响知名度“收徒”,男子竟将作案过程直播

澎湃新闻
2024-03-19 11:40:41
电视台的朋友,发不出工资了:落毛的凤凰不如鸡!

电视台的朋友,发不出工资了:落毛的凤凰不如鸡!

小虎新车推荐员
2024-03-18 11:59:59
勇士垫脚尼克斯领袖,依旧不敌尼克斯,湖人大胜老鹰重返西部第9

勇士垫脚尼克斯领袖,依旧不敌尼克斯,湖人大胜老鹰重返西部第9

阿雄侃篮球
2024-03-19 14:39:18
中国人为什么活得很累?旅居美国8年的中国人,说出了真相

中国人为什么活得很累?旅居美国8年的中国人,说出了真相

爆角追踪
2024-03-18 13:14:10
后悔莫及!邯郸被害初中生父亲曾有两次机会救儿子,但他都错过了

后悔莫及!邯郸被害初中生父亲曾有两次机会救儿子,但他都错过了

独眼老李
2024-03-15 18:52:40
为什么领导讨厌40岁以上的中年人?不是因为年龄大,而是偷奸耍滑

为什么领导讨厌40岁以上的中年人?不是因为年龄大,而是偷奸耍滑

李舟
2024-03-18 14:15:13
性生活互吻私处,真的健康吗?

性生活互吻私处,真的健康吗?

徐海洋的历史故事
2024-02-19 14:43:47
凯特王妃最新消息:健康快乐现身!网友:隐身闭麦原因浮出水面

凯特王妃最新消息:健康快乐现身!网友:隐身闭麦原因浮出水面

小寒嫣语
2024-03-18 19:59:08
震惊!3月饮用水周销量统计:娃哈哈销量2500万瓶,农夫75万瓶!

震惊!3月饮用水周销量统计:娃哈哈销量2500万瓶,农夫75万瓶!

杂谈哥闲谈
2024-03-19 12:38:54
泽连斯基:权力让普京痴迷,所以他必须在海牙接受审判

泽连斯基:权力让普京痴迷,所以他必须在海牙接受审判

桂系007
2024-03-18 07:14:03
谁有他牛啊!生涯8年,0次全明星,0次最佳阵容,照样值3亿大合同

谁有他牛啊!生涯8年,0次全明星,0次最佳阵容,照样值3亿大合同

球毛鬼胎
2024-03-18 19:36:22
为什么医保报销比例高达80%,百姓却仍呼‘看不起病’

为什么医保报销比例高达80%,百姓却仍呼‘看不起病’

前沿科技学习分享圈
2024-03-18 11:37:51
阿森纳看上当世超级神锋 战斗力堪比姆巴佩 报价1亿欧元 谨防截胡

阿森纳看上当世超级神锋 战斗力堪比姆巴佩 报价1亿欧元 谨防截胡

零度眼看球
2024-03-18 21:54:36
我在印度独资公司中国分公司工作了超过10年,感觉印度人很有特点

我在印度独资公司中国分公司工作了超过10年,感觉印度人很有特点

南瓜观点
2024-03-17 19:46:14
四十年来,美国为何没能遏制住中国崛起?深入分析三大深层原因

四十年来,美国为何没能遏制住中国崛起?深入分析三大深层原因

阿胡
2024-03-17 13:56:12
1947年,毛主席去寺庙游玩,寺僧劝他:其他皆可,唯独黄河不可游

1947年,毛主席去寺庙游玩,寺僧劝他:其他皆可,唯独黄河不可游

百年历史老号
2024-03-11 12:50:28
邯郸初中生案新突破,尸体解剖口鼻有大量积液,父亲态度让人揪心

邯郸初中生案新突破,尸体解剖口鼻有大量积液,父亲态度让人揪心

非一样的感觉
2024-03-19 12:50:58
汪小菲保姆开直播带货,年薪30万多次打脸大s,回答网友隐私问题

汪小菲保姆开直播带货,年薪30万多次打脸大s,回答网友隐私问题

爱永不改变
2024-03-19 10:55:46
2024-03-19 15:00:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
8805文章数 141860关注度
往期回顾 全部

科技要闻

1块顶上代5块!英伟达新王牌让世界用上AI?

头条要闻

小米回应"测试车高速逃费":未恶意逃费、未违规掉头

头条要闻

小米回应"测试车高速逃费":未恶意逃费、未违规掉头

体育要闻

温水煮青蛙,最后发现自己才是那只蛙

娱乐要闻

李惠利发声道歉!柳俊烈劈腿确凿

财经要闻

"围猎"三丰智能:合作方可能无实际业务?

汽车要闻

新能源车自燃率更低?院士9个数据错8个

态度原创

教育
游戏
时尚
亲子
家居

教育要闻

自然拼读巧记单词,de组合发音规律

一个激活码炒到上千,这款百万人期待的游戏,怀旧服要来了?

想要提高穿衣品味的中年女人,看看这位博主穿搭,简约高级

亲子要闻

在带娃的心路历程中,什么才是最重要的?

家居要闻

灵动笔触,凝固慢煮时光

无障碍浏览 进入关怀版