Nature Video:AI的《星际争霸II》宗师之路

科技工作者之家 2019-11-29

来源:Nature自然科研




DeepMind的人工智能研究员已经拿下了游戏Pong、国际象棋和围棋,但还有一类游戏,层次完全不同。


《星际争霸2》,是有史以来最复杂的电子游戏之一。它是一种实时战略类游戏:它不是回合制,并且手速要快。显然,使用我们热爱的人工智能技术(比如神经网络和深度强化学习等等)对我们来说是一个很有难度的挑战。”Oriol Vinyals,AlphaStar项目的首席研究员,解释了AlphaStar是怎么玩《星际争霸2》的:


AlphaStar是一个会玩《星际争霸2》的人工智能系统。这个游戏的第一个不同之处在于,你看不到对方盘面上发生了什么,这就是所谓的不完全信息——这是国际象棋和围棋里面都不存在的关键挑战;


另一个主要区别在于《星际争霸》里的棋子(术语叫“单位”),是在整个游戏过程中造出来的。所以开局的时候只有寥寥几个单位,你要决定投入哪些棋子创造接下来的单位。这很重要:因为你同时需要在信息不完整的情况下,反击你认为对方正考虑使用的棋子或单位。


AlphaStar的第一步是要预测人类玩家会点击哪里,最可能走哪一步,因此AlphaStar本质上是在从游戏中收集信息,比如所有单位的位置。


这些数据不会被输入某个程序,而是输入被称为神经网络的数学结构,这个神经网络负责处理所有这些信息。


我们的代码中不会直接写明该怎么处理,全靠它自学。首先是模仿学习:尝试模仿人类行动;之后是在AlphaStar联赛中进行自我对战;在处理完数据之后,它就学习了一个多层结构的行为算法,在多层结构的顶端能算出一个行动,然后发回给游戏。这个行动可能是造一个工人、派他去侦察、把镜头移动到这里——这就是AlphaStar的本质,平均每20毫秒,你看到的每个动作都是这个神经网络的计算结果。


2019年1月,AlphaStar在特定测试条件下战胜了两名职业玩家。但是人们想看看它是否能达到宗师级水平,这意味着在完整游戏中击败最强的玩家们。关键在于,人类在玩这个游戏的时候很有创造力,所以当我们派这些智能体上线时,它遇到了各种我们根本设计不出来的创新策略。


我们开始的第一场比赛,对手显然是个陌生人。整场比赛都很激动人心,也让人类玩家体会到与如此强大的AI对战是一种怎样的感受。


AlphaStar提升自我的方式包括与自己对战、与一群人类玩家对战,最关键的则是和其他人工智能体对战。我们有一个智能体联赛,把这些智能体放进去互相对战。不过比之前的做法大概要先进一些。这可能也是过去几个月研究进展最快的地方。


我们发现,只让一个智能体打赢自己和过去版本的自己是不够的,很重要的是,得有一些智能体去寻找主智能体的弱点,我们把这些智能体叫做“开发者”。


打个比方,就好像是让你朋友来击败你现在的战术,能打败你的战术可能在一般比赛里不会很强,但和它对战肯定能帮你成为一个更好的玩家。围绕这个核心想法以及项目在模仿学习和强化学习方面取得的进展,我们就造出了一个可以在《星际争霸2》中打出宗师水平的人工智能体。


事实上,我在90年代很认真地玩过《星际争霸》,当时还是一代游戏。有点可惜的是我等了很久才等到和AlphaStar对战。组里的人都跟我说,Oriol你该打一把。后来我决定和它玩一局,可那时候的智能体已经强到我根本打不赢了,所以我错过了能打败智能体的窗口期。


AlphaStar已经跻身《星际争霸2》欧洲前200名玩家之列,这里是指完整版的游戏,并且三个种族都有玩。


我们并不是想拿下《星际争霸》这个游戏,我们是想利用《星际争霸》来推进AI研究,并增强其他领域中所用到的人工智能,比如强化AI的鲁棒性、向专家模仿学习的能力,以及我们认为很重要的其他能力。


《星际争霸》是我们迄今尝试过的最复杂的电子游戏,想在现实世界中获得成功可能没这么简单。电子游戏能很快为AI提供数据点,让它熟练完成挑战,但不是所有问题都能提供如此准确的反馈。将AI融入日常生活会是一场更加持久的战斗。


来源:Nature-Research Nature自然科研

原文链接:http://mp.weixin.qq.com/s?__biz=MzAwNTAyMDY0MQ==&mid=2652565681&idx=2&sn=7cef1e0572b96d840dd143cc7b245561&chksm=80cd5e3fb7bad729ead7bde14205a539a97fdc90b56826227f0d9e60be50798256bca5907a09&scene=27#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

星际争霸

推荐资讯