本篇文章给大家谈谈揭晓：击败Dendi的《刀塔2》AI背后的集训细节及诞生历程，以及对应的姿势点，文章也许有点长，然而希望大家可以阅读完，增长自己的姿势，最重要的是希望对各位有所帮助，可以化解了无论兄弟们的难题，不要忘了收藏本站喔。

导读：上个周末的Dota2人机大战引起了很多讨论，(可以查看大数据文摘文章《Dota2获胜的AI比AlphaGo最牛？还是媒体和马斯克的联合炒作》回顾剧情)。很多人都期待着打败人类极致高手Dendi的OpenAI团队可以公开更多技术细节。今天他们终于满足了玩家和研究者的标准，更新博客的同时还公开了AI打败另外多少人类高手的精妙视频。

对于DOTA2人工智能训练的结局表明，如果计算够充分，自我对练可以将机器进修体系的性能从远低于人类的水平推给超越人类。 在壹个月的时刻里，人工智能体系从几乎不敌高排行选手到击败极致职业选手，并还在提高中。有监督的深度进修体系最多达到跟训练数据集同等的程度，但在自我对练体系中，随着代理程序越来越好，可用的数据水平自动提高。

TrueSkill评级（类似于国际象棋中的ELO评级）通过模拟机器人之间的比赛和观察胜率的计算，对最好的DOTA机器人进行了长时刻的记录。从添加新特征并改进到算法到特征缩放，体系的每个部分都有改进。更令人惊讶的是，提高的图形呈线性，意味着随着时刻的推移可以指数级地改善这个体系。

项目的时刻表如下：从某种角度看，15％的玩家低于1.5K MMR; 58％的玩家低于3k; 99.99％低于7.5k。

• 3月1日：完成第壹个典范强化进修，在壹个简单的DOTA环境中，让Drow Ranger（卓尔游侠）可以进修风筝壹个硬编码的Earthshaker（撼地神牛）。

• 5月8日：1.5k MMR测试员说他的速度比机器人要快。

• 6月初：击败1.5k MMR测试员。

• 6月30日：和3k MMR测试员的对抗中，赢得大多数比赛。

• 7月8日：几乎赢得全部和7.5K MMR半专业测试员的比赛。

• 8月7日：击败Blitz（6.2k前职业）3-0，Pajkatt（8.5k pro）2-1，CC＆C（8.9k pro）3-0。 全部人都说，Sumail总能找到击败他们的方式。

• 8月9日：击败Arteezy（10k pro，极致选手）10-0。 他说Sumail可以搞定这个机器人。

• 8月10日：击败Sumail（8.3k职业，极致1对1选手）6-0，他说机器人是“无和伦比”的。而8月9日的比赛，得分为2-1。

• 8月11日：击败Dendi（7.3k职业，前全球冠军，老玩家的最爱）2-0。 和八月十号机器人相比，这个机器人有60％的胜率。

机器人对抗SumaiL.（视频链接：https://youtu.be/IbaHI38Ewws）

任务

完整的比赛是5v5，但一些锦标赛也会出现1v1的情况。 机器人遵守标准的锦标赛制度——并没有将AI特有的简化添加到1对1中。

机器人在如下界面上进行操作：

• 观察：机器人的 API特征，英雄、小兵、信使以及任务附近的地形，被设计为和人类可以看到的相同。 而且机器人的视野也和人类相同。

• 操作：机器人 API可访问的操作，也和人类相似，包括移动到某个位置，攻击某个单位或运用某个道具。

• 反馈：机器人以赢得基本的参数作为奖励，如健壮和最后命中。

大家把机器人可以运用的几十个项目列入白名单，并从中选择壹个进行评估。 还运用传统的RL技术单独训练初始小兵模块，这个时候大家假设对手还没有出现。

机器人对战Arteezy。（视频链接https://youtu.be/rNSH8CviQQw）

备战国际邀请赛

训练这个机器人的方式，是结合少量的“教练”和自我对练，这样可以大大改善代理在国际邀请赛上星期一和星期四之间的表现。 星期一晚上，Pajkatt通过运用不寻常的出装方法（购买早期魔术棒）获胜。 大家就将这个行为添加到训练的白名单中。

星期三下午1点左右，新鲜的机器人得到了测试。 机器人在第一波小兵中失去了大量生活值。 大家认为也许需要关掉规划，但接下来的游戏让大家改变了这个看法，这个机器人第一波的行为是诱使其他机器人对其进行攻击。 进一步的自我对抗化解了这个难题，由于机器人学会了抵制诱饵策略。 同时，研究者将它和星期一的机器人拼接在一起，仅用于第一波小兵中，并在Arteezy下午四点出现之前的二特别钟完成了这个经过。

在和Arteezy比赛之后，研究人员更新了蠕变块模型，这增加了壹个点的TrueSkill评分。 在星期四和Sumail比赛之前的进一步训练中，TrueSkill评分又增加了两个点。 Surmail指出，机器人已经学会了将暴牙扔出敌人的视野。 这是由于大家不了解的策略：这样可以防止敌人获取魔杖。

Arteezy也和7.5k半专业测试员打了一场比赛，在这场比赛中 Arteezy获取了胜利，然而测试人员仍然对他从机器人那里学到的策略感到惊讶。 Arteezy后来表示，这一个帕帕拉齐曾经用过一次的策略，并不常见。

Pajkatt和星期一的机器人打了一场。 请注意，他诱骗机器人进行和他交战，并运用再生（精灵之火和魔术棒）来治愈。 在一次遭遇战中，机器人通常特别善于决定谁将赢得一场战斗，然而从来没有和在早期就拥有魔杖的人玩过。

（视频链接：https://youtu.be/BBUiwCEmrxU）

机器人的短板

虽然Sumail称机器人是“无和伦比的”，但在壹个它从来没有见过的环境下，机器人仍然也许犯晕。 研究人员在国际的网络中中部署了机器人，选手们可以通过任何方式来打败机器人。

成功者可以分为三种类型：

• 拖拉小兵：当小兵的通过二级和三级塔之间时，可以通过反复攻击它们，吸引它们追逐你。 最终会在地图上会有数十个小兵追逐你，而机器人则会由于塔磨损了太多血量而死亡。

• 毒球+风杖：这使得你会拥有壹个比1级机器人大得多的移动速度优势，并能通过这个战略获取第一滴血。

• 1级交战：这需要很多诀窍，然而多少6-7k的MMR玩家能够在短时刻内成功击中机器人3-5下，从而在1级杀死机器人。

化解这些1对1的难题类似于修复Pajkatt漏洞。 然而对于5对5来说，这样的难题根本就不是漏洞，大家需要壹个可以处理各种独特情况的体系。

基础框架

研究团队的重点是首先化解5v5难题。该项目的第一步是弄清楚怎样在物理GPU上运行云上的DOTA2。 该游戏在GPU云实例上经常出现错误消息。 然而，当在Greg的个人GPU桌面（就是展示会上的台式机）上启动它时，大家注意到Dota在显示器插入时启动，但在拔下电源时发出了相同的错误消息。 因此研究团队配置了他们的云GPU实例，假装那里连接着壹个真的显示器。

DOTA当时不支持自定义专用服务器，这意味着想要可拓展运行又没有GPU的话，只有运用特别慢的软件渲染。 接着，大家创建了壹个垫片来存储大多数的OpenGL调用 (除了需要引导的调用)。

同时，大家写了壹个脚本机器人 —— 大家需要壹个基准来进行相对（特别是由于内置机器人在1v1上不能很好的职业），而且了解了bot API的全部语义(https://developer.valvesoftware.com/wiki/Dota_Bot_Scripting)。 脚本式机器人在空路上达到了特别钟70次补刀的成绩，但这仍然输给了任何壹个正常的人类。 当前最好的1v1机器人可以达到特别钟97次补刀，学说上的最大值是101。（视频链接：https://youtu.be/1SjcXSgeOPg）

5v5

1对1已经颇繁杂，而5对5可以说是各种复杂难题的聚合体。为了化解这个难题，大家需要进一步提高AI的极点。

行为克隆也许一个不错的起点。 DOTA每天有大约一百万场公开赛。 这些比赛的视频被存储在Valve的服务器上两周。 自从去年11月以来，研究人员一直在下载每个专家级别的视频，而且已经收集了5.8M场游戏的数据集（每个游戏和10个人约45分钟）。 他们运用OpenDota来挖掘这些视频，并花费了12，000美元（10年的筹款目标）来支持该项目。