OpenAI和5x5格式的人之间的Dota 2匹配的详细分析。 人们迷路了



昨天,8月5日,在旧金山,人们与Dota 2学科的OpenAI机器人进行了一场表演比赛,早在2017年,作为The International 2017表演比赛的一部分,人们以“ 1x1 mirror mid”格式和整个范围与OpenAI进行了战斗对机器人的限制(禁止使用多种物品和机械手),最终导致职业中级玩家的失败。

由于Dota 2是一门极为通用且困难的学科,因此人们与AI之间的会议又受到了一些限制,但这并没有太大地影响游戏玩法:

  • 18位随机草稿模式中的英雄(斧头,水晶少女,死亡先知,撼地者,旋翼机,巫妖,狮子,瘟疫法师,痛苦女王,剃刀,力克,暗影恶魔,斯拉克,狙击手,斯文,潮汐猎人,毒蛇或女巫)医生);
  • 没有神剑,酒瓶;
  • 没有受到控制的生物和幻想;
  • 与五个快递员搭配(不能进行侦查和装箱);
  • 无需使用扫描。

最严重的限制是:双方的英雄池都非常少。 现在在Dota 2中有115个角色,具有各种功能和应用程序的技巧。 到目前为止,OpenAI只能控制其中的18个。 会议尽可能接近“真实”条件,以5x5格式举行。 过去,普通人曾经与AI对抗,但现在他们不是电子竞技者。 人们唯一的让步是, 机器人响应被限制在200毫秒内 ,以避免出现按钮被立即“挤压”的情况。 最重要的是: AI团队以2-0的比分击败了人们 。 根据OpenAI的估计,只有在观众选择了AI的英雄(Slark,Sven,Ax,Riki和Pain of Pain)之后,才有可能与OpenAI对抗。 此外,在主要比赛开始之前,活动的普通宾客可以玩机器人,并且在这些会议中,人工智能的主导地位更加明显,这一点令人印象深刻。

为什么这么重要


OpenAI是一个非营利性项目,但是,它是知名且有影响力的人。 该项目由Ilon Musk, Sam Altman于2015年创立,赞助商是Peter ThielJessica Livingston 。 Dota 2不是OpenAI项目团队的唯一活动。 如果您查看该项目的官方网站上的“研究”部分 ,您会发现OpenAI正在积极致力于为机器人技术创建AI。

但是,如果该项目的创始人是如此有影响力,那么您为什么选择电脑游戏呢? 学习AI在动态变化的条件下工作是一项艰巨的任务。 当前的AI和自动驾驶模型仅在严格定义的条件下运行,它们的训练需要数百万种事件和因素的不同组合,以便机器人不仅可以按照预定义的模式进行操作,还可以开始分析正在发生的事情并根据情况进行决策。 从许多角度来看,选择Dota 2作为学习AI的平台并为此学科创建机器人已证明是有用的:

  • 电子竞技是高度媒体友好的;
  • 这是练习AI训练方法的安全平台;
  • Dota 2游戏机制的巨大可变性提供了几乎无限数量的训练场景;
  • 开放获取实况游戏记录可为分析提供无尽的数据。

临时清单上的最后一项可能是最重要的。 所有AI培训系统的问题之一是创建可以在其上培训系统的相关样本。 现场玩家每天绝对免费生成数百万个免费游戏记录,研究人员只能选择具有相关字符集的比赛。 结果令人印象深刻。

8月5日发生了什么


最常见的是,计算机游戏中的机器人是呆板的,脚本化的胸部或反应不人道的无敌怪物。 例如,CS 1.6的“疯狂”机器人, 在掉头跳高时用a弹枪在50多米的距离处将其头部杀死。 为了实现游戏AI的逼真但同时有效的行为,开发人员数十年来一直没有能力,这在开放世界游戏中尤为明显。 实际上,这已成为在线学科普及的原因。

在2017年以“ 1x1镜像”格式进行比赛之后,OpenAI团队表示,下一个目标是成熟的5x5游戏。 他们几乎设法实现了自己的目标:期望机器人在队长模式下能够管理和分析所有115个角色的协同作用的能力是愚蠢的,但是已经有18位英雄了-这很多。 以下是18位英雄的5x5(10个字符)峰值的选项计算:

$ C_ {18} ^ {10} = \ frac {18!} {10! \ cdot(18-10)!} = \ frac {18!} {10! \ cdot 8!} = \ frac {11 \ cdot 12 \ cdot 13 \ cdot ... \ cdot 16 \ cdot 17 \ cdot 18} {1 \ cdot 2 \ cdot 3 \ cdot ... \ cdot 6 \ cdot 7 \ cdot 8} = 43758 $



这是我们获得的115个字符的选项数量:

$ C_ {115} ^ {10} = \ frac {115!} {10! \ cdot(115-10)!} = \ frac {115!} {10! \ \ cdot 105!} = \ frac {106 \ cdot 107 \ cdot 108 \ cdot ... \ cdot 113 \ cdot 114 \ cdot 115} {1 \ cdot 2 \ cdot 3 \ cdot ... \ cdot 8 \ cdot 9 \ cdot 10} = 74540394223878 $


是的,有74.5万亿个组合! 显然,为了应对这种变化并在OpenAI池中包含所有115个字符,需要一个成熟的自学习AI,而我们还没有。 此外,计算不考虑角色的能力(每个角色从4到6个“按钮”,不包括调用者),能力的类型(主动,被动,定向,无方向,指向点的AoE),数十个对象,对象的主动效果,修饰符依此类推。

但是,即使对于我们的18个字符的迷你池,也完成了大量工作。

您可以在下面评估OpenAI机器人在对人游戏中的表现:


机器人与众不同之处


对于那些懒得用Twitch观看5个多小时的录制的人,我们将简要说明OpenAI Five机器人团队的行为与普通人相比如何引人注目。

值得一提的是,AI在角色草稿阶段就想到了这一点,即AI根据其不完整的数据计算了赢得特定角色组合的机会。 同时,OpenAI根据草稿报告了其获胜的预计百分比。 根据AI的说法,有时达到了95%。

整个OpenAI Five游戏可以在社区中用“扼杀”来形容。 是的,根据感觉,机器人实际上是“勒死”了某些线条,没有任何first悔或恐惧,他们在比赛的第一分钟就进入了塔楼,以便派遣人类玩家在基地的喷泉下休息。 在下面的剪辑中可以看到一些要点(视频名称与现实不符):


除了在游戏初期无畏(无礼)和有组织的工作外,这些机器人还注意到他们自己对Dota 2的机制的理解。游戏的目的:打破机器人专注的敌人的主要结构。 因此,有3-4个AI角色不断地打破人类对手的塔楼,熟练地“加油”塔楼,以挽救自己的小兵并迅速摧毁建筑物。 此外,这些机器人还因其非标准使用的病房而闻名,这些病房也为它们装了塔。 结果,在其中一场与活动嘉宾一起玩的游戏中,机器人已经在9分钟进入了敌人的基地(即使在15至18分钟到达敌人的基地也被认为是非常早的时机)。

此外,机器人可以有效地在彼此之间重新分配经验,避免缩水4-5个角色,在计算伤害时表现出众(在进行最后一击时,机器人没有继续追赶目标,清楚地意识到有足够的伤害可以杀死)并积极使用了一些物品。

细心的观众会注意到视频并根据不完整的数据做出决定(使用“战争迷雾”中的AoE技能),做出非标准的决定(成功地使用传送式滚动而不是试图逃脱两次),进入后方并在森林中阻挡敌人并进行协调最危险的人类对手的焦点。

为了证明人类的正当性,可以说人类玩家并没有表现出很高的游戏水准,在角色选择方面受到限制,并且犯了许多错误,但是这种AI在短短1年的发展中就令人印象深刻。

我们很有可能会看到另一场比赛,这一次是在2018年国际邀请赛(将于8月20日至25日举行)上,比赛明显比AI强。 但是,OpenAI Five可能会使我们感到惊讶。

Source: https://habr.com/ru/post/zh-CN419407/


All Articles