愚弄军事人工智能的危险放心

AI战争开始在美国和中国的战略中占主导地位,但是技术是否已为此做好准备?




去年三月,中国研究人员宣布了他们打算对美国最有价值的技术资产之一-特斯拉电动汽车发动一次精彩的,有破坏性的攻击。

中国科技巨头腾讯安全实验室的一个团队展示了几种欺骗特斯拉AI算法的方法。 通过稍微改变进入汽车传感器的数据,研究人员设法使驾驶汽车的AI感到困惑。

在一种情况下,电视屏幕上存在一个隐藏图案,使刮水器工作。
在另一种情况下,对道路上的标记进行了些许更改,以使自动驾驶系统感到困惑,然后自动驾驶系统将汽车移至相邻车道。

特斯拉算法通常会在挡风玻璃上或遵循道路标记上滴下雨滴,做得很出色,但是它们的工作原理与人类的感知根本不同。 因此,如果您知道深度学习算法的弱点,就会变得异常容易(在面部识别和癌症诊断等领域迅速流行)。

似乎在对特斯拉汽车的困惑中,对美国没有任何战略威胁。 但是,如果使用类似的技术来欺骗战机或分析卫星图像的软件,使它看到图像中没有的物体,或者看不到它的真实含义,该怎么办?

人工智能的积累


在全世界,人工智能已经被认为是获得重大军事优势的下一步。

今年,美国宣布实施一项战略,将人工智能用于许多军事领域,包括数据分析,决策,自动驾驶,物流和武器。 国防部要求的2020年的7,180亿美元中,有9.27亿美元将用于AI和机器学习。 在现有项目中,既有无聊的项目(检查AI是否可以预测维修坦克和卡车的需求),又有军备领域最先进的项目(无人机群)。

五角大楼主张使用AI,尤其是因为担心其对手可能会使用AI技术。 去年,担任国防部长的吉姆·马蒂斯(Jim Mattis)向唐纳德·特朗普总统发送了备忘录,警告美国在人工智能问题上已经落伍了。 他的焦虑可以理解。

2017年7月,中国公布了人工智能战略,称“世界上最大的发达国家接受人工智能发展作为提高竞争地位和保护国家安全的主要战略。” 几个月后,俄罗斯总统弗拉基米尔·普京(Vladimir Putin)做出了以下预测:“成为AI领导者的任何人都将统治世界” [ 这是原始文章引用的段落的直译。 但是,正如经常发生的那样,报价是失真的。 她听起来像是 :“如果有人可以确保在人工智能领域的垄断,那么我们都知道后果-他将成为世界的统治者”。 佩雷夫 ]。

可以理解制造最智能,最致命武器的愿望,但是,正如特斯拉的骇客所显示的那样,知道AI算法原理的敌人可以抵制它,甚至将其推向拥有者。 赢得AI战争的秘诀可能不是制造最令人印象深刻的武器,而是掌握诡诈软件欺骗的艺术。

战斗机器人


在去年夏天华盛顿特区的一个阳光明媚的晴天,迈克尔·卡纳安(Michael Canaan)坐在五角大楼的咖啡馆里,吃了一个三明治,并对新的强大的机器学习算法感到惊讶。

几周前,卡纳恩(Kanaan)观看了一个视频游戏,其中五个AI算法协同工作,并且在一场比赛中几乎击败并击败了五个人,他们需要控制散布在大型复杂战场上的部队,营地和资源。 然而,卡纳南(Kanaan)在描述发生了什么时皱着眉头皱着眉头。 这是他所见过的所有AI战略中最令人印象深刻的展示-AI的意外跳动,类似于国际象棋,Atari游戏等中的情况。

这些战斗是在Dota 2中进行的,Dota 2是一种流行的NF视频游戏,对于计算机而言仍然非常复杂。 团队必须在比任何棋盘游戏更复杂,更危险的环境中攻击敌人的营地,以捍卫自己的领地。 玩家只能看到整个领域的一小部分,可能需要大约半小时才能确定自己的策略是否获胜。

在AI控制下的对手不是由军方开发的,而是由OpenAI创立的。OpenAI的创建是为了由硅谷知名人士,包括Elon Mask和Sam Altman进行AI领域的基础研究。 这些算法勇士称为OpenAI Five,他们制定了自己的获胜策略,孜孜不倦地练习游戏,并使用证明是最好的招式。

这种软件使Canaan感兴趣,Canaan是必须使用AI来使美军现代化的人之一。 从他的角度来看,该软件借助AI领域的世界一流研究人员的帮助,展示了军队将获得的优势。 但是,他们是否准备好提供它-这个问题变得更加尖锐。

卡纳恩(Kanaan)领导了美国空军Maven项目,这是一项军事计划,旨在使用AI自动识别航空照片中的物体。 谷歌是该项目的承包商,当公司的一些员工在2018年得知此事后,公司决定放弃该项目。 此后,该公司发布了使用AI的规则,其中写道Google不会使用其AI来开发“武器或其他技术或主要技术或实现方法会造成人员伤害的技术”。

紧随其后的是其他大型科技公司的员工,谷歌要求雇主不要签订军事合同。 许多杰出的AI研究人员支持组织全面禁止全自动武器的尝试。

但是,对于卡纳南人来说,如果军方不能与研究人员合作(例如开发OpenAI Five的人员)将是一个大问题。 对手获得这种先进技术的前景似乎更加令人不快。 他说:“该代码是在公共领域,每个人都可以使用它。” 他补充说:战争比电子游戏要复杂得多。”



人工智能浪潮


卡纳安(Kanaan)如此强调了人工智能的问题,特别是因为他亲眼知道它对军事有多大用处。 六年前,他曾担任美国空军在阿富汗的情报官员,并负责部署一种新的情报收集设备:高光谱分析仪。 该工具可以发现普通视线中看不见的物体,例如装满迷彩织物的坦克或非法爆炸工厂的排放物。 卡纳南说,这一系统使军方可以从战场上清除数千公斤的炸药。 而且,通常,分析人员实际上仍无法分析分析仪收集的大量数据。 他说:“我们花太多时间在查看数据上,而花在制定决策上的时间却很少。” “有时它拖累了太多,以至于我们开始考虑是否可以挽救更多的生命。”

多伦多大学的一个团队在乔弗里·欣顿(Joffrey Hinton)的领导下,在计算机视觉领域取得了突破,可以找到该解决方案。 科学家表明,受多层神经网络启发的算法可以为对象提供足够的数据和计算能力,从而以前所未有的精度识别对象。

学习神经网络意味着它将接收数据,例如图像像素,并将对其进行处理,并使用数学技术不断更改网络中的内部连接,从而使输出尽可能接近特定结果,例如确定是否对象的图像。 随着时间的流逝,这些深度学习神经网络将学会从像素中识别出指示例如人或家的图案。 深度学习的突破催生了当前的AI繁荣。 该技术是用于Tesla和OpenAI算法的独立系统的基础。

卡纳南立即意识到进行深度学习以处理各种类型的图像和传感器数据以进行军事行动的潜力。 他和他的空军同事很快开始鼓动政府对这项技术进行投资。 他们的努力为五角大楼的AI发展计划做出了贡献。

然而,在深度学习进入AI领域后不久,研究人员发现使它成为如此强大工具的相同属性也是其致命弱点。

如果可以计算如何调整网络参数,以便正确地对对象进行分类,则可以计算出图像中的最小变化会导致网络出错。 在此类“竞争性示例”中,仅更改图像的几个像素后,对于一个人来说,它看起来是相同的,但是AI算法以完全不同的方式感知它。 无论在使用深度学习的任何地方(例如,在管理机器人车辆,计划任务或检测网络黑客攻击中),都会出现此问题。

在军事上使用AI的所有这种积极增长中,很少有人注意到软件中的神秘漏洞。

移动目标


一个值得注意的对象说明了竞争性机器学习的全部功能。 这是一个错误的图像。

这对我或您来说似乎很正常,但是她将一架无人机或具有一定机器视觉算法的机器人看作是一门枪,这些机器人是通过深度训练获得的。 实际上,可以重做龟甲上的标记的独特图案,以便通过AI的计算机视觉(可通过Google的云服务访问)将其与任何东西混淆(此后,Google已更新了其算法,您不能只是愚弄它) )

同时,这只乌龟不是由国家的敌人制造的,而是由麻省理工学院的四个家伙制造的。 其中一位是Anish Ataliy,他是一个瘦弱,非常有礼貌的年轻人,在计算机科学和人工智能实验室(CSAIL)从事计算机安全领域的工作。 在他的笔记本电脑上旋转的视频显示了测试海龟的过程(他说,其中一些模型在会议上被盗了),这些海龟可以旋转360度并且也可以上下颠倒。 并且算法在那里看到相同的东西:“ shot弹枪”,“ shot弹枪”,“ shot弹枪”。

最早的竞争示例非常脆弱,经常被拒绝使用,但是Ataliy和他的朋友们认为,他们可以开发出这种示例的足够可靠的版本,即使在3D打印机上打印的物体上也可以使用。 有必要模拟三维物体并开发一种算法来创建乌龟-一种具有竞争力的示例,它将在不同的角度和不同的距离上工作。 简而言之,他们提出了一种算法,该算法创建的内容可以可靠地欺骗机器学习。

该技术在军事上的应用是显而易见的。 使用伪装竞争算法,坦克和飞机可以使用AI躲藏在卫星和无人机中。 人工智能驱动的导弹可能对竞争数据视而不见,甚至回到友方目标。 通过掩盖恐怖分子的威胁或将士兵困在现实世界中,可以将提供给智能算法的信息中毒。

Atalya惊讶于他对竞争性机器学习的关注很少。 他说:“我与来自该行业的许多人进行了交谈,问他们是否担心竞争性例子。” “几乎所有人都回答否定。”

幸运的是,五角大楼开始对此予以关注。 八月,DARPA项目宣布启动了几个重要的AI研究项目。 其中之一是GARD,该计划专注于竞争性机器学习。 马萨诸塞大学(University of Massachusetts)教授兼GARD计划负责人Hawa Shigelman说,在军事情况下,这些袭击可能是毁灭性的,因为人们无法识别它们。 他说:“我们据说是瞎子。” “这使局势非常危险。”

竞争激烈的机器学习问题也解释了为什么五角大楼如此热衷于与Google和Amazon等公司以及麻省理工学院等研究机构合作。 技术发展非常迅速,最新的突破发生在由硅谷公司和最好的大学而不是普通国防承包商运营的实验室中。

重要的是,它们也发生在美国以外,特别是在中国。 卡纳南说:“我认为另一个世界即将到来。” “而且我们必须与AI对抗。”

对于将AI用于军事目的的愤怒反应是可以理解的,但是可能看不到整个图景。 人们担心智能杀手机器人,但是,我们可能很快就会面临算法大战的危险-即使是最聪明的机器也无法看到任何东西。

Source: https://habr.com/ru/post/zh-CN473856/


All Articles