我们可以打开人工智能的黑匣子吗？

迪恩·波默洛（Dean Pomerleau）仍然记得他第一次不得不处理黑匣子问题。 1991年，他进行了该领域的首次尝试，现在正在尝试创建机器人汽车的每个人都在研究该尝试：学习如何驾驶计算机。

这意味着您需要驾驶经过特别准备的悍马（陆军越野车），并穿越城市的街道。这就是当时卡内基·梅隆大学（Carnegie Mellon University）机器人学的前研究生的柚子如何讲述这一点的方式。经过编程的计算机可以跟踪摄像头，解释道路上正在发生的事情，并记住驾驶员随车行驶的所有动作。柚希望汽车最终能够为独立驾驶建立足够的联系。

对于每次旅行，Pomelo都会对系统进行几分钟的培训，然后让其自行操纵。一切似乎都进行得很好-直到有一次Humvee走近桥，突然转向一侧。一个人设法设法避免事故的发生，只是迅速抓住方向盘并返回控制装置。

在实验室中，Pomelo试图找出计算机错误。他解释说：“我科学工作的任务之一就是打开'黑匣子'，弄清楚他在想什么。”但是如何？他将计算机编程为“神经网络”，这是一种模拟大脑功能的人工智能，有望在处理与现实世界相关的复杂情况方面优于标准算法。不幸的是，这些网络就像真实的大脑一样是不透明的。它们不会将学习到的所有内容都存储在整洁的内存块中，而是散布信息，因此很难解密。仅在对各种输入参数进行了广泛的软件反应测试之后，Pomelo才发现了一个问题：网络沿道路边缘使用草来确定方向，因此桥梁的外观使她感到困惑。

25年后，解码黑匣子变得越来越困难，同时增加了此任务的紧迫性。技术的复杂性和普及性呈爆炸性增长。卡耐基梅隆大学的柚子兼职教学机器人将其长期存在的系统描述为“穷人的神经网络”，与现代机器上出售的庞大神经网络相比。深度学习技术（GI）通过网络从“大数据”中对档案进行训练，从而发现了各种商业应用，从机器人移动设备到基于浏览历史记录的网站上的产品推荐。

技术有望在科学中无处不在。未来的无线电台将使用GO来搜索数据阵列中的重要信号，否则，你不会耙。引力波探测器将使用它们来理解和消除小噪声。出版商将使用它们来过滤和标记数百万篇研究论文和书籍。有些人认为，最终借助GO的计算机将能够展示想象力和创造能力。加州理工学院的物理学家让-罗赫·弗利曼特（Jean-Roch Vlimant）说：“您只要将数据放入机器中，它就会将自然法则返回给您。”

但是，这些突破将使黑匣子问题更加严重。机器如何精确地发现重要信号？您如何确定她的结论正确？人们应该信任深度学习多少？ “我认为我们必须接受这些算法，”纽约哥伦比亚大学的机器人专家Hod Lipson说。他通过与聪明的外星人会面来比较这种情况，他们的眼睛不仅看到红色，绿色和蓝色，而且看到第四种颜色。据他说，人们很难理解这些外星人如何看待世界，并很难向我们解释。他说，计算机在解释其决策时也会遇到同样的问题。 “在某个时候，它将开始类似于向狗解释莎士比亚的尝试。”

遇到此类问题后，AI研究人员的反应方式与Pomelo相同-他们打开黑匣子并执行类似于神经学的动作以了解网络的运行情况。CERN物理学家Vincenzo Innocente说，答案并不直观，他是该领域的第一位使用AI的人。“作为科学家，我对区分狗和猫的简单能力不满意。科学家应该能够说：区别就是那个。”

不错的旅程

第一个神经网络创建于1950年代初，几乎是在能够根据必要算法工作的计算机问世之后不久。这个想法是模拟小可数模块-神经元-分层排列并连接到数字“突触”的操作。较低层中的每个模块接收外部数据，例如图片的像素，然后将此信息扩展到下一层中的某些模块。第二层中的每个模块根据简单的数学规则对来自第一层的输入进行积分，并将结果继续传递。结果，顶层给出了答案-例如，将原始图像分配给“猫”或“狗”。


? « » (Deep Dream) , , , , – , .

, – , .

Deep Dream .

这种网络的能力源于它们的学习能力。他们从给出正确答案的初始数据集中学习，逐渐改善其特性，调整所有链接的影响以产生正确的结果。该过程模拟了大脑的训练，从而增强和削弱了突触，并提供了能够对训练集中不包含的数据进行分类的网络输出。

1990年代，当CERN物理学家成为最早使大型神经网络适应科学工作的人之一时，培训的可能性就吸引了他们。神经网络极大地帮助了亚原子弹片的轨迹重建，在大型强子对撞机发生粒子碰撞时散射到了侧面。

这种学习方式也是信息在网络中分布非常广泛的原因：就像在大脑中一样，信息的记忆是通过各种化合物的强度编码的，而不是像熟悉的数据库那样存储在某些地方。 “大脑中存储的电话号码的第一位在哪里？加州大学机器学习（MO）专家Pierre Baldi说，也许在突触中，也许与其他数字并不遥远。但是没有明确的比特序列编码数字。结果，就像怀俄明大学的IT专家Jeff Clune所说的那样：“即使我们创建了这些网络，我们也无法比人脑更好地理解它们。”

对于处理大数据的科学家来说，这意味着应谨慎使用GO。牛津大学的信息学专家安德里亚·韦达尔迪（Andrea Vedaldi）解释说：想象一下，将来，将在乳房X线照片上对神经网络进行训练，以表明所研究的女性是否正在研究乳腺癌。此后，假设一个健康女性的组织似乎容易感染疾病。 “神经网络可以学习识别肿瘤标志物-我们不知道的那些，但可以预测癌症。”

但是，如果机器无法解释它是如何确定的，那么根据Vedaldi的说法，这对于医生和患者来说将是一个严重的难题。由于存在可能导致癌症的遗传特征，女性很难预防性切除乳房。而且做出这样的选择将更加困难，因为即使机器的预测被证明是准确的，也甚至不知道这个因素是什么。

“问题在于知识是嵌入在网络中的，而不是嵌入在我们内部的，”生物物理学家兼Google程序员迈克尔·泰卡（Michael Tyka）说。 “我们了解什么吗？不，这是网络所理解的。”

2012年，几组科学家解决了黑匣子问题。由多伦多大学的MO专家Geoffrey Hinton领导的团队参加了计算机视觉竞赛，并首次证明使用GO对来自120万张图像的数据库中的照片进行分类优于其他方法。使用AI。

Vedaldi小组了解了这是如何实现的，因此采用了Hinton算法，旨在改善神经网络并将其推后。该团队没有训练网络来正确解释答案，而是采用了预先训练的网络，并尝试重新创建图片，这要归功于他们的训练。这有助于研究人员确定机器如何呈现某些功能-就像他们在询问某种假设的神经网络来预测癌症一样，“乳房X线照片的哪一部分导致您达到癌症危险标记？”

去年，Taika和他的Google同事使用了类似的方法。他们将其算法称为“深梦”（Deep Dream），从花的图片开始，然后对其进行修改，以改善特定顶级神经元的响应。如果神经元喜欢标记鸟类的图像，则更改后的图片将开始在各处显示鸟类。生成的图片类似于LSD下的视觉效果，在该图片中，可以在面部，建筑物等处看到鸟类。 “我认为这很像幻觉，”也是艺术家的塔伊卡（Taika）说。当他和他的同事们看到算法在创意领域的潜力时，他们决定免费下载它。几天之内，这个话题开始传播开来。

2014年，Klun的研究小组使用可最大化任何神经元输出的技术，而不仅仅是顶级神经元之一，发现黑匣子问题可能比以前看起来更加复杂。借助人们感知为随机噪声或抽象图案的图片，神经网络很容易被欺骗。例如，网络可以采用波浪线并确定它是海星，或者将黑白条纹与校车混合在一起。此外，在其他数据集上训练的网络中也出现了相同的趋势。

研究人员已经提出了几种解决愚蠢网络问题的解决方案，但尚未找到通用的解决方案。在实际应用中，这可能很危险。根据Clun所说，可怕的情况之一是黑客学会利用这些网络漏洞。他们可以将机器人移动到路标上，或者在白宫入口处欺骗视网膜扫描仪。 “我们需要卷起袖子并进行深入的科学研究，以使MO更加可靠和智能，” Klyun总结道。

这些问题使一些计算机科学家认为您不应只关注神经网络。剑桥大学的MO研究员Zoubin Ghahramani说，如果AI必须给出人们可以轻松解释的答案，这将导致“ GO无法解决的许多问题。”利普森（Lipson）和当时在康奈尔大学（Cornell University）工作的计算生物学家迈克尔·施密特（Michael Schmidt）首次提出了一种合理理解的科学方法。他们的Eureqa算法通过观察运动中的简单机械对象-摆系统，展示了重新发现牛顿定律的过程。

Eureqa从数学积木（例如+，-，正弦和余弦）的随机组合开始，通过类似于达尔文进化论的反复试验来改变它，直到涉及到描述这些数据的公式为止。然后，她提供实验以测试模型。利普森说，它的好处之一就是简单。“由Eureqa开发的模型通常具有十二个参数。神经网络有数百万个。”

自动驾驶

去年，加拉赫玛尼（Garakhmani）发布了一种算法，用于根据数据（从原始数据到完成的科学工作）自动执行科学家的工作。其软件“自动统计员”（Automatic Statistician）可注意到数据集中的趋势和异常，并提供意见，包括对原因的详细说明。他说，这种透明度对于科学使用来说“绝对至关重要”，但对商业用途也很重要。例如，在许多国家/地区，拒绝贷款的银行在法律上有义务解释拒绝的原因-而使用GO算法可能无法做到这一点。

奥斯陆Arundo Analytics数据科学总监Ellie Dobson解释说，不同的组织也有同样的疑问。例如，如果在英国由于基准利率的变动而出了问题，那么英格兰银行就不能简单地说“全是因为黑匣子”。

但是，尽管存在所有这些担忧，计算机科学家表示，尝试创建透明的AI应该是对民防的补充，而不是对该技术的替代。一些透明的技术在已经描述为一组抽象数据的区域中可能会很好地工作，但不能应付感知-从原始数据提取事实的过程。

他们认为，结果是，由于现实世界是复杂的，因此国防部所获得的复杂答案应该成为科学工具的一部分。对于天气或金融市场等现象，归约论者可能根本不存在综合描述。巴黎理工学院的应用数学家斯蒂芬·马拉特说：“有些事情无法用语言来描述。” 他说：“当您问医生为什么做出这样的诊断时，他会描述您的原因。” -但是为什么要花20年才能成为一名好医生？因为信息不仅来自书籍。”

根据鲍尔迪的说法，科学家应该接受GO，而不是因为黑匣子而so之以鼻。他们的脑袋里有一个黑匣子。“您不断使用大脑，始终信任它，却不了解它的工作原理。”

Source: https://habr.com/ru/post/zh-CN398451/