去年，一辆奇特的自驾车开始沿着新泽西州蒙茅斯县的道路行驶。 由Nvidia的专家开发的这款实验车在外观上与其他制造商（例如Google，Tesla或General Motors）的其他自动驾驶汽车没有区别。 但是特别是对于这种汽车，已经开发了一种新的控制系统。 她是自学的，不依赖于产品中指定的设置。 相反，自动机器人监视驾驶员的行为并向驾驶员学习。
这是训练机器人的一种不寻常的方式。 另一方面，很少有人能完全想象机器如何做出决策。 来自传感器，雷达和激光雷达的信息进入神经网络，在该网络中，通过分配清晰的规则来处理这些数据，以控制方向盘，制动器和其他系统。 结果，事实证明，机器人的动作通常类似于在道路上陷入相同情况的驾驶员的动作。 问题出现了-汽车是否会在其中一种情况下做出奇怪的决定-例如，全速撞到树上或绿灯亮时站在交通信号灯旁？
可以将处理信息的神经网络与黑匣子进行比较。 不，当然，专家们会普遍想象神经网络进行数据处理的原理。 但是问题在于，自我训练不是一个完全预先确定的过程，因此有时在输出端会出现绝对意想不到的结果。 一切的核心在于深度学习，深度学习已经使我们能够解决许多重要问题，包括图像处理，语音识别，翻译。 神经网络有可能能够在早期阶段诊断疾病，在交易所进行交易时做出正确的决定，并执行数百种其他重要的人类动作。
但是首先，您需要找到一些方法来更好地理解在处理数据时神经网络本身正在发生的事情。 否则，即使有可能，也很难预测AI形式较弱的系统可能出现的错误。 这样的错误肯定会发生。 这就是Nvidia的汽车仍在测试中的原因之一。
现在，一个人应用数学模型来促进自己的选择任务，例如，确定可靠的资金借款人或寻找具有某种工作所需经验的员工。 通常，使用它们的数学模型和过程相对简单明了。 但是，军事，商业公司，科学家现在使用的系统要复杂得多，其“决定”不是基于一两个模型的结果。 深度学习不同于通常的计算机操作原理。 麻省理工学院教授汤米·贾科（Tommy Jaakol）认为，这个问题变得越来越重要。 他说：“无论做什么，都要做出投资决定，尝试做出诊断，在战场上选择攻击点，所有这些都不应该依赖黑匣子方法。”
这不仅被科学家理解，而且官员也理解。 从明年夏天开始，欧盟为自动计算机系统解决方案的开发商和供应商引入了新规则。 这些公司的代表将被要求向用户解释系统如何工作，以及根据什么原则做出决策。 问题是这可能无法实现。 是的，可以毫无问题地解释神经网络操作的基本原理，但是很少有人能够准确地知道在处理复杂信息时会发生什么。 即使这样的系统的创建者也无法解释“从头到尾”的一切，因为在信息处理过程中神经网络中发生的过程非常复杂。
以前从未有人制造过这样的机器：其创造者本身并未完全理解其工作原理，并且与个人使用信息的方式有很大不同。 那么，我们可以期望与无法预测的机器正常交互吗？
艺术家Adam Ferriss和Google Deep Dream的绘画
2015年，来自纽约的西奈山医院研究团队使用深度学习来处理患者记录数据库。 该数据库包含数千名患者的信息，每个人都有数百行信息，例如测试结果，就诊日期等。 结果，出现了深度患者计划，该计划以70万人的记录为例进行了培训。 该程序显示的结果异常好。 例如，她能够在许多患者的早期预测某些疾病的出现。
但是，结果却有些奇怪。 例如，系统开始完美地诊断精神分裂症。 但是即使对于有经验的精神科医生来说，诊断精神分裂症也是一个复杂的问题。 但是计算机一声巨响来应对它。 怎么了 没有人可以解释，甚至没有系统的创建者。
最初，AI开发人员分为两个阵营。 第一个支持者说，必须对机器进行编程，以便可以看到和理解系统中发生的所有过程。 第二阵营坚持这样的想法：机器应该自己学习，从最大数量的来源接收数据，然后对这些数据进行独立处理。 也就是说，这种观点的支持者实际上建议每个神经网络都应该是“自己的老板”。
直到现在，所有这些仍然只是纯理论，当时计算机变得足够强大，以至于人工智能和神经网络专家可以开始将他们的想法付诸实践。 在过去的十年中，已实施了许多构想，并提供了出色的服务，这些服务可帮助将文本从一种语言翻译成另一种语言，识别语音，实时处理视频流，处理财务数据并优化生产流程。
但是问题在于，几乎所有的机器学习技术对专家来说都不是太透明。 在“手动”编程的情况下，情况要简单得多。 当然，不能说任何人都无法理解未来的系统。 但是从本质上讲，深度学习是一种黑匣子。
您不仅可以查看神经网络的原理，还可以预测通过处理某种数据数组而得到的结果。 在“黑匣子”内部，有数十个数百个“神经元层”以相当复杂的顺序相互连接。 此外，最终结果的价值不仅在于各层的工作，而且还取决于单个神经元的工作。 在大多数情况下，一个人无法预测在神经网络的输出端会出现什么。
Deep Dream系统是神经网络与人脑的差异的一个例子。 这是一个Google项目，是一个神经网络，其中引入了常规照片，并具有根据特定主题转换此照片的目标。 好吧，例如，使图片中的所有对象看起来像狗。 结果给所有人留下了深刻的印象。 不知何故，生成哑铃图像的任务被引入到系统中。 该系统可以应对，但是在所有情况下，人们的手都被哑铃吸引了-神经网络决定了哑铃臂是一个单一的系统，不能视为两个独立的元素。
专家认为，有必要更好地了解此类系统的工作原理。 这是必要的，原因很简单，因为它们开始在越来越重要的领域中使用神经网络，在这些领域中错误可能导致令人沮丧的结局（证券交易就是一个例子）。 “如果您的神经网络很小，那么您可以完全理解它的工作原理。 但是，当神经网络增长时，其中的元素数量会增加到每层数百层的成千上万个神经元-在这种情况下，它变得不可预测，” Jaakkola说。
但是，必须在同一医学中的工作中使用神经网络。 医生低估了许多数据的重要性，一个人根本无法捕捉自己的眼睛并无法找到患者病历中数百条记录之间的联系。 而机器-也许这通常是神经网络和深度学习的巨大价值。
美国军方已投资数十亿美元开发无人机自动控制系统，各种物体的识别和识别，数据分析。 但是军方认为这种系统的工作应该是可以理解和解释的。 那些被锁在自动控制坦克中的士兵，如果不了解其工作方式和作用，系统为什么做出这样的决定而不是其他决定，会感到非常不舒服。
也许将来这些系统将解释其动作。 例如，华盛顿大学教授卡洛斯·格斯特林（Carlos Guestrin）开发了一种计算机系统，该计算机系统解释了他的计算的中间结果。 该系统可用于分析电子消息。 如果有条件的恐怖分子通过计算机对它们中的任何一个进行了评估，那么将给出解释为什么得出这样的结论的解释。
这位科学家认为，解释应该非常简单和可以理解。 Guestrin说：“我们还没有实现AI与您交谈并可以解释的梦想。” “我们只是在创建透明AI的漫长旅程的开始。”
如果我们想使AI成为我们生活的一部分并且是有用的一部分，那么了解导致AI产生特定结果的原因很重要。 这不仅适用于军队，而且适用于Siri或任何其他数字助理。 例如，如果您要求Siri提供附近餐馆的选择，那么许多人都想了解为什么显示这些餐馆，而不是其他。 实施AI的重要标准是人类对计算机系统的信心。
可能仍然无法使计算机解释其所有动作和决策-例如，由于通常无法理解任何人的动作和决策。 它们取决于许多因素。 而且神经网络越复杂，它考虑和分析的因素就越多。
这引起了许多道德和社会性质的复杂问题。 例如，对于同一个军方而言，在创建自动坦克和其他杀戮机器时，重要的是他们的决定必须符合人类道德标准。 实际上，自杀本身可能并不符合我们许多人的道德标准。 但是这些决定至少应该为大多数人所接受。 虽然，这占多数？ 也是一个问题。
塔夫茨大学哲学家丹尼尔·丹尼特（Daniel Dennett）说：“我相信，如果我们要使用这些东西并依靠它们，那么我们需要了解它们如何以及为什么以这种方式行事，而不能以其他方式行事。 如果他们不能更好地向我们解释他们在做什么，那就不要相信他们。”