麻省理工学院引入了一种交互式工具，可以清楚地说明为什么智能系统做出一个决定或另一个决定。 本文是关于它如何工作的。
/不飞溅/ 兰迪·菲斯（ Randy Fath）黑匣子问题
自动化机器学习系统（AutoML）反复测试和修改算法及其参数。 使用
强化学习方法，这样的系统
选择比其他模型更适合解决特定问题的AI模型。 例如，自动化
技术支持 。 但是AutoML系统的行为就像黑匣子一样，也就是说，它们的方法对用户是隐藏的。
此功能使机器学习算法的调试大大复杂化。 并且，例如，在自动驾驶系统的情况下，后果可能是致命的。 2016年，特斯拉首次自动驾驶与大型卡车相撞，
成为致命事故
的参与者。 事故原因可靠地是未知的。 专家只有一个假设-算法
将高架卡车与在天桥下边缘安装的路标
混合在一起 。 而且该错误尚未消除-3月初，美国再次
遭遇了类似的事故 。
为了解释机器算法是如何得出一个结论的，工程师使用了后验技术或诸如决策树之类的解释模型。 在第一种情况下，输入和输出数据用于近似算法的“思维过程”。 这种技术的准确性很差。
决策树是一种更准确的方法，但仅适用于分类数据 。 因此，对于复杂的问题，计算机视觉是不便的。
麻省理工学院，香港科技大学和浙江大学的工程师决定纠正这种情况。 他们
提出了一种工具，用于可视化黑匣子内部发生的过程。 他被称为ATMSeer。
系统如何运作
ATMSeer基于
自动调整模型 （ATM）。 这是一个自动化的机器学习系统，它搜索用于解决特定问题的最有效模型（例如，搜索对象）。 系统任意选择算法的类型-神经网络，决策树，“
随机森林 ”或逻辑回归。 以相同的方式确定模型的超参数-树的大小或神经网络的层数。
ATM使用测试数据进行一系列实验，自动调整超参数并评估性能。 根据此信息，她选择以下模型，该模型可以显示最佳结果。
每个模型都以一种“信息单元”的形式呈现，并带有变量：算法，超参数，性能。 变量显示在相应的图形和图表上。 此外，工程师可以手动编辑这些参数并实时监视智能系统中的变化。
麻省理工学院的工程师
在以下视频中展示了该工具的界面。 在其中，他们整理了几个用例。
ATMSeer控制面板
允许您管理学习过程并下载新数据集。 它还以从零到十的比例显示所有模型的性能指标。
前景展望
工程师说，新工具将有助于机器学习领域的发展，使智能算法的工作更加透明。 许多MO专家已经
注意到 ，使用ATMSeer，他们对AutoML生成的模型的正确性更有信心。
新系统还将帮助公司达到GDPR要求。 通用数据保护法规要求机器学习算法具有透明性 。 智能系统开发人员应该能够解释算法做出的决策。 这是必需的，以便用户可以完全了解系统如何处理其个人数据。
/不溅水/ 以斯帖将来，您会期望更多工具进入黑匣子。 例如，麻省理工学院的工程师
已经在研究另一种解决方案。 这将帮助医学生训练历史写作技能。
除MIT外，IBM还在这一领域工作。 他们与哈佛大学的同事一起介绍了Seq2Seq-Vis工具。 它
可视化了机器翻译从一种语言到另一种语言的决策过程。 该系统显示了源文本和最终文本中的每个单词如何与在其上训练了神经网络的示例相关联。 因此，更容易确定是否由于错误的输入数据或搜索算法而发生错误。
实施Service Desk时，使机器学习算法更透明的工具也将在
ITSM中找到应用程序。 该系统将帮助培训智能聊天机器人，并有助于避免出现
行为不正常的情况。
我们公司博客中的资料：
还有关于哈布雷的博客：