关于作者。 Richard Sutton是阿尔伯塔大学的计算机科学教授。 它被认为是现代计算教学方法的奠基人之一。根据对AI的70年研究的结果，主要教训是通用计算方法最终是最有效的。 并有很大的距离。 当然，原因是摩尔定律，或更确切地说，是计算成本的指数下降。
大多数AI研究表明，代理可以访问正在进行的计算资源。 在这种情况下，提高生产力的唯一方法是利用人类知识。 但是一个典型的研究项目寿命太短，几年后，计算机性能不可避免地提高了。
为了在短期内取得进步，研究人员正在尝试将人类知识应用于学科领域，但从长远来看，只有计算能力才重要。 这两种趋势不应相互矛盾，但实际上它们是矛盾的。 在一个方向上花费的时间在另一个方向上浪费了时间。 有一种投资于一种方法或另一种方法的心理义务。 并且，在主题领域中知识的实施倾向于以不太适合使用通用计算方法的方式使系统复杂化。 有很多例子让研究人员学到了这个痛苦的教训为时已晚，考虑一些最著名的例子很有用。
在计算机象棋中，1997年击败世界冠军卡斯帕罗夫的系统基于对选项的深入研究。 当时，大多数计算机象棋研究人员都警惕地看着这些方法，因为他们运用了人类对主题领域的理解，即象棋游戏的特殊结构。 当事实证明，使用专门的硬件和软件的基于搜索的简单方法明显更有效时，这些研究人员拒绝承认失败。 他们说，蛮力方法可能只起作用一次，但不是通用策略。 无论如何，人们
不会像那样下棋。 这些研究人员希望基于人类对游戏的理解来获得胜利的方法，但他们感到失望。
在对围棋游戏的研究中也存在类似情况，只是延迟了20年。 最初的大量努力旨在避免搜索，并使用人类学科知识或游戏功能，但是，当有效地应用具有大规模并行计算功能的深度搜索选项时，所有这些努力都是没有用的。 事实证明，自学对于掌握价值功能也很重要，就像在许多其他游戏中甚至在国际象棋中一样，尽管自学功能在1997年的程序中并未发挥重要作用，该程序首次获得了世界冠军。 在游戏中进行自我学习和通常进行的学习在某种程度上类似于搜索，因为它们允许使用大规模并行计算。 搜索和培训是AI研究中计算能力最重要的应用。 就像在国际象棋中一样，在开发围棋游戏程序时，研究人员首先专注于运用对主题区域的人类理解（需要较少的搜索），后来在应用搜索和训练后取得了巨大的成功。
在1970年代，DARPA举行了语音识别系统竞赛。 竞争者提出了许多利用学科领域知识的特殊方法-单词，音素，人的语音管道等知识。另一方面，提出了新方法，这些方法在本质上更具统计意义。 他们基于隐马尔可夫模型（HMM）进行了更多的计算。 同样，统计方法胜过基于领域知识的方法。 这导致了所有自然语言处理的重大变化。 多年来，统计和计算已逐渐成为该领域的主导。 语音识别深度学习的最新发展是朝着这个方向迈出的最后一步。 深度学习方法对人类知识的依赖甚至更少，并且在学习庞大数据集的同时还要使用更多的计算。 这大大改善了语音识别系统。 就像在游戏中一样，研究人员一直试图创建能够根据自己的思维模式工作的系统：他们试图将对主题领域的知识转移到他们的系统中。 但是最终，当摩尔定律提供大量计算结果并开发出有效使用工具的方法时，结果适得其反，并且浪费大量时间。
在计算机视觉中，情况类似。 早期的方法将视觉视为对物体，广义圆柱体或SIFT标志的边界的搜索。 但是今天所有这些都被丢弃了。 深度学习的现代神经网络仅使用卷积和一些不变量的概念，而它们的效果要好得多。
这是一个很好的教训。 在整个行业中，由于我们继续犯同样的错误，我们尚未完全理解它。 为了有效地解决这个问题，您需要了解使这些错误引人注意的原因。 我们必须学习一个惨痛的教训：从长远来看，建立人类思维模型是行不通的。 惨痛的教训基于几个历史观察：
- 研究人员经常尝试将其知识整合到AI代理中。
- 它总是在短期内有所帮助，并且使研究人员个人满意，但是
- 从长远来看，这种方法是有上限的，甚至会减慢进一步的进展。
- 突破性进展最终来自相反的方法，该方法基于通过搜索和培训进行的大量计算。
最终的成功充满了苦涩，往往没有被人们完全接受，因为这是对有吸引力的，以人为本的方法的胜利。
必须从这种痛苦的经验中学到一个教训：必须认识到通用方法的巨大功能，即使需要大量计算，这种方法仍会随着计算能力的提高而不断扩展。 搜索和培训似乎可以无限扩展。
从痛苦的教训中得出的第二个总点是，真实的人类思维是极其不可克服的困难。 我们应该停止尝试寻找一种简单的方法来将思想的内容呈现为空间，物体或多个主体的简单模型。 所有这些都是内部复杂的外部世界的一部分。 由于复杂性无限，因此无法建模。 相反，应该开发可以找到并捕获这种任意复杂性的元方法。 对于这些方法，重要的是它们可以找到良好的近似值，但是此搜索是由方法本身而不是我们进行的。 我们需要可以自行进行研究而不使用我们发现的知识的AI代理。 人工智能系统在人类知识上的构建只会使其训练复杂化。