在过去的十年中，机器学习在模式识别，机器人移动设备和go等复杂的游戏领域取得了空前的进步。 这些成功主要是通过训练具有两种范式之一的深度神经网络来实现的-
与老师 学习和与强化学习 。 两种范例都需要开发人类训练信号，然后将其传输到计算机。 在接受老师培训的情况下，这些是“目标”（例如，图片下方的正确签名）； 在增援方面，这些是成功行为的“奖励”（Atari在游戏中获得高分）。 因此，学习的界限是由人决定的。
并且，如果有些科学家认为足够广泛的培训计划（例如，成功完成各种任务的能力）足以产生通用情报，那么其他科学家则认为，真正的情报将需要更多独立的学习策略。 例如，考虑教孩子的过程。 他的祖母可以和他一起坐下来，耐心地向他展示鸭子的例子（在与老师一起学习时作为教学信号），或者以掌声奖励他解决立方体难题（例如在强化学习中）。 但是，大多数时候，婴儿会天真地探索世界，并通过好奇心，嬉戏和观察来领悟环境。
在没有老师的情况下学习是一种范式，旨在通过奖励代理人（计算机程序）来学习他们观察到的数据而创建自主智能，而不管任何特定任务。 换句话说，对代理进行培训以学习。
在没有老师的情况下进行学习的主要动机是，如果传输到学习算法的数据具有极其丰富的内部结构（图像，视频，文本），那么培训的目标和回报通常非常干燥（该物种的标签为“狗”，或者单位/零，表示游戏中的成功或失败）。 这表明该算法正在研究的大多数内容应该包括对数据本身的理解，而不是将这种理解应用于某些问题的解决方案。
解码视觉元素
2012年是深度学习具有里程碑意义的一年，当时AlexNet（以首席建筑师Alex Krizhevsky的名字命名）在
ImageNet分类竞赛中
赢得了竞争对手
的青睐 。 她的图像识别能力没有类似物，但更令人惊讶的是引擎盖下发生的事情。 在分析了AlexNet的行为之后，科学家发现它通过构建日益复杂
的输入数据
内部表示来解释图像。 低层特征（例如，纹理和面）由较低层表示，然后从较高层上的低层特征开始，将较高层的概念组合在一起，例如轮子或狗。
这出奇地类似于我们的大脑处理信息的方式-与感官相关的主要区域中的简单面孔和纹理被组装成复杂的对象，例如大脑较高区域中的面孔。 因此，可以从视觉原语中组装出复杂的场景，其方式与从组成句子的各个单词中产生含义的方式几乎相同。 没有直接安装，AlexNet层就会显示适合解决问题的基本视觉“词典”。 在某种程度上，网络学会了玩路德维希·维特根斯坦所说的“
语言游戏 ”，它从像素到图像标签都在逐步发展。
卷积神经网络的可视词典。 对于每一层，都会创建使某些神经元激活最大化的图像。 然后，这些神经元对其他图像的反应可以解释为存在或不存在视觉“单词”：纹理，书架，狗，鸟的脸。转移训练
从通用智能的角度来看，AlexNet词典中最有趣的事情是它可以被重用或转移到其他视觉任务，例如，不仅可以识别单个对象，还可以识别整个场景。 在瞬息万变的世界中进行转移是绝对必要的，人们也做得很好：我们能够迅速将从经验（世界模型）中获得的技能和理解适应任何当前情况。 例如，受过古典教育的钢琴家会很容易地学习弹爵士乐。 构成正确的内部内部图景的人工代理应该具有相同的功能。
但是，由分类器（例如AlexNet）获得的表示形式有其局限性。 特别是，由于对网络进行了训练以标记一个类别（狗，猫，汽车，火山），其余信息（无论它对其他任务有多大用处）都将被忽略。 例如，如果标签仅引用前景中的对象，则表示可能无法捕获图像的背景。 一种可能的解决方案是给出更全面的训练信号，例如，
图像的详细说明 ：不仅是“狗”，而且是“柯基犬在阳光明媚的公园里抓飞盘”。 但是，此类标签很难粘贴，尤其是大规模粘贴时，它们可能仍不足以感知完成任务所需的所有信息。 在没有老师的情况下进行学习的基本前提是，轻松学习便携式表示的最佳方法是尝试学习有关数据的所有可能方法。
如果通过表象训练来进行迁移的概念对您来说太抽象了，请想象一个孩子学会了以“棍棒，棍棒，黄瓜”的风格来吸引人们。 他发现了一个人的外表代表，既紧凑又适应性强。 通过对每个人物的某些特征进行补充，他可以创建所有同学的肖像：给他最好的朋友的眼镜，是他同学最喜欢的红色T恤。 他发展这项技能的目的不是为了完成特定任务或获得报酬，而是为了回应反映他周围世界的基本需求。
通过创造力学习：生成模型
在没有老师的情况下学习的最简单目标可能是训练算法以创建自己的数据示例。 T.N. 生成模型不仅应重现对其进行训练的数据（这只是无趣的“记忆”），而且还应创建用于获取数据的类的模型。 不是马或彩虹的特定照片，而是马和彩虹的一组照片； 不是特定说话者的特定陈述，而是口头陈述的一般分布。 生成模型的基本原理是，创建令人信服的数据示例是了解它们的最有力证据：正如Richard Feynman所说：“我无法创建的东西，我不理解。”
到目前为止，最成功的图像生成模型仍然是“
生成竞争网络” （GSS），在该模型中，
生成器和鉴别器这两个网络进入了识别竞赛，类似于假专家和侦探的竞赛。 生成器生成图像，试图使鉴别者相信它们的真实性。 鉴别器因发现假货而得到奖励。 生成的图像首先是随机且草率获得的，然后通过许多方法进行了改进，并且网络的动态交互作用导致出现了越来越逼真的图像，在许多情况下，这些图像
无法与真实照片
区分开 。 GSS还可以根据用户的草图提供
详细的景观 。
只需看一下下面的图片就足以确保该网络已学会描绘训练过的照片的许多关键特征-动物的身体结构，草的质地以及光影运动的细节（甚至反映了肥皂泡）。 一项仔细的研究发现了一些小的异常现象，例如一条白狗的一条额外的腿，以及其中一个喷泉的喷射流中一个奇怪的直角。 尽管生成模型的创建者试图摆脱这种缺陷，但我们可以看到它们的事实说明了重建诸如图像之类的熟悉数据的优点之一：通过研究样本，研究人员可以了解模型学到了什么以及还没有学到什么。
通过预测创造
在无教师课程中，另一个值得注意的网络家族是自回归模型，该模型将数据分解成小块，每个模型依次进行预测。 这样的模型可用于生成数据，如下所示：首先，网络猜测正在发生的事情，将这种猜想馈送到其输入，然后再次猜测。 最著名的示例是语言模型，其中每个下一个单词都是根据先前的单词进行预测的：该模型可处理出现在各种应用程序中以及发送电子邮件时的文本预测。 语言建模的最新发展使您可以创建令人惊讶的合理段落，例如，摘自
OpenAI GPT-2 ：
提示系统（由人编写）
科学家发现了一群生活在偏远且以前未开发的安第斯谷中的独角兽，从而做出了令人震惊的发现。 对于研究人员而言，更令人惊讶的是独角兽的英语说得很好。
完成模型的文字（尝试10次后）
科学家们以其独特的角把人们称为“卵独角兽”。 这些四角银白色独角兽以前是科学界所不知道的。 最后，经过两个世纪，解决了导致这种奇怪现象的奥秘。
拉帕兹大学（Lapaz University）进化生物学家豪尔赫·佩雷斯（Jorge Perez）博士及其几位同事在发现一个没有其他动物和人的小山谷时对安第斯山脉进行了研究。 佩雷斯注意到山谷中的东西看起来像一个天然喷泉，周围环绕着两个岩石峰和银色的雪。
然后佩雷斯和其他人更进一步进入这个山谷。 佩雷斯说：“当我们到达其中一个山峰时，水似乎是蓝色的，表面几乎没有晶体。”
佩雷斯和他的朋友们惊讶地看到了一群独角兽。 可以从空中看到这些生物，而不会离它们太近以至无法看到它们-它们是如此接近以至于它们可以触摸它们的角。
一个有趣的差异是独角兽被描述为“四角”：研究了解网络的局限性很有趣。
通过控制用于微调预测的输入序列，您可以使用自回归模型将一个序列转换为另一个序列。 该
演示使用条件自动回归模型将文本转换为逼真的手写外观。
WaveNet将文本转换为自然语音，现在用于
为Google Assistant生成语音 。 调优和自回归生成的类似进展可用于从一种语言到另一种语言的
翻译 。
自回归模型研究数据，试图以一定顺序预测每个零件。 您可以在没有老师的情况下通过学习来创建更通用的网络类别，从而基于任何其他数据对数据的任何部分进行预测。 例如，这可能意味着我们从句子中删除了一个单词，并
尝试根据文本的其余部分对其进行预测 。 通过向系统查询大量的本地预测来教该系统，我们强制其研究整个数据。
生成模型的问题之一是它们可能被恶意使用。 长期以来，以照片，视频和录音形式处理证据都是可行的，但是生成模型可以极大地促进恶意编辑这些材料。 我们已经看到了所谓的示范 Deepfake-例如，一段
与奥巴马的
假录像 。 令人欣喜的是，人们已经进行了认真的尝试来应对这些挑战-例如，使用
统计技术来检测
合成材料并确认真实
材料 ，
使公众熟悉正在发生的事情 ，以及有关限制训练有素的生成模型的讨论。 此外，生成模型本身可用于
检测虚假材料和异常数据-例如，
检测虚假语音或检测异常付款以保护用户免受欺诈者的侵害。 研究人员需要研究生成模型，以更好地理解它们并减少将来的风险。
重塑智能
生成模型本身非常有趣，但是在DeepMind中，我们将其视为通向通用智能道路的一个阶段。 赋予代理生成数据的能力是关于如何赋予他想象力，以及如何
规划和推理未来的能力。 我们的研究表明
，即使没有特殊的生成数据任务
，也可以进行
预测 环境各个
方面的 训练 ，从而丰富
了代理商的
世界模型 ，从而提高了代理商解决问题的能力。
这些结果与我们对人类思维的直觉理解相重叠。 我们在没有特殊监督的情况下研究世界的能力是智力的基本特征之一。 在训练旅行中，我们可以冷漠地看着窗外，触摸座椅上的平绒，并考虑与我们同行的乘客。 在这些研究中我们没有目标：我们很难从收集信息中脱颖而出，我们的大脑不懈地努力理解周围的世界及其在其中的位置。