调色板使画家可以轻松地排列和混合不同颜色的颜料，因为他们可以在之前的画布上创建艺术品。 拥有一个类似的工具可以使AI共同从各种数据源中进行学习，例如用于对话，叙述，图像和知识的数据源，这将为研究人员和科学家开发具有更多通用情报的AI系统打开大门。
调色板允许画家安排和混合不同颜色的颜料。 SpaceFusion旨在帮助AI科学家针对在不同数据集上训练的不同模型做类似的事情。 对于当今的深度学习模型，数据集通常由使用不同神经网络的不同潜在空间中的向量表示。 在我的合著者和我的论文“
共同优化神经反应生成中的多样性和相关性 ”中，我提出了SpaceFusion，这是一种学习范式，用于对齐这些不同的潜在空间-像调色板上的颜料一样平滑地排列和混合它们，以便AI可以利用嵌入其中的模式和知识。 我们将在
计算语言学协会：人类语言技术协会（NAACL-HLT）北美分会2019年年会上介绍的这项工作是
数据驱动对话项目的一部分，并且其实现是在
GitHub上
可用 。
捕捉人类对话的色彩
作为首次尝试，我们将此技术应用于神经对话AI。 在我们的设置中，在给定对话历史或上下文的情况下，预期神经模型会生成相关且有趣的响应。 尽管神经对话模型已经取得了令人鼓舞的进步，但这些模型往往会起到一定的安全作用，从而产生通用和迟钝的响应。 已经开发出使这些响应多样化并且更好地捕捉人类对话的色彩的方法，但是通常，
这是一种折衷，而相关性却在下降 。
图1：就像调色板允许轻松组合绘画一样，SpaceFusion对齐或混合从序列到序列（S2S，红点）模型和自动编码器（AE，蓝点）中学习的潜在空间这两个模型更有效。SpaceFusion通过对齐从两个模型中学到的潜在空间来解决此问题（图1）：
- 序列到序列（S2S）模型，旨在产生相关的响应，但可能缺乏多样性； 和
- 自动编码器（AE）模型，该模型能够表示各种响应，但无法捕获它们与会话的关系。
共同学习的模型可以利用两个模型的优势，并以更结构化的方式排列数据点。
图2：以上内容说明了一个上下文及其在由SpaceFusion引起的潜在空间中的多种响应。 给定上下文，距预测响应向量的距离和方向分别与相关性和多样性大致匹配。例如，如图2所示，在给定上下文的情况下-在这种情况下为“任何人都想开始这个游戏？”-沿着“相同的方向。 消极的“我对游戏不感兴趣”和“不，我不对”被映射到另一方向的线上。 通过沿着不同方向探索潜在空间，可以实现响应的多样性。 此外，潜在空间中的距离对应于相关性。 距离上下文较远的响应（“是，我愿意”和“不，不是”）通常是通用的，而距离较近的响应则与特定上下文更相关：“我对游戏不感兴趣”和“你什么时候？
SpaceFusion弄乱了相关性和多样性的标准，并以两个独立的维度（方向和距离）来表示它们，从而更容易共同优化两者。 我们的经验实验和人类评估表明，与竞争基准相比，SpaceFusion在这两个条件下的性能更好。
学习共享的潜在空间
那么，SpaceFusion如何精确对齐不同的潜在空间？
这个想法非常直观：对于来自两个不同潜在空间的每对点，我们首先最小化它们在共享潜在空间中的距离，然后鼓励它们之间的平滑过渡。 这是通过在目标函数中添加两个新颖的正则化项（距离项和平滑度项）来完成的。
以对话为例，距离项测量的是距离S2S潜在空间的一点（从上下文映射并表示预测的响应）与来自AE潜在空间的点（与其目标响应相对应）之间的欧几里得距离。 最小化这种距离会鼓励S2S模型将上下文映射到一个点，该点在共享潜在空间中靠近并被其响应所围绕，如图2所示。
平滑度度量了根据从上下文映射的点和从响应映射的点之间的随机插值生成目标响应的可能性。 通过使这种可能性最大化，当我们远离上下文时，我们鼓励所生成响应的含义的平稳过渡。 这使我们能够探索由S2S做出的预测点的邻域，从而生成与上下文相关的各种响应。
在目标函数中添加了这两个新颖的正则化之后，我们将距离和平滑度约束放到了潜在空间的学习上，因此训练不仅将重点放在每个潜在空间的性能上，还将尝试通过将它们相加来使它们对齐所需的结构。 我们的工作集中在对话模型上，但是我们希望SpaceFusion可以对齐在不同数据集上训练的其他模型所学习的潜在空间。 这使得桥接每个特定AI系统学习的不同能力和知识领域成为可能，并且是迈向更通用智能的第一步。