前几章
与人的素质比较
33.为什么要与人类可获得的质量水平进行比较
许多机器学习系统的目标是使人们擅长的任务自动化。 示例包括电子邮件中的图像识别，语音识别和垃圾邮件分类。 学习算法已经取得了很大进步，以至于在越来越多的此类任务中，它们都超过了一个人。
此外，如果您尝试执行人们可以很好地完成的任务，则可以基于多种原因简化机器学习系统的构建：
- 只需使用访问器标记数据。 例如，由于人们能很好地识别猫的图像，评估者可以准确地标记训练算法所需的样本。
- 错误分析可以基于人类的直觉。 假设语音识别算法的效果比人的效果差。 例如，该算法错误地解密了该片段，并给出：“此食谱需要一个苹果课桌”，将“一对”当成“课桌”。 您可以使用一个人的直觉并尝试了解一个人使用什么信息来获取正确的转录，然后使用此信息来更改学习算法。
- 您可以参考一个人解决问题的质量，也可以设置“期望的错误率”。 假设执行任务时算法的质量已达到相当于错误的10％的水平，而一个人仅犯了2％的错误。 然后我们知道最佳错误率不超过2％，并且我们的算法可避免的偏差至少为8％。 因此，我们应该尝试减少偏差的方法。
尽管第3点似乎并不重要，但我认为拥有合理且可以实现的错误目标有助于加速团队的进步。 该算法具有可避免的较大偏差的认识非常有用，并提出了您可以尝试应用的一系列方法。
有些任务甚至是人们无法应付的。 例如，选择一本推荐给您的书； 或选择一个广告以在网站上向用户展示； 或预测股市情况。 计算机已经超出了大多数人解决这些问题的质量。 在这些应用程序中，我们遇到以下问题：
- 要获得带有标记的学习算法样本更加困难。 例如，评估者发现很难布置一个用户数据库，以指示每个用户的“最佳”书。 如果您拥有出售书籍的网站或应用程序，则可以通过向用户显示书籍并记录他们购买的书籍来获得加标签的数据。 如果您不使用此类站点，则需要找到更多创造性的方式来获取数据。
- 人们不能依靠人类的直觉。 例如，几乎没有人可以预测股票市场的行为。 因此，如果我们的股价预测算法的工作原理不比随机算命好，那么很难想出如何改善它的方法。
- 很难理解什么是最佳错误率和合理的期望错误率。 假设现有的图书推荐系统运行良好。 在没有基本（“人”）质量水平和相应错误份额的情况下，如何找出可以改善的水平呢？
待续