👨‍🔬 😝 🐝 亚马逊众包：半百万人如何获得一分钱的AI培训 👨🏾‍🚒 🍏 🦂

诸如Amazon Mechanical Turk之类的Internet平台使公司可以将工作分解为小任务，并将其提供给来自世界各地的人们。他们是使工作民主化还是利用无助的人？

每天早上醒来后，克里斯蒂·米兰德（Kristy Milland）都会在多伦多启动计算机，登录到Amazon Mechanical Turk，然后等待铃声响起。

十多年来，Amazon Mechanical Turk（AMT）是一个在线平台，人们可以在这里以金钱来完成小任务。 Miland正在寻找带有任务建议的出版物（系统中称为HIT），并在任务满足其标准时通知她。 “通知每分钟发送一次，” Miland说。 “我正在从业务中查找，在接受工作机会之前，这是否是一个很好的HIT。”

有时会有小组HIT任务。 “如果正在选择一个小组，现在是午餐，或者我去看医生，或者我需要walk狗，”米兰德说，“我会放弃一切并完成任务。我已连接到计算机。如果仅以此方式可以喂养孩子，就无法离开。”她已经这样做了11年。

米兰（Miland）是500,000名“图尔克”（turker）中的一员，他们是在亚马逊数字平台上执行小任务的合同工，他们称之为mTurk。纽约大学商学院计算机科学教授Panos Ipeirotis表示，生活在世界各地的活跃工人的数量从每月15,000到20,000不等。 Turker的工作时间从几分钟到24小时不等。

谁是土耳其人？根据Ipeirotis的说法，2016年10月，美国游客大部分是女性。在印度，这些人大多是男人。如果以整个星球为例，那么它们的出生年份将在1980年至1990年之间。美国人75％，印度15-20％，其他国家10％。

请求者-将工作外包的人员，公司，组织-分配每个任务的成本，并且这些任务的差异很大。其中包括：
•数据分类；
•粘贴元标记；
•字符识别；
•数据输入；
•电子邮件收集；
•语义分析；
•在视频中做广告。

例如，Miland最近的任务之一是抄写支票的内容。订购此作品的公司将信息从强生，宝洁等公司出售给营销人员和研究部门。为此，他们支付了3美分（约2卢布）。

AMT的早期

Miland自称是数字世界的居民。她说：“我在互联网上遇到了青春期。” 她说，她总是通过使用eBay之类的平台来赚取额外收入的互联网来赚钱。当她偶然发现一篇有关Amazon Mechanical Turk在2005年推出后的点击机会的文章时，这似乎是完美的交易。有关此类作品开发的图像学（英文）（可点击）

在米兰德（Miland）的早期，这似乎不是真正的工作，而是更多的实验。但是在2008-2009年的危机期间，一切都变了。经营幼儿园的米兰德不得不搬家，她失去了收入。同时，我丈夫丢了工作。她开始全职在AMT工作。对于她来说，这意味着每天17小时。 “我们开始将其视为工作。我们从这里开始问，如何工作。”

自2012年以来，洛杉矶的Rochelle LaPlante在AMT工作了整整一天。 Laplant同意Miland的观点，这项工作是不可预测的。 “尚不清楚任务何时发布。可能是凌晨三点。早上9点什么也没做。”

拉普兰特说：“我不像某些人那么固执，因为我喜欢睡觉。”她说，其他人则张贴告示。 “如果请求者在凌晨3点发布请求，则计算机发出信号，电话发出信号，然后他们起床并进行工作。他们要遵守这个时间表。”

Miland和Laplant都没有“正常”的工作日。通常，他们为赚取的金额设置标准。正常情况下，Laplant可以工作8个小时。她说：“但是那是10分钟，现在是20分钟，而且一切都在累积。”

突厥人平均能赚多少钱？很难说。阿德里安·杰伯（Adrien Jabur）来自印度的[Adrien Jabbour]说：“如果您在每天工作4到5个小时的两个月中赚了700美元，就可以算是一项成就。” 米兰德说，最近她在8个小时内赚了25美元，对她来说，这还不错。据皮尤研究中心（Pew Research Center）称，仅一半以上的图尔克人的收入低于美国设定的最低工资标准，即每小时7.25美元。

Laplant谈论了她在工作和生活之间做出的艰难决定。“我必须决定-做工作还是去家庭聚餐？对于靠这笔钱为生的人，在迁离的边缘，这样的决定可能非常困难。”

高级突击队

在AMT工作的人们可悲的现实是，并非所有的Turker都是平等的。亚马逊系统为某些员工分配了“专家” [硕士学位]。当新的请求者放置HIT时，系统会自动搜索此级别的Turker。它给请求者增加了成本，并为员工带来了更多的钱。如果您没有此级别，则工作量会减少。 Miland说，三月的一个工作日中，系统中有4,911个任务。她可以选择393个，只有8％。

但是如何获得专家称号？没有人知道。米兰（Miland）看到，非熟练人员（执行的任务很少，评分较低，虚假或暂停的帐户）是如何获得此头衔的。她说：“在此看不到任何系统。”

亚马逊未发布达到此级别的标准。在Turkers论坛上，关于获得专家级别的理论不同。有时会发布一组任务，而成功应对这些任务的人员将达到此水平。米兰德说：“这需要在正确的时间在正确的地方。”

除了专家级别，还有区域限制。如果您不在美国，那就不好了-许多请求者都将表演者限制在该地区。

薪水

“没有两个完全相同的土耳其人，”拉普兰特说。 “有些人以此为食，另一些人赚零用钱。”

威廉·利特尔（William Little）是TurkerNation的主持人，TurkerNation是来自安大略省的Turkers在线社区。他从AMT获得额外收入。他努力工作三个小时，每天赚15美元。他说：“在大多数情况下，这是可以实现的，这比在职业生涯初期赚钱要好。”但是，支付是许多图尔克人的主要困难。

现在，只有来自美国和印度的土耳其人才能收到钱。包括Miland和Little在内的其他人则收到亚马逊礼品卡。

利特尔（Little）开车去美国边境45分钟，在那里他可以免费送货从亚马逊买东西，然后取货。对于那些想用现金支付的人，有一些解决方法，但是它们通常与收入减少有关。诸如purse.io之类的不同网站可以将礼品卡转换为例如比特币。

“您将您的愿望清单发布在purse.io上。我看到他，决定买一件东西。利特尔说，我定购并发送给您。 -比特币存储在托管中。当您购买时，我会得到比特币。”然后，Little可以出售它们，通过PayPal收款，然后将其转移到银行。 “我为翻译支付两次，这是不值得的。”

另一个问题是无偿劳动。您的工作可能会被拒绝而无需解释。此外，Turkers花费时间评估工作并寻求请求者的声誉。下载脚本，添加工具，检查统计信息。

电脑奴隶

米兰（Miland）和拉普兰特（Laplant）参与了一支看不见的在线员工队伍-培训智能机器的需求日益增长。智能系统逐渐渗透到日常生活中，人工智能越来越被社会所使用。如今，有限的AI版本可以运行各种功能，从虚拟语音助手（如亚马逊的Alexa和微软的Cortana）到支持特斯拉汽车自动驾驶的计算机视觉系统。

这些系统教您如何执行历来对于计算机而言过于复杂的任务，范围从大声理解命令到识别道路上的行人。

通常，大量带标签的示例用于教AI系统如何解决这些复杂的问题。它们会收到大量数据，这些数据已预先标记为该任务的关键任务。例如，可能是带有狗的注释的照片，或者表明“钥匙”一词是指锁还是弹簧的句子。带有示例的汽车学习过程称为监督学习，而图尔克和其他在线工作者通常将其贴上标签。

这样的培训需要大量的数据；某些系统需要数百万个示例才能有效地完成工作。这些集合很大并且不断增长。Google最近在存储库中讨论了包含900万张图像的开放图像数据集。YouTube-8M包含800万个带标签的视频。在ImageNet，最早这种类型的数据库之一，包含了超过14万张图片，分为两类。两年来，它是由50,000人创建的-其中大多数是通过AMT雇用的。他们检查，分类，标记了来自潜在候选人的近十亿张图像。

由于这些数据集的规模，即使分布在许多工作人员中，每个人也必须重复执行相同的操作数百次。这项工作是黑色的，在脑力上非常累。

除了分发快捷方式外，图尔克和其他工作人员还经常清理用于机器学习的数据集。删除重复项，填补空白等。

随着AI的激增，每家技术公司都会使人们参与与机器学习有关的这些微任务。亚马逊，苹果，Facebook，谷歌，IBM和微软-所有最大的科技公司-都有自己的众筹平台，或将这些任务外包给外部公司。这些公司中最大的是Amazon Mechanical Turk和CrowdFlower。

内部微型工作平台，例如微软的通用人类相关系统（UHRS）或Google的EWOK，已得到广泛使用。大约五年前，UHRS启动后，众所周知该平台已在Bing搜索引擎和其他各种Microsoft项目中使用，每月处理750万个任务。

微软首席研究员玛丽·格雷认为，UHRS与Amazon Mechanical Turk非常相似。格雷声称，该公司使用UHRS在“亚马逊机械特克的影响力未得到充分体现”的地区或敏感机密任务的地区招募工人。

“每个对服务自动化感兴趣的公司都在转向类似于AMT之类的平台。实际上，其中许多人直接使用AMT，”她说。

剑桥微软研究中心的研究主管克里斯·毕晓普（Chris Bishop）表示，与AMT等外部平台相比，UHRS使该公司“更具灵活性”。他说，该公司使用AI来自动确定员工的优缺点，例如专业知识的相对水平，这有助于公司为这些员工的绩效分配对重要性的各种评估。

除了协助进行AI培训外，eBay和Autodesk等知名品牌还使用AMT等平台-它们重置了重复和例行的工作，这些工作多年来一直是所有AMT任务的主要部分。

这项不需要技能的单调工作包括许多任务：查看用户创建的图片和其他内容（有时会导致不愉快的体验），营销和科学研究，删除重复的条目，检查产品说明和在线商店的图像。亚马逊自己创建了AMT，用于管理商品分类，对图像和产品进行分类，创建描述，从电子邮件中提取名称，翻译文本，从音频和图片中转录文本，校正拼写，检查地理位置，创建网页设计反馈，评论产品，代表视频的帧的选择以及广告公司收到的有关您关注广告的哪一部分的信息。

我们是怎么做到的？

人们为机器提供协助以执行机器原本无法承受的任务的想法并没有什么新意。尽管最近的AI起飞已令人难以置信地增加了对数据分类的请求，但是Gray认为，这种微任务大约在20年前就遇到了，当时这种工作与通过Microsoft Word等文字处理器改进拼写检查的尝试相关。从广义上讲，在1990年代末和2000年代初的互联网泡沫期间，点击器的工作和微任务的完成甚至发生在在线商店的兴起期间。

在2001年，亚马逊寻求在其快速增长的商店中有效组织产品并解决无法计算机化的仓库问题的新方法，并获得了混合机器/人系统的专利。四年后，亚马逊通过推出Amazon Mechanical Turk，实现了构建数字平台以访问大量在线工作者的目标。

从2015年7月到2016年10月，AMT项目的活跃参与者大约人数。

正如亚马逊所描述的那样，关于获得“人工智能”的可能性的想法受到了许多公司的欢迎。从网上商店到色情网站，所有人都在寻找廉价分类商品的方法。

2015年，平均1278位客户在AMT上发布了他们的任务。而且，尽管不知疲倦的工人所进行的工作量正在增加，尤其是在诸如CrowdFlower之类的站点上，但其确切的数量尚不得而知，因为其中很大一部分是未经记录进行的或再次交给许多工人。

而且，尽管根据亚马逊网站上的信息，已经有50万人注册了AMT的工作，但是从这些数字来看，人们还不清楚人们如何使用众筹平台-作为全职工作还是兼职工作。

世界银行的一份报告《在线外包的全球机遇》估计，两个最大的微任务处理平台Amazon Mechanical Turk和CrowdFlower在2013年的总收入约为1.2亿美元。牛津互联网学院副教授兼首席研究员维利·莱顿维尔塔（Vili Lehdonvirta）教授认为，这一数字占全球劳动力市场的5％至10％，但指出了在非英语平台上获得真实就业数据的困难。

其他答题器费用

这种工作的单调性会对执行该工作的人们造成不良后果。她会严重破坏其中一些人的身心健康。

“我醒来无视其他一切，”米兰德说。 “我的家人为我准备食物，并将其留给我，以便我在工作时可以吃饭。”我在电脑上吃饭，看不到家人。如果我的女儿需要帮助做家庭作业，则需要联系父亲。到了我手腕出现潮气的地步。我手上的韧带不断受伤。我很幸运，当我丈夫在家时，我没有这样的工作。如果家庭作业人员听到我的计算机打来的电话，表明工作是高薪的，他们会说：“快点，快点，快点！” ”。

来自印度南部的图尔克（Manish Bhatia）担任MTurk论坛的自愿主持人已有将近两年，现在正在主持两个论坛。他被要求做的最奇怪的事情是将自己躺在躺在被玫瑰花瓣包围的浴缸中的自己。他说：“这很奇怪。”关于奇怪的图像，他还抱怨有时他不得不看令人不愉快的照片。他说：“事前一无所知。” “您以后可以逃避工作。”但是在这种情况下，您将无法获得报酬，并且会浪费时间。

米兰德也抱怨这种经历。 “人们告诉我，”哇，你在家工作吗？你真幸运！'，她说。 -您不能告诉他们，今天我为这些图片分配了图片，并且所有图片都与ISIS相关联。例如，有一个带有切头的篮子。我最近看到了这个。我不得不标记一个正在燃烧的人的视频。他们为每张照片支付了10美分。”

不仅Miland必须标记图形或模糊图像。 Laplant说：“昨天，在下一组YouTube视频中，有很多斩首。在底部有一个选中标记，称为“不适当的内容”，然后单击“提交”。这项工作对于防止在线上出现不愉快的内容可能很重要，但也会损害执行该内容的人员。作品付款并不总是与为YouTube或其用户完成的作品的价值相对应。

利特尔说，他经常不得不标记色情视频或照片。利特尔说：“只有当我遇到儿童色情制品时，我才例外。” “我还将此事报告给了亚马逊的要求者。”但是关于流血事件和欺凌，利特尔说这是“工作的一部分”。

完成任务后，将无法找出结果如何。 “我想知道是否有人会看这个？”我希望可以将其报告并删除，Laplant说。 -有人偶然发现了儿童色情内容，选中了该框，但有人会检查并调查吗？我们不知道。”

请求者使用假名工作，没人知道谁下达了这项工作。 Laplant将其称为“狂野西部”。并且，当请求者为图尔克斯分配评分时，图尔克斯无法对请求者进行评分。

她说：“您在人群中标记了面孔，但也许有人在烹饪带有恶意目的或类似目的的东西。” “您不知道自己在做什么，没有任何信息。”

“这被称为替代性创伤，”加拿大大学心理学教授约翰·苏勒（John Suler）说。莱德（Ryder）专攻网络空间行为。 -第一次看到可怕图像的人也会发生同样的事情。他们受伤了。”据他说，我们并不总是了解这种心理后果。 “我们的思想变得免疫，”苏勒说。 “但是潜意识却不这样做-它吸收了一切。”我们低估了我们在网上看到的一切如何影响我们的潜意识。”

以这种方式工作的人们会找到在线论坛，以彼此联系，分享故事，表达同情并互相支持。 “围绕内容的付款和审核存在很多问题，” Miland说。 “在这样的地方，您可以找到社会支持。”

每个公共平台都有其自己的特征。论坛MTurk论坛相似，在办公室冷却器的谈话。相反，据米兰德说，Mturkgrind “似乎更加关注生产力和效率。” TurkerNation “致力于回答问题并帮助初学者了解该系统。”

还有一个名为Mturk Members的Facebook封闭团体，该团体已有4436个成员。他们提出问题，夸耀自己的收入并互相支持。

Laplant和其他三名妇女创建了MTurk Crowd论坛，以帮助Turkers找到合适的资源并尽力而为。还有更多论坛，subreddits和其他在线平台。

有一个供WeAreDynamo.org员工使用的网站。亲爱的杰夫·贝索斯（Dear Jeff Bezos）竞选活动就是在这里开始的。竞选活动试图使“突厥人”人性化，赋予积极参与该平台生活的人们投票的权利。他们分享了经验，并对工作性质表示关注。

但这几乎没有改变。尽管印度工人有机会通过电汇获得薪水，但亚马逊和杰夫·贝佐斯都没有直接向竞选活动提出申请。

不知何故，与亚马逊进行交流几乎是不可能的。 “缺乏支持令人讨厌，”巴蒂亚说。 “没有聊天，没有电话。”唯一的交流方式是通过电子邮件，以回应标准回复。

利特尔说：“他们做出的决定让我感到非常困惑，而第一个原因就是缺乏沟通。他们为什么不想要这样做？不太可能是因为提起诉讼，因为他们的工作规则明确禁止此类事情。”

她说，米兰（Miland）与律师交谈，但“没有人会支持工人抗击亚马逊。”亚马逊拒绝沟通。 “既不是失败，也不是改善，也不是我们增加利润的建议，什么也没有。”

加利福尼亚大学圣地亚哥分校的讲师Lilly Irani正在研究“高科技工作方法的文化政策”。伊朗人参加了这项研究在2013年，在此期间，科学家详细研究了Turkers论坛。进行这项研究是为了了解联合行动如何发挥作用，例如，诸如Dynamo（Turker的集体平台）和Turkopticon之类的项目，该项目使Turker可以撰写工作评语并给他们评分。在《 Turkopticon：Amazon Mechanical Turk中工人的隐形隐患》中，作者指出：“我们声称AMT正在基于其员工构建基础架构并隐藏他们的工作，将其转变为技术人员的计算资源。”

尽管工作条件差，Miland和其他人仍然依靠AMT收入。米兰的健康状况使她无法寄希望于传统的工作。她说：“我试图在麦当劳找到一份工作，但他们没有雇用我。”

人们与AI合作

微软公司的格雷认为，这种按需就业将逐渐演变成人类+人工智能系统，其中人与机器的共生将出现。

图表和任务表Christie Miland。已提交-已完成，但尚未确认为合法任务。已批准-已付款。已拒绝-工作已完成，但请求者不接受结果或未付款。

她指的是虚拟助手（例如Facebook M）的出现或支持聊天机器人（例如IPsoft的Amelia）的出现，人们在其中使用AI处理请求，或者AI处理请求，并且在机器无法处理的情况下由人来控制。随着时间的流逝，此类系统会根据人们的响应进行培训，并逐渐增加他们处理的请求范围。

越来越多的服务使用专门的AI执行简单的任务，而人们则执行更复杂的任务。主要的众包中心之一CrowdFlower最近启动了一个机器学习平台，旨在执行人们以前需要解决的任务。人们必须“ 专注于更复杂的案例并帮助MO模型学习”。这种方法可以自动完成大量的体力劳动，但乐观的预测表明，尽管人们执行的工作百分比将减少，但随着使用人工+人工智能系统的请求数量的增加，工作总数不会减少。

汽车仍需要多长时间？

但是人们仍然需要培训智能系统多长时间？人工智能已经可以应付人们以前执行的许多任务。

在AMT推出一年后的2006年，亚马逊董事Jeff Bezos曾说过，要了解照片中是否有人，需要一个人，现在这个问题可以通过深度学习系统，在诸如百度，Facebook，谷歌和微软。这是否意味着为人们提供今天，明天的就业的微任务将转移到机器领域？

Ledonvirta认为对与AI相关的微任务的需求不会得到满足。他预测，机器学习可以解决的任务越多，人们需要处理的数据就越多。 “这是一个移动的目标。他说：“任务有很多选择，我认为这样的工作不会在不久的将来结束。”

Bishop相信，在不久的将来，人工智能将通过人们的指导下的受控训练和不受控制的方式来训练混合动力。 Gray认为很长一段时间都需要人们的参与：“此外，人们的需求将会增加，因为要自动化的任务数量会增加，”她说。 “如果我们以自然语言处理或模式识别的早期示例作为样本，那么很明显，系统中的工作量远远超过了。”

南安普敦大学电子与计算机科学副教授Sarvapali Ramchurn博士使用一个图像识别示例来说明人们仍然需要做的工作量。 “我们还没有接近极限。图像标记仍然需要人类参与收集这些图像的任何区域。”

他说，在如此多的环境中（无论是光线，阴影还是部分遮挡）都可以拍摄照片，以至于“即使对5千万张图像进行分类，在所有可能的情况下，在其中捕获的物体中也只有一小部分会被准确分类。” 他补充说，如果您将工作范围扩展到语音识别，理解自然语言，情感识别以及使用AI的许多其他领域，将会发现工作流程不会枯竭。此外，社会正在不断发现AI的新用途。“需求可能只会增长，我们将看到更多的系统以新的方式将人员和AI的工作结合起来，以解决实际问题。”

服务即服务

无论将来是否需要培训人才，AMT型平台的日益普及反映了劳动力市场的持续变化。

格雷认为，就像全球通信的加速使外包越来越多的业务任务成为可能一样，众包平台以及大量的宽带互联网接入将改变劳动力市场。她说：“我们能够将全职工作分解为多个部分，以便可以由不同地方，不同时区的不同人员全天候进行。” “我们不仅简化了工作或降低了实施所需的资格，而且将其分解为不同的人群可以使用的模块。” Gray相信，将来，这种在微任务之间切换的工作方式将被普遍接受。

她说，由于在线平台已经更好地学习了如何快速地将客户与具有完成任务所需经验的表演者联系起来，因此，微观工作实践的使用将会普及和增长。 Gray说：“我们看到的工作是通过API进行分配，计划，管理，付款和发送最终结果的行业。” “这一切都随着我们鼻子下面爆炸的速度而发展。”

Ledonvirta同意Gray的观点，即计算机系统将越来越多地控制劳动力的分配。他说：“诸如使用计算机来组织工作，使用特殊平台来规范工作关系之类的东西越来越受欢迎。”

格雷说，随着越来越多的人连接到互联网以及众包平台的普及，政府应该开始关注这如何影响人们的生活。她说：“我们仍然必须了解这种方法到底将如何改变大多数人的工作方式。” “这个过程已经进行了30年。我们没有注意他，因为他没有影响当权者及其子女。”

亚马逊众包：半百万人如何获得一分钱的AI培训