杰西·巴塔格里亚（Jesse Bataglia）的儿子贝内特（Bennett）在加利福尼亚牧场米拉奇（Ranch Mirage）的家中。 为了寻找新的保姆，Batalha开始使用Predictim，这是一种在线服务，据称使用“先进的人工智能”来评估保姆将沉迷于毒品，表现激进或表现出“不良举止”的风险。当杰西·巴塔格里亚（Jesse Bataglia）开始为她的一岁儿子寻找新的保姆时，她希望获得有关该员工的更多信息，而没有犯罪记录，父母的评论和个人访谈。 因此，她转向在线服务Predictim，使用“先进的人工智能”评估保姆的身份，并将其扫描仪发送到候选人之一在Facebook，Twitter和Instagram上的数千个帖子中。
该系统对一名24岁女孩进行了自动“风险评估”，声称使用毒品的风险“很小”。 但是，系统对恐吓，侵略，不尊重和不良举止的风险等级稍高-在5分中占2分。
系统不解释其决定。 然而，认为保姆完全值得信赖的巴塔哥利亚突然开始怀疑。 “社交媒体显示了一个人的身份，”现年29岁的巴塔格利亚（Bataglia）说，他住在洛杉矶郊区。 “为什么分数2不是1？”
Predictim为父母提供与其他数十家技术公司向全球雇主出售的服务相同的服务：人工智能系统，用于分析人类的言语，面部表情和在线状态记录，同时承诺揭示其个人生活的秘密方面。
技术正在改变一些公司寻找候选人，雇用和评估工人的方式，通过新一波的侵入性心理评估和监视为雇主提供了无与伦比的候选人评估。
Fama声称他们正在使用AI监视工人的社交网络中是否存在“有害行为”，以警告其老板。 HireVue是一家招聘技术公司，与Geico，Hilton和Unilever等公司合作，提供了一个系统，该系统可以在视频采访中自动分析候选人的语气，单词选择和面部表情，并预测其技能和举止（以提供更好的结果，向候选人提供更多信息）微笑）。
但是批评家认为，像Predictim这样的系统本身就带有危险，留下了自动解决方案，无需任何检查就能改变一个人的生活。
系统依赖于基于黑匣子的算法，这些算法几乎不会产生关于如何将一个人的内心生活的所有复杂细节缩减为计算其正面和负面方面的任何细节。 尽管Predictim技术会影响父母的思维，但它仍然是完全未经证实的，几乎无法解释的，并且容易受到与正确的保姆应如何在社交网络，表情和言语中表现有关的感知扭曲的影响。
技术倡导组织数字民主中心执行主任杰夫·切斯特（Jeff Chester）说：“在控制AI和做出各种决定而没有任何人举报的情况下，存在一场疯狂的竞赛。” “人们似乎喝醉了数字苏打水，他们认为这是管理我们生活的一种正常方法。”
Predictim扫描过程分析了社交网络上整个保姆行为，对于许多最年轻的保姆来说，这可以捕获他们的大部分生活。 同时，保姆被告知，如果他们拒绝接受这样的扫描，这将是在竞争工作中的严重不利条件。
Predictim首席执行官兼联合创始人Sal Parsa表示，该公司上个月成立，是SkyDeck的加利福尼亚大学伯克利分校技术孵化器的一部分，它认真对待使用其技术的道德问题。 他说，父母应该将评级视为顾问，这“可能反映了，也许没有反映保姆的真正特征。”
他补充说，雇用有问题或暴力的保姆的危险使AI对于任何试图保护孩子安全的父母来说都是必不可少的工具。
他说：“搜索Google来发现保姆的滥用情况，您会发现数百个结果。” -有些人患有精神疾病或只是生气。 我们的目标是尽一切力量阻止他们。”
扫描Predictim的费用为$ 24.99起，对于她来说，您需要告诉她可能的保姆的姓名和电子邮件，并获得她的同意以广泛访问她在社交网络上的帐户。 保姆可以拒绝，然后父母会收到有关此事的通知，而保姆本人也会收到一封信，说：“对您感兴趣的父母只有在您遵守要求之后才能雇用您。”
预测经理说，他们使用算法来处理语言和图像，“计算机视觉”，评估Facebook，Twitter和Instagram上的保姆帖子，并寻找有关其离线生活的线索。 该报告仅由父母接收，不需要与保姆分享他的结果。
父母可能可以自己看看社交网络上的公共保姆帐户。 但是，计算机报告有望对多年的在线活动进行深入评估，简化为一个数字：对几乎不可能完成的任务的一种诱人的简单解决方案。
风险评估分为几类，包括公开内容和药物滥用。 该初创公司还通过广告宣称其系统能够评估保姆人格的其他特征，例如礼貌，与他人合作的能力和“积极性”。
该公司希望改变价值数十亿美元的“外包父母责任”行业，并且已经开始通过赞助“母亲”的育儿博客和网站来做广告。 营销策略侧重于宣布的机会，以揭露秘密并防止“任何父母的噩梦”，并且该广告援引了刑事案件，例如，肯塔基肯塔基的保姆因对一个八个月大的孩子造成严重身体伤害而被定罪。
该公司的营销声明说：“如果这个受护士影响的女孩的父母可以在候选人批准过程中使用Predictim，那么他们将永远不会把她独自陪伴着自己的孩子。”
但是，技术专家表示，该系统会自行发出警告，这是出于父母的担心，他们会以未经验证的准确性出售个性扫描结果。
他们还提出了这样的问题，即这种系统如何训练以及它们对由保姆使用社交网络带来的不确定性可能导致的错误的脆弱性。 父母只会收到有关可疑行为的警告，而没有某些短语，链接或其他细节可以做出决定。
当对一名保姆的扫描发出警告，警告她可能受到迫害时，一位兴奋的母亲要求进行评估，她说她无法确定程序是否注意到了一段旧电影，歌曲或她为真正危险的陈述所使用的其他短语的引用。 。
杰西的电话演示了Predictim应用程序的结果民权组织电子前沿基金会的律师杰米·威廉姆斯（Jamie Williams）说，就当今用于评估文字和照片含义的大多数算法而言，众所周知它们缺乏人类情境和常识。 即使是像Facebook这样的科技巨头，也难以创建能够区分无害评论和愤怒评论的算法。
“您如何尝试使用此系统评估青少年：他们是孩子！ -威廉姆斯说。 -孩子们有自己的笑话，他们以嘲讽闻名。 “人们可能将算法视为“不良举止”，可以视为政治言论或合法批评。
当系统出现问题时（例如，说保姆正在滥用毒品），父母将无法找出错误原因。 明确的评级和对系统准确性的评估可以使父母对它的准确性和威权主义的期望远超过一个人所能保证的。 结果，父母将倾向于雇用原本会避免的保姆，或者离开已经获得信任的人。
Upturn华盛顿智库的首席分析师Miranda Bogen说：“没有度量标准可以准确地说明这些方法是否能像创作者所说的那样有效。”该机构研究自动决策和裁决算法的使用。 “这些技术的吸引力可能会超出其实际功能。”
24岁的保姆玛丽莎·尼尔森（Malissa Nielsen）在巴塔哥利亚（Bataglia）工作，最近又给其他两个家庭提供了社交网络，供他们在Predictim进行评估。 她说，她始终对社交网络保持谨慎，并决定可以共享更多信息而不会伤害自己。 她每周去教堂，不发誓，并完成了在教幼儿方面的老师教育，此后她希望开设一个幼儿园。
但是，当她得知该系统由于不尊重和欺凌而给她的评分不理想时，她大为惊讶。 她认为，允许父母研究自己在社交网络上的存在，而不是研究算法-这是对她个性的批判性分析。 她也没有被告知可能会损害她唯一收入来源的测试结果。
“我想对此问题有所了解。 为什么这个程序这么想我？ -尼尔森说。 “计算机没有感觉；它无法检测到所有这些。”
美国人仍然不相信其决定会影响他们的日常生活的算法。 在本月皮尤研究中心的一项调查中，有57％的受访者认为自动处理求职者的简历是“不可接受的”。
尽管如此，Predictim报告称他们正在准备将工作扩展到全国。 数以百万计的父母访问了在线保姆服务机构Sittercity的经理们正在谈论启动一项试点计划，该计划将把Predictim的自动评分纳入当前的自动评分和服务检查集。
“找到保姆充满了不确定性，” Sittercity产品负责人Sandra Dainora说道，他相信这样的工具很快就会成为在线在线看护者的标准。 “父母一直在寻找最佳解决方案，最全面的研究，最可靠的事实。”
预测经理还认为，他们可以认真扩展系统的功能，并对保姆的私人生活进行更多的个人评估。 技术总监乔尔·西蒙诺夫（Joel Simonov）表示，该团队有兴趣通过分析社交网络上保姆的活动，并通过诸如Myers-Briggs类型学的性格测试将其故事传递给父母，以获取“有用的心理测量数据”。
社交媒体挖掘和Predictim对大众心理分析的兴趣类似于Cambridge Analytica的野心，Cambridge Analytica是一家政治咨询公司，致力于支持特朗普的竞选活动，然后将Facebook纳入全球身份丑闻。 但是，Predictim领导人声称已经建立了内部安全检查，并正在努力保护保姆的个人数据。 西蒙诺夫说：“如果我们有一个保姆的数据泄漏，那将不会很酷。”
专家担心，基于AI的评分系统将预示着未来，人们收到的任何与育儿无关的工作都将取决于机器。 许多招聘和招聘公司已经在建立或投资于可以大规模分析候选人简历并发布自动候选人评级的系统。 类似的AI系统-包括由Google创建的技术孵化器Jigsaw-用于跟踪有关骚扰，威胁和残酷行为的在线评论。
但是，已经不止一次地证明了寻找员工的算法如何掩盖可能破坏一个人职业的缺陷。 Amazon.com在得知该算法非法低估女性后停止开发该招聘算法，因为该公司的招聘历史遵循技术行业雇用男性的趋势，教导该系统偏爱男性候选人。 该公司表示，他们从未使用过该程序来评估候选人。
一些AI专家认为，这样的系统能够严重夸大与年龄或种族有关的偏见，例如，比其他人更频繁地标记某些人群的重要单词或照片。 他们还担心Predictim会迫使年轻的保姆为了工作而分享他们的个人数据。
但是，戴安娜·沃纳（Diana Werner）是住在旧金山郊区的两个孩子的母亲，他认为保姆应该自愿分享个人信息，以帮助他们的父母放心。 她说：“验证传记是一件好事，但Predictim会深入研究该问题，剖析个人-他们的社会和知识地位。” 她补充说：“在她住的地方，“ 100％的父母会想使用这样的服务”。 “我们都想得到完美的保姆。”