成千上万的公司使用亚马逊的Rekognition机器视觉服务来搜索用户上传的淫秽图像和视频

亚马逊备受争议的Rekognition技术已经用于从食品网站中删除阴茎图像。 至少这是其用法的一个例子。 在某个时候,总部位于伦敦的送餐服务Deliveroo遇到了内容审核问题。 如果遇到食物问题,Deliveroo客户会发送一张饭菜的照片以及投诉。 而且他们经常用生殖器进行光弹轰炸。 或制作淫秽的食物图片。 是的,真的。
因此,事实证明,Deliveroo员工并不总是希望处理此类内容。 因此,该公司使用Rekognition识别淫秽照片,并在人们看到照片之前对其进行模糊处理或将其删除。
问题传递呈现了一个逐渐复杂的问题的奇怪方面。 许多在线公司都以某种方式依赖用户生成的内容。 近年来,我们越来越多地渗透到人性黑暗面的这一内容中。 内容审核已成为当务之急,因为网站越来越多地面临令人不快的内容,例如虚假新闻,暴力,假冒伪劣,霸凌,攻击性言论和用户创建的其他有毒内容。 如果您是Facebook,那么为解决此问题,您可以开发自己的AI或聘请主持人大军-或同时做这两者。 但是,资源很少的小型公司通常不具备此功能。 这就是亚马逊的内容审核服务的帮助所在。
该服务是Amazon Web Services提供的Rekognition计算机视觉服务包的一部分。 由于该公司
同意为美国移民服务提供
面部识别服务,因此在媒体上
受到了很多
批评 。 在Rekognition网站上,您可以找到使用该服务进行跟踪的其他示例-例如,能够识别从视频的不同角度拍摄的汽车号码,或使用摄像机记录来
跟踪人的
路径的能力 。
也许是为了寻找更佳的计算机视觉服务形象,亚马逊首先谈到使用Rekognition来监督用户内容,以消除暴力和and亵行为。 该服务使您可以识别上传到网站的图像和视频中不安全或令人不快的内容。
而且这项业务正在增长。 “用户生成内容的作用每年都在爆炸式增长-今天,我们已经每天与朋友和亲戚在社交网络上共享2-3张图片,”亚马逊亚马逊副总裁Swami Sivasubramanyan告诉我。 Shivasubramanyan说,亚马逊早在2017年就开始响应客户要求提供内容审核服务。
公司可能会为Rekognition付费,而不是雇用人们学习可下载的图像。 像使用AWS的其他服务一样,它使用按使用付费的模型,其
成本取决于神经网络处理的图像数量。
约会服务成为内容管理的第一批用户并不奇怪-他们需要快速处理上传到用户个人资料的自拍。 亚马逊表示,交友网站Coffee Meets Bagel和Shaadi正是出于此目的使用此服务,例如葡萄牙语灵魂网站,该网站可帮助人们创建交友网站。
人工智能不仅在寻找裸体。 经过训练的神经网络可以识别任何可疑内容,包括武器或暴力图像,或通常令人不快的图像。 这是
Rekognition网站的分类菜单:
明确的裸露内容:
- 裸体
- 男性裸体的图形描绘;
- 裸体女性身体的图形图像;
- 性活动;
- 展示裸体或性行为
- 成人玩具。
可疑内容:
- 妇女的泳衣或内衣;
- 男士泳裤或内裤;
- 半裸的身体;
- 坦率的衣服。
暴力内容:
- 暴力或鲜血的图形表示;
- 身体虐待;
- 枪支暴力;
- 武器
- 对自己造成伤害。
干扰视觉内容:
如何运作
像AWS上的所有内容一样,Rekognition在云中运行。 公司可以告知服务需要查找哪种图像。 然后,它会馈送从用户那里收到的照片和视频-在许多情况下,它们仍然可以存储在AWS服务器上。
神经网络处理图像,搜索该内容并记录任何潜在的不愉快内容。 神经网络生成描述图像内容的元数据,以及对所发布标签的置信度百分比。 看起来像这样:

客户端程序已经处理了该数据,该客户端程序根据已编程的业务规则决定如何处理已处理的图像。 它可以自动删除,跳过,模糊其中的一部分,或将其发送给主持人进行审核。
深度图像处理神经网络具有许多层。 它们每个都评估代表图像各个方面的数据,执行计算,然后将结果发送到下一层。 首先,网络处理低级信息,例如基本形式或图像中人的存在。
Shivasubramanyan解释说:“然后,她越来越多地不断完善数据,下一层变得更加具体,依此类推。” 神经网络逐步,逐层地确定图像的内容。
AWS AI副总裁Matt Wood表示,他的团队正在针对多套数百万个私有和公开访问的图像训练计算机视觉模型。 他说,亚马逊不为此目的使用从用户那里收到的图像。
逐帧
一些最大的Rekognition客户端不使用此服务来审核用户生成的内容。 亚马逊表示,拥有庞大数字视频库的大型媒体公司希望从这些视频中了解每一帧的内容。 Rekognition神经网络可以处理视频的每一秒,使用元数据对其进行描述,并标记潜在的危险图像。
伍德告诉我:“机器学习最擅长的任务之一就是进入视频或图像并提供更多上下文。” “可以说,'在这个视频中,一个女人带着狗沿着湖岸散步',或者'描绘了一个衣冠楚楚的男人。” 他说,在这种模式下,神经网络能够高精度地识别图像中的危险,有毒或不雅内容。
但是,计算机视觉这一领域尚未成熟。 科学家们仍在寻找优化神经网络算法的新方法,以便他们可以更准确,更详细地识别图像。 伍德说:“我们尚未达到利润递减的状态。”
Shivasubramanyan告诉我,仅上个月,从事计算机视觉的团队就将误报(误认为图像很危险)的数量减少了68%,将误报的数量减少了36%。 他说:“我们有机会提高这些API的准确性。”
除了准确性之外,客户还要求对图像进行更详细的分类。 AWS网站表示,该服务仅提供不安全图像的主要类别和一个子类别。 因此,例如,系统可以给出图像包含裸体作为主要类别,而性行为作为子类别。 第三子类别可以包含性活动类型的分类。
“到目前为止,这台机器倾向于事实并且可以按实际方式工作-它会告诉您'那里显示了这一点,” AWS的顾问Caltech的计算和神经系统教授
Pietro Perona说。 -但是科学家们希望超越这个框架,不仅报告那里所描绘的内容,而且报告这些人认为正在发生的事情。 结果,这个领域希望朝这个方向发展-不仅仅是给出图片中显示的清单。”
这种细微的差异对于内容审核至关重要。 图像是否包含潜在的令人反感的内容可能取决于那里所描绘人物的意图。
甚至“不安全”和“虐待”图像的定义也非常模糊。 它们可能会随着时间而变化,并取决于地理区域。 Perona解释说,上下文就是一切。 暴力形象就是一个很好的例子。
佩罗纳说:“暴力在某种情况下是不可接受的,例如叙利亚境内的真实暴力,但在另一种情况下则可以接受,例如足球比赛或塔伦蒂诺电影中的场景。”
与其他AWS服务一样,Amazon不仅向其他人出售内容审核工具:它是自己的客户。 该公司表示,它使用这项服务将用户生成的内容分类为附在商店评论中的图像和视频。