Os funcionários do YouTube procuram ódio no vídeo. A IA observa e aprende


Anúncio de filme da BBC ao lado do vídeo Revivalismo Nacionalista da Polônia

Todos os dias, centenas de pessoas em diferentes partes dos Estados Unidos (e talvez no exterior) ligam seus computadores e começam a assistir ao YouTube. Mas eles não fazem isso por prazer, muito pelo contrário. As pessoas estão cansadas desse trabalho, mas esses são os requisitos do empregador temporário do Google - eles devem assistir a vídeos, procurar expressões de ódio em legendas e discursos, marcar o vídeo como "ofensivo" ou "sensível". Tudo para que, Deus proíba, os anúncios de um grande anunciante, que seriam sufocados por apoiar financeiramente racistas e pecados semelhantes , não entrem em tais vídeos. Isso foi enfrentado pelo Walmart, PepsiCo e Verizon, entre outros.

O YouTube e o Google recentemente se viram no centro do escândalo das atividades do comerciante Eric Feinberg, que se propôs a erradicar o mal na Internet - distribuindo sites e vídeos que combinam grupos e comunidades de ódio com palavras-chave como "matar os judeus". Feinberg publicou links e capturas de tela desses sites e vídeos no YouTube, que são bem-sucedidos ao colocar anúncios que incluem marcas conhecidas. Graças ao ativista, o problema atingiu o nível da mídia nacional, surgiram muitas publicações com exemplos de como um anúncio de uma empresa em particular aparece em um videoclipe com linguagem obscena ou declarações odiosas.

Como resultado, o YouTube foi forçado a restringir a verificação do conteúdo no qual os anúncios são colocados. O Google, no blog oficial, prometeu recrutar mais pessoas que monitorarão a conformidade com as regras para impedir a exibição de anúncios em páginas com conteúdo inadequado.

O Google manteve sua promessa - e contratou muitos trabalhadores temporários ("tempos") através do ZeroChaos e de outras agências terceirizadas para contratar funcionários temporários. Eles trabalham remotamente e assistem a vídeos do YouTube em suas casas, etiquetando e classificando conteúdo agressivo.

É claro que nem mil "ritmos" serão capazes de ver todos os vídeos que a humanidade enviar ao YouTube. De acordo com as estatísticas mais recentes, são baixadas 400 horas de vídeo por minuto , ou seja, aproximadamente 600.000 horas por dia. Se assumirmos que para avaliar o vídeo, você precisa assistir 10% de sua duração, a moderação total exigirá a presença de 7.500 funcionários que trabalham em turnos de 8 horas ( (600000/10)/8=$750) Levará quase um milhão de dólares por dia para pagar essa quantidade de funcionários.

Portanto, o Google vê a equipe de proteínas como uma solução temporária antes de integrar um sistema de IA de silício normal que categorizará os vídeos de maneira com qualidade. De fato, agora o "ritmo" está realizando o treinamento da rede neural usando exemplos, mostrando exemplos de vídeos "ofensivos" e "delicados".

Eric Feinberg disse que, ao longo dos anos de pesquisa "compilou um banco de dados de milhares de palavras e frases associadas a atividades vis". Por exemplo, uma dessas palavras é a palavra sérvia "hanva", que se correlaciona com a atividade dos jihadistas. Na sua opinião, o Google levará muito tempo para compilar essa base, por isso é melhor comprar uma licença dela. Mas o Google, como vemos, seguiu seu próprio caminho. "O problema não pode ser resolvido por pessoas e não pode ser resolvido com a ajuda de pessoas", afirmou Philippe Schindler, diretor comercial do Google, inequivocamente, em uma entrevista recente à Bloomberg .

Os funcionários que classificam os vídeos estão cientes de que treinam IA. Ao mesmo tempo, os funcionários estão confiantes de que a IA não lidará com a tarefa, porque a classificação desse tipo de conteúdo é uma questão muito delicada. Eles precisam de olhos humanos e um cérebro humano para identificar qual conteúdo é ofensivo, dizem eles. A esse respeito, lembro-me da definição alada de obscenidade do juiz americano " eu sei quando o vejo " .

Mas o Google pensa de maneira diferente e, agora, ao classificar vídeos, eles exigem desempenho máximo dos moderadores. As prioridades mudaram, agora o desempenho tem precedência sobre a precisão; em alguns casos, eles exigem uma classificação para um vídeo por hora após alguns minutos de visualização. Os moderadores usam maneiras diferentes de economizar tempo: digitalize títulos rapidamente, role o vídeo em movimentos bruscos por 10 segundos. Eles trabalham com um cronômetro que mostra constantemente o tempo gasto na tarefa e o prazo estimado. Como resultado, é necessário não apenas marcar o vídeo como "inadequado", mas mostrar uma categoria específica: "Linguagem inadequada" (subcategorias: palavrões, incitação ao ódio), "Crueldade" (subcategorias: terrorismo, guerra e conflito, morte e tragédia etc.) , “Drogas”, “Sexo / Nudez” (subcategorias: conteúdo ofensivo, nudez, outros). O moderador também deve indicar "outro conteúdo sensível" se um vídeo provocador de excitação sexual ou conteúdo "sensacional e chocante" for exibido. Alguns materiais simplesmente não se enquadram nessas categorias, o que complica o trabalho dos moderadores. É especialmente difícil julgar quando as pessoas em um vídeo falam um idioma estrangeiro (o Google está recrutando ativamente moderadores com conhecimento de idiomas estrangeiros).

O Google também injeta itens de teste com uma resposta conhecida no fluxo para verificar a qualidade dos moderadores.

Os moderadores dizem que já viram o suficiente de todos: suicídio e tanta crueldade, depois de assistirem a uma pausa de várias horas para se recuperar.

Após o lançamento do programa de classificação de conteúdo em 2004, a ABE pagou aos moderadores US $ 20 por hora pelo trabalho duro no "remoto". Se os nervos puderem suportar, as horas extras podem funcionar. Em seguida, a ABE adquiriu a WorkForceLogic e, em 2012, a ZeroChaos. Até o momento, as condições de trabalho pioraram: os salários foram reduzidos a humilhantes US $ 15 por hora, e a semana máxima de trabalho foi limitada a 29 horas. Esses funcionários do Google não têm férias pagas, eles podem perder o emprego a qualquer momento. E o mais triste é que todos os dias eles aproximam sua demissão, enquanto treinam a máquina para fazer seu trabalho.

Source: https://habr.com/ru/post/pt403399/


All Articles