O primeiro caso de trapaça do mundo em pesquisa de IA

O Imagenet Challenge é uma competição internacional para sistemas de reconhecimento de padrões. De acordo com as condições, um programa de computador deve reconhecer e classificar vários objetos em imagens digitais, identificando uma das 1000 categorias temáticas.

Muitas grandes empresas participam da competição, que aloca grandes orçamentos para tais desenvolvimentos. Portanto, as notícias sobre a trapaça da empresa chinesa Baidu causaram um verdadeiro escândalo: eles dizem que este é o primeiro caso de fraude no desenvolvimento de sistemas de inteligência artificial. Como resultado, o Baidu é excluído da competição Imagenet para o próximo ano.

O Desafio Imagenet é comparado com o teste de Turing para sistemas de IA, embora a tarefa aqui não seja uma conversa significativa, mas o reconhecimento de padrões. Mas essa também é uma tarefa muito importante para a IA.

Em um artigo científico , os engenheiros do Baidu descrevem um supercomputador que supostamente mostra um resultado melhor no reconhecimento de objetos do que projetos anteriores, incluindo os do Google e Microsoft. Os chineses disseram que seu programa mostrou uma baixa taxa de erro recorde de 4,58%, enquanto o número do Google foi de 4,82% e o da Microsoft, de 4,9%.

O Baidu publicou a publicação no Arxiv.org eletronicamente. Os artigos são publicados neste site sem verificação prévia. A situação foi agravada pelo fato de que, alguns dias depois, as notícias sobre a "conquista" dos engenheiros chineses foram reimpressas pelo MIT Technology Review e outras publicações científicas. Apenas três semanas depois, o fato de trapacear foi revelado e o artigo foi atualizado.

A investigação mostrou que o Baidu registrou pelo menos 30 contas para participar do Imagenet Challenge e, nos últimos seis meses, apresentou mais de 200 aplicativos com resultados, incluindo mais de 40 aplicativos em um período de cinco dias em março de 2015.

O Baidu depois se desculpou publicamente por sua ação.

Essa história mostra mais uma vez que a pesquisa no campo do reconhecimento de padrões é agora uma das principais direções da TI, mesmo que as grandes empresas não tenham vergonha de usar esses truques para se colocar à frente da concorrência.

Source: https://habr.com/ru/post/pt380701/