Le premier cas de tricherie au monde dans la recherche sur l'IA

Imagenet Challenge est un concours international de systèmes de reconnaissance de formes. Selon les conditions, un programme informatique devrait reconnaître et classer un certain nombre d'objets dans des images numériques, en identifiant l'une des 1000 catégories thématiques.

De nombreuses grandes entreprises participent au concours, qui allouent de gros budgets à ces développements. Par conséquent, la nouvelle de la tricherie de la société chinoise Baidu a provoqué un véritable scandale: ils disent que c'est le premier cas de fraude dans le développement de systèmes d'intelligence artificielle. En conséquence, Baidu est exclu du concours Imagenet pour l'année prochaine.

Le défi Imagenet est comparé au test de Turing pour les systèmes d'IA, bien que la tâche ici ne soit pas dans une conversation significative, mais dans la reconnaissance des formes. Mais c'est aussi une tâche très importante pour l'IA.

Dans un article scientifique , les ingénieurs de Baidu décrivent un supercalculateur qui aurait soi-disant un meilleur résultat en reconnaissance d'objets que les conceptions précédentes, y compris celles de Google et de Microsoft. Les Chinois ont déclaré que leur programme affichait un taux d'erreur record de 4,58%, tandis que celui de Google était de 4,82% et celui de Microsoft de 4,9%.

Baidu a publié la publication sur Arxiv.org par voie électronique. Les articles sont publiés sur ce site sans vérification préalable. La situation a été aggravée par le fait que quelques jours plus tard, la nouvelle de la "réussite" des ingénieurs chinois a été réimprimée par la MIT Technology Review et d'autres publications scientifiques. Seulement trois semaines plus tard, le fait de tricherie a été révélé et l'article a été mis à jour.

L'enquête a révélé que Baidu a enregistré au moins 30 comptes pour participer au défi Imagenet et qu'au cours des six derniers mois, il a soumis plus de 200 demandes avec résultats, dont plus de 40 demandes sur une période de cinq jours en mars 2015.

Baidu s'est ensuite excusé publiquement pour son action.

Cette histoire montre une fois de plus que la recherche dans le domaine de la reconnaissance des formes est désormais l'une des principales directions de l'informatique, même si les grandes entreprises ne sont pas gênées d'utiliser de telles astuces pour se démarquer de la concurrence.

Source: https://habr.com/ru/post/fr380701/