Der weltweit erste Fall von Betrug in der KI-Forschung

Imagenet Challenge ist ein internationaler Wettbewerb für Mustererkennungssysteme. Entsprechend den Bedingungen sollte ein Computerprogramm eine Reihe von Objekten in digitalen Bildern erkennen und klassifizieren und eine von 1000 thematischen Kategorien identifizieren.

Viele große Unternehmen nehmen am Wettbewerb teil, die große Budgets für solche Entwicklungen bereitstellen. Daher verursachten die Nachrichten über den Betrug des chinesischen Unternehmens Baidu einen echten Skandal: Sie sagen, dies sei der erste Fall von Betrug bei der Entwicklung künstlicher Intelligenzsysteme. Infolgedessen ist Baidu für das nächste Jahr vom Imagenet-Wettbewerb ausgeschlossen .

Die Imagenet Challenge wird mit dem Turing-Test für KI-Systeme verglichen, obwohl die Aufgabe hier nicht in einem sinnvollen Gespräch liegt, sondern in der Mustererkennung. Dies ist aber auch eine sehr wichtige Aufgabe für die KI.

In einem wissenschaftlichen Artikel beschreiben Baidu-Ingenieure einen Supercomputer, der angeblich ein besseres Ergebnis bei der Objekterkennung zeigt als frühere Designs, einschließlich solcher von Google und Microsoft. Die Chinesen gaben an, dass ihr Programm eine Rekordfehlerquote von 4,58% aufwies, während Google 4,82% und Microsoft 4,9% betrug.

Baidu hat die Veröffentlichung elektronisch auf Arxiv.org veröffentlicht. Artikel werden ohne vorherige Überprüfung auf dieser Website veröffentlicht. Die Situation wurde durch die Tatsache verschärft, dass einige Tage später die Nachrichten über die "Leistung" chinesischer Ingenieure vom MIT Technology Review und anderen wissenschaftlichen Veröffentlichungen nachgedruckt wurden. Nur drei Wochen später wurde die Tatsache des Betrugs aufgedeckt und der Artikel aktualisiert.

Die Untersuchung ergab, dass Baidu mindestens 30 Konten für die Teilnahme an der Imagenet Challenge registriert und in den letzten sechs Monaten mehr als 200 Anträge mit Ergebnissen eingereicht hat, darunter mehr als 40 Anträge über einen Zeitraum von fünf Tagen im März 2015.

Baidu entschuldigte sich später öffentlich für seine Aktion.

Diese Geschichte zeigt einmal mehr, dass die Forschung auf dem Gebiet der Mustererkennung heute eine der Hauptrichtungen in der IT ist, auch wenn es großen Unternehmen nicht peinlich ist, mit solchen Tricks der Konkurrenz einen Schritt voraus zu sein.

Source: https://habr.com/ru/post/de380701/