Ein Forscher für maschinelles Lernen vom Virginia Institute of Technology hat eine Möglichkeit vorgeschlagen, wissenschaftliche Arbeiten mithilfe von KI zu überprüfen und das Erscheinungsbild von Text und Grafiken in einem Dokument zu bewerten. Werden seine Methoden zur Bewertung der „Vollständigkeit“ wissenschaftlicher Arbeit ausreichen, um den Prozess der unabhängigen Begutachtung durch Fachkollegen zu beschleunigen?
Im Bereich des maschinellen Lernens gibt es eine Lawine von Forschung. Der Ingenieur von Google Cliff Young verglich diese Situation mit
dem Gesetz von Moore , das für Veröffentlichungen zum Thema KI angepasst wurde. Die Anzahl der wissenschaftlichen Arbeiten zu diesem Thema, die auf der arXiv-Website erscheinen, verdoppelt sich alle 18 Monate.
Und diese Situation schafft Probleme bei der Überprüfung von Werken - erfahrene Forscher auf dem Gebiet der KI reichen einfach nicht aus, um jedes neue Werk sorgfältig zu lesen. Können Wissenschaftler der KI anvertrauen, Jobs anzunehmen oder abzulehnen?
Diese interessante Frage wird durch einen kürzlich auf der arXiv-Website veröffentlichten
Bericht aufgeworfen. Der Autor der Arbeit, der Forscher für maschinelles Lernen, Jia-Bin Huang, nannte sie „Deep Work Gestalt“.
Juan verwendete ein Faltungs-Neuronales Netzwerk, ein gängiges Werkzeug für maschinelles Lernen zur Bilderkennung, um 5.000 seit 2013 veröffentlichte Werke zu sichten. Juan schreibt, dass sein neuronales Netzwerk nach nur einem Erscheinungsbild des Werks - einer Mischung aus Text und Bildern - „gute“ Arbeiten mit einer Genauigkeit von 92% unterscheiden kann, die es wert sind, in wissenschaftliche Archive aufgenommen zu werden.
Für die Forscher bedeutet dies, dass beim Erscheinen ihres Dokuments einige Dinge die wichtigste Rolle spielen: helle Bilder auf der Titelseite des Forschungspapiers und das Füllen aller Seiten mit Text, sodass am Ende der letzten Seite kein Leerzeichen vorhanden ist.
Juans Faltungs-Neuronales Netzwerk verdaut Tausende von anerkannten und nicht genehmigten wissenschaftlichen Arbeiten und erstellt so eine „Heatmap“ der Stärken und Schwächen. Die größten Fehler der Werke, die die Auswahl nicht bestanden haben: das Fehlen von Farbbildern und ein leerer Raum am Ende der letzten Seite.
Juan stützt seine Arbeit auf eine andere Arbeit aus dem Jahr 2010, die von Carven von Bearnensquash von der University of Phoenix verfasst wurde. Die Arbeit verwendete keine eingehende Schulung, die traditionelle Technologie der Bildverarbeitung, um einen Weg zu finden, das allgemeine Erscheinungsbild der Arbeit auf einen Blick zu bewerten und zu schließen, ob es sich lohnt, die Arbeit zu genehmigen.
Mit dieser Idee fütterte Juan den Computer mit 5618 Werken, die in den letzten fünf Jahren auf zwei großen Konferenzen zum Thema Computer Vision, CVPR und ICCV, aufgenommen wurden. Juan sammelte auch Werke, die auf Konferenzworkshops vorgestellt wurden und die die Rolle abgelehnter Werke spielten - da es keinen Zugang zu Werken gibt, die auf Konferenzen abgelehnt wurden.
Juan trainierte das Netzwerk, um vergangene und nicht vergangene Arbeiten mit dem binären Ergebnis von „gut“ und „schlecht“ zu verknüpfen, um Anzeichen von „Vollständigkeit“ oder Gestalt von ihnen zu isolieren. Gestalt ist ein Ganzes, das die Größe der Summe seiner Teile überschreitet. Dies nannte der Pionier des maschinellen Lernens, Terry Seinowski, „universell organisierte Wahrnehmung“, etwas Bedeutenderes als die Hügel und Schluchten der Region in unmittelbarer Nähe von Ihnen.
Das trainierte Netzwerk wurde dann an einer Teilmenge der Jobs getestet, die es zuvor noch nicht gesehen hatte. Das Training balancierte die falsch positiven - akzeptierte Arbeit, die es wert war, abgelehnt zu werden - mit falschen Ablehnungen, abgelehnte Arbeit, die es wert war, akzeptiert zu werden.
Durch die Begrenzung der Anzahl der "guten", aber abgelehnten Jobs auf 0,4% - das sind nur 4 Jobs - konnte das Netzwerk die Hälfte der "schlechten" Jobs, die abgelehnt werden mussten, korrekt ablehnen.
Der Autor dachte sogar daran, seine eigene Arbeit von seinem eigenen neuronalen Netzwerk zu ernähren. Infolgedessen lehnte das neuronale Netzwerk dies ab: „Wir haben einen geschulten Klassifikator auf diese Arbeit angewendet. Unser Netzwerk hat rücksichtslos vorausgesagt, dass diese Arbeit mit einer Wahrscheinlichkeit von 97% ohne unabhängige Überprüfung abgelehnt werden sollte. “
In Bezug auf diese kosmetischen Anforderungen - schöne Bilder im Artikel - beschreibt Juan nicht nur die Ergebnisse der Arbeit. Er bietet auch Code an, mit dem Sie gut aussehende Arbeiten erstellen können. Er speist die "gute" Arbeit in die Trainingsdatenbank des generativ-wettbewerbsorientierten Netzwerks ein, die aus Beispielen einen neuen Plan erstellen kann.
Juan bietet auch eine dritte Komponente an, die die abgelehnte Arbeit in eine akzeptable umwandelt, "automatisch Ratschläge gibt, was in der eingehenden Arbeit geändert werden muss", zum Beispiel "ein Bild hinzufügen, um Aufmerksamkeit zu erregen, und ein Bild auf der letzten Seite".
Juan schlägt vor, dass ein solcher Jobgenehmigungsprozess ein „Vorfilter“ sein könnte, um die Prüfer zu entlasten, da er in wenigen Sekunden Tausende von Jobs anzeigen kann. Und doch "ist es unwahrscheinlich, dass ein solcher Klassifikator auf einer echten Konferenz verwendet wird", schließt der Autor.
Eine der Einschränkungen des Werks, die sich auf seine Verwendung auswirken können, besteht darin, dass selbst wenn das Erscheinungsbild des Werks, seine visuelle Gestalt, mit den historischen Ergebnissen übereinstimmt, dies nicht die Existenz eines echten Werts in dem Werk garantiert.
Laut Juan können wir "den Inhalt der Arbeit ignorieren und Arbeiten mit gutem Material und schlechtem visuellen Design zu Unrecht ablehnen oder wertlose Arbeiten akzeptieren, die gut aussehen."