vorherige Kapitel

Vergleich mit menschlicher Qualität

33. Warum mit dem Qualitätsniveau vergleichen, das dem Menschen zur Verfügung steht?

Viele maschinelle Lernsysteme haben das Ziel, Aufgaben zu automatisieren, die Menschen gut erledigen. Beispiele hierfür sind Bilderkennung, Spracherkennung und Spam-Klassifizierung in E-Mails. Lernalgorithmen haben sich so sehr verbessert, dass sie es schaffen, eine Person bei immer mehr derartigen Aufgaben zu übertreffen.

Darüber hinaus gibt es mehrere Gründe, aus denen der Aufbau von maschinellen Lernsystemen vereinfacht wird, wenn Sie versuchen, eine Aufgabe auszuführen, die die Leute gut damit machen können:

1. Markieren Sie einfach Daten mit Zugriffsmethoden. Da beispielsweise Katzenbilder gut erkannt werden, können Gutachter die für das Trainieren Ihres Algorithmus erforderlichen Stichproben genau markieren.
2. Die Fehleranalyse kann auf menschlicher Intuition beruhen. Angenommen, ein Spracherkennungsalgorithmus funktioniert schlechter als eine Person. Beispielsweise entschlüsselt der Algorithmus das Fragment fälschlicherweise und gibt Folgendes aus: "Für dieses Rezept ist eine Schulbank mit Äpfeln erforderlich", wobei für eine Schulbank "ein Paar" verwendet wird. Sie können die Intuition einer Person verwenden und versuchen, zu verstehen, welche Informationen eine Person verwendet, um die richtige Transkription zu erhalten, und diese Informationen dann verwenden, um den Lernalgorithmus zu ändern.
3. Sie können die Qualität der Problemlösung durch eine Person als Referenz verwenden und auch die „gewünschte Fehlerrate“ festlegen. Angenommen, die Qualität des Algorithmus hat bei der Ausführung einer Aufgabe ein Niveau erreicht, das 10% der Fehler entspricht, und eine Person macht nur 2% der Fehler. Dann wissen wir, dass die optimale Fehlerrate 2% nicht überschreitet und die vermeidbare Verzerrung für unseren Algorithmus mindestens 8% beträgt. Daher sollten wir Methoden versuchen, um die Verzerrung zu verringern.

Obwohl Punkt 3 unwichtig erscheinen mag, glaube ich, dass ein vernünftiges und erreichbares Fehlerziel zur Beschleunigung des Teamfortschritts beiträgt. Die Erkenntnis, dass der Algorithmus eine große vermeidbare Verzerrung aufweist, ist unglaublich nützlich und schlägt eine Reihe von Methoden vor, die Sie anwenden können.

Es gibt einige Aufgaben, die selbst Menschen nicht bewältigen können. Wählen Sie beispielsweise ein Buch aus, das Sie empfehlen möchten. oder wählen Sie eine Anzeige aus, um sie einem Nutzer auf einer Website zu zeigen. oder die Situation an der Börse vorhersagen. Computer übertreffen bereits die Qualität der Lösung dieser Probleme von den meisten Menschen. Bei diesen Anwendungen treten folgende Probleme auf:

• Es ist schwieriger, eine beschriftete Probe für Lernalgorithmen zu erhalten. Zum Beispiel fällt es den Assessoren schwer, eine Benutzerdatenbank zu erstellen, in der für jedes Buch das „optimale“ Buch angegeben ist. Wenn Sie eine Website oder Anwendung haben, die Bücher verkauft, können Sie getaggte Daten erhalten, indem Sie den Benutzern Bücher anzeigen und die Bücher notieren, die sie kaufen. Wenn Sie eine solche Site nicht verwenden, müssen Sie kreativere Methoden zum Abrufen von Daten finden.
• Man kann sich nicht auf die menschliche Intuition verlassen. Zum Beispiel kann fast niemand das Verhalten des Aktienmarktes vorhersagen. Wenn unser Algorithmus zur Vorhersage des Aktienkurses nicht besser als zufällige Wahrsagerei funktioniert, ist es schwierig, herauszufinden, wie man ihn verbessern kann.
• Es ist schwierig zu verstehen, was die optimale Fehlerrate und die vernünftige gewünschte Fehlerrate ist. Angenommen, das vorhandene Buchempfehlungssystem funktioniert ziemlich gut. Wie kann man herausfinden, um wie viel es sich verbessern lässt, ohne ein grundlegendes („menschliches“) Qualitätsniveau und einen entsprechenden Fehleranteil zu haben?

Fortsetzung folgt