Einschränkungen beim maschinellen Lernen

Hallo Habr! Ich präsentiere Ihnen die Übersetzung des Artikels „Die Grenzen des maschinellen Lernens“ von Matthew Stewart.

Die meisten Leute, die diesen Artikel lesen, sind wahrscheinlich mit maschinellem Lernen und den entsprechenden Algorithmen vertraut, die zum Klassifizieren oder Vorhersagen von Ergebnissen basierend auf Daten verwendet werden. Es ist jedoch wichtig zu verstehen, dass maschinelles Lernen nicht die Lösung für alle Probleme ist. Angesichts der Nützlichkeit des maschinellen Lernens kann es schwierig sein zu akzeptieren, dass dies manchmal nicht die beste Lösung für das Problem ist.


Maschinelles Lernen ist ein Zweig der künstlichen Intelligenz, der die Welt, wie wir sie kennen, im letzten Jahrzehnt revolutioniert hat. Die Informationsexplosion hat dazu geführt, dass große Datenmengen gesammelt wurden, insbesondere von großen Unternehmen wie Facebook und Google. Diese Datenmenge in Kombination mit der schnellen Entwicklung der Prozessorleistung und der Computerparallelisierung macht es relativ einfach, große Datenmengen zu empfangen und zu untersuchen.

Heutzutage ist die Übertreibung des maschinellen Lernens und der künstlichen Intelligenz allgegenwärtig. Vielleicht ist dies richtig, da das Potenzial für diesen Bereich enorm ist. In den letzten Jahren hat die Anzahl der AI-Beratungsagenturen zugenommen, und laut 2015 ist die Anzahl der AI-bezogenen Arbeitsplätze zwischen 2015 und 2018 um 100% gestiegen.

Im Dezember 2018 stellte Forbes fest, dass 47% der Unternehmen mindestens eine Fähigkeit haben, KI in ihren Geschäftsprozessen zu verwenden, und der Deloitte-Bericht besagt, dass die Penetrationsrate von Unternehmenssoftware mit integrierten KI- und Cloud-basierten KI-Entwicklungsdiensten ungefähr erreicht wird 87 bzw. 83 Prozent. Diese Zahlen sind beeindruckend - wenn Sie vorhaben, Ihre Karriere in naher Zukunft zu ändern, scheint AI ein guter Bereich zu sein.

Alles scheint wunderschön, oder? Unternehmen sind glücklich, und die Verbraucher sind anscheinend auch glücklich, sonst würden Unternehmen keine KI verwenden.

Es ist großartig und ich bin auch ein großer Fan von maschinellem Lernen und künstlicher Intelligenz. Es gibt jedoch Zeiten, in denen der Einsatz von maschinellem Lernen einfach nicht erforderlich ist, keinen Sinn ergibt und manchmal die Implementierung zu Schwierigkeiten führen kann.

Limit 1 - Ethik

Es ist leicht zu verstehen, warum maschinelles Lernen einen so tiefgreifenden Einfluss auf die Welt hatte, aber weniger klar ist, was genau seine Fähigkeiten sind und, was noch wichtiger ist, welche Grenzen es hat. Wie Sie wissen, hat Yuval Noah Harari den Begriff „Datismus“ geprägt, der sich auf die vorgeschlagene neue Stufe der Zivilisation bezieht, in die wir eintreten, wenn wir Algorithmen und Daten mehr vertrauen als unserem eigenen Urteilsvermögen und unserer Logik.

Obwohl diese Idee lächerlich erscheinen mag, denken Sie daran, wann Sie das letzte Mal in den Urlaub gefahren sind und die GPS-Anweisungen befolgt haben, und nicht Ihre eigenen Urteile über die Karte - stellen Sie GPS-Bewertungen in Frage? Die Leute fuhren buchstäblich in die Seen, weil sie blind den Anweisungen ihres GPS folgten.

Die Idee, Daten und Algorithmen mehr zu vertrauen als wir denken, hat ihre Vor- und Nachteile. Offensichtlich profitieren wir von diesen Algorithmen, sonst würden wir sie überhaupt nicht verwenden. Diese Algorithmen ermöglichen es uns, Prozesse zu automatisieren, indem wir anhand der verfügbaren Daten fundierte Beurteilungen vornehmen. Manchmal bedeutet dies jedoch, die Arbeit eines anderen durch einen Algorithmus zu ersetzen, der ethische Konsequenzen hat. Wen beschuldigen wir auch, wenn etwas schief geht?

Der heute am häufigsten diskutierte Fall sind selbstfahrende Autos: Wie entscheiden wir, wie das Fahrzeug im Falle einer tödlichen Kollision reagieren soll? Werden wir in Zukunft die Möglichkeit haben, den ethischen Rahmen für den Kauf zu wählen, dem unser selbstfahrendes Auto folgen würde?

Wer ist schuld, wenn mein selbstfahrendes Auto jemanden auf der Straße tötet?

Obwohl dies alles faszinierende Fragen sind, sind sie nicht der Hauptzweck dieses Artikels. Es ist jedoch offensichtlich, dass maschinelles Lernen uns nichts darüber sagen kann, welche normativen Werte wir annehmen sollten, dh wie wir in dieser Situation handeln sollten.

Limit 2 - Deterministische Probleme

Dies ist eine Einschränkung, mit der ich mich persönlich befassen musste. Mein Fachgebiet ist die Umweltwissenschaft, die sich stark auf Computermodelle und den Einsatz von IoT-Sensoren / -Geräten stützt.

Maschinelles Lernen ist für Sensoren unglaublich effektiv und kann zum Kalibrieren und Einstellen von Sensoren verwendet werden, wenn diese an andere Sensoren angeschlossen sind, die Umgebungsvariablen wie Temperatur, Druck und Luftfeuchtigkeit messen. Die Korrelationen zwischen den Signalen dieser Sensoren können verwendet werden, um Selbstkalibrierungsverfahren zu entwickeln, und dies ist ein heißes Thema in meiner Forschung in der Chemie der Atmosphäre.

Bei der Computermodellierung wird es jedoch etwas interessanter.

Der Betrieb von Computermodellen, die das globale Wetter, die Emissionen vom Planeten und die Übertragung dieser Emissionen simulieren, ist sehr rechenintensiv. Tatsächlich ist es so rechenintensiv, dass die Modellierung auf Forschungsebene selbst bei der Arbeit an einem Supercomputer mehrere Wochen dauern kann.

Gute Beispiele hierfür sind MM5 und WRF, numerische Wettervorhersagemodelle, die für die Klimaforschung verwendet werden und Ihnen in den Morgennachrichten Wettervorhersagen liefern. Ich frage mich, was Wettervorhersager den ganzen Tag machen. Führen Sie diese Modelle aus und lernen Sie sie.

Die Arbeit mit Wettermodellen ist gut, aber jetzt, wo wir maschinelles Lernen haben, können wir es stattdessen verwenden, um unsere Wettervorhersagen zu erhalten? Können wir Daten von Satelliten, Wetterstationen und einen elementaren Prognosealgorithmus verwenden, um zu bestimmen, ob es morgen regnen wird?

Die Antwort lautet überraschenderweise ja. Wenn wir Informationen über den Luftdruck in einer bestimmten Region, die Luftfeuchtigkeit, die Windgeschwindigkeit und Informationen über benachbarte Punkte und ihre eigenen Variablen haben, wird es möglich, beispielsweise ein neuronales Netzwerk zu trainieren. Aber zu welchem ​​Preis?

Wenn Sie ein neuronales Netzwerk mit Tausenden von Eingaben verwenden, können Sie bestimmen, ob es morgen in Boston regnen wird. Die Verwendung eines neuronalen Netzwerks überspringt jedoch die gesamte Physik des Wettersystems.

Maschinelles Lernen ist stochastisch und nicht deterministisch.
Ein neuronales Netzwerk versteht Newtons zweites Gesetz nicht oder diese Dichte kann nicht negativ sein - es gibt keine physikalischen Einschränkungen.

Dies kann jedoch für lange Zeit keine Einschränkung sein. Es gibt bereits eine Reihe von Forschern, die erwägen, neuronalen Netzen und anderen Algorithmen physikalische Einschränkungen hinzuzufügen, damit sie für solche Zwecke verwendet werden können.

Einschränkung 3 - Daten

Dies ist die offensichtlichste Einschränkung. Wenn Sie das Modell schlecht füttern, werden nur schlechte Ergebnisse erzielt. Dafür gibt es zwei Gründe: Mangel an Daten und Mangel an zuverlässigen Daten. Wenn Sie solche Probleme nicht haben, können Sie die Verarbeitung großer Datenmengen im Big Data Books- Telegrammkanal, in dem verschiedene Bücher und Ressourcen zu Big Data veröffentlicht werden, sicher untersuchen.

Mangel an Daten

Viele Algorithmen für maschinelles Lernen erfordern große Datenmengen, bevor sie nützliche Ergebnisse liefern. Ein gutes Beispiel hierfür ist ein neuronales Netzwerk. Neuronale Netze sind datenfressende Maschinen, die viele Trainingsdaten benötigen. Je größer die Architektur, desto mehr Daten werden benötigt, um brauchbare Ergebnisse zu erzielen. Die Wiederverwendung von Daten ist eine schlechte Idee. Es ist immer vorzuziehen, mehr Daten zu haben.
Wenn Sie die Daten erhalten können, verwenden Sie sie.

Mangel an guten Daten

Trotz des Aussehens ist dies nicht dasselbe wie oben geschrieben. Stellen Sie sich vor, Sie könnten schummeln, indem Sie zehntausend gefälschte Datenpunkte generieren, die in einem neuronalen Netzwerk platziert werden sollen. Was passiert, wenn Sie dies einfügen?

Er wird selbst lernen, und wenn Sie ihn dann an einem neuen Datensatz testen, wird er nicht gut funktionieren. Sie hatten die Daten, aber die Qualität ist besser.
Ebenso wie ein Mangel an guten Funktionen zu einer schlechten Leistung Ihres Algorithmus führen kann, kann ein Mangel an guten, wahrheitsgemäßen Daten auch die Fähigkeiten Ihres Modells einschränken. Kein Unternehmen wird ein Modell für maschinelles Lernen einführen, das schlechter funktioniert als ein menschlicher Fehler.

In ähnlicher Weise kann die Anwendung eines Modells, das auf einen Datensatz in einer Situation trainiert wurde, nicht unbedingt gleich gut auf die zweite Situation angewendet werden. Das beste Beispiel dafür, das ich bisher gefunden habe, ist die Vorhersage von Brustkrebs.

Mammographiedatenbanken haben viele Bilder, aber sie haben ein ernstes Problem, das in den letzten Jahren erhebliche Probleme verursacht hat - fast alle Röntgenbilder wurden von weißen Frauen aufgenommen. Dies scheint keine große Sache zu sein, aber tatsächlich hat sich gezeigt, dass schwarze Frauen aufgrund einer Vielzahl von Faktoren, darunter Unterschiede bei der Erkennung und beim Zugang zur Pflege, mit 42 Prozent höherer Wahrscheinlichkeit an Brustkrebs sterben. Das Erlernen des Algorithmus hauptsächlich für weiße Frauen wirkt sich in diesem Fall nachteilig auf schwarze Frauen aus.

In diesem speziellen Fall sind mehr Röntgenbilder von schwarzen Patienten in der Trainingsdatenbank erforderlich, mehr Anzeichen hängen mit dem Anstieg der Wahrscheinlichkeit um 42% zusammen und der Algorithmus ist aufgrund der Schichtung des Datensatzes entlang der entsprechenden Achsen fairer.

Limit 4 - Missbrauch

In Bezug auf die zweite zuvor diskutierte Einschränkung wird angenommen, dass dies eine „Krise des maschinellen Lernens in der akademischen Forschung“ ist, wenn Menschen blindlings maschinelles Lernen verwenden, um zu versuchen, Systeme zu analysieren, die entweder deterministischer oder stochastischer Natur sind.

Aus den in der zweiten Einschränkung diskutierten Gründen wird die Anwendung des maschinellen Lernens in deterministischen Systemen erfolgreich sein, aber ein Algorithmus, der die Beziehung zwischen zwei Variablen nicht untersucht und nicht weiß, wann er gegen physikalische Gesetze verstößt. Wir haben dem System nur einige Ein- und Ausgänge gegeben und sie gebeten, die Beziehung zu untersuchen. So wie jemand Wort für Wort aus einem Wörterbuch übersetzt, scheint der Algorithmus nur ein oberflächliches Verständnis der Grundphysik zu sein.

Bei stochastischen (zufälligen) Systemen ist alles etwas weniger offensichtlich. Die Krise des maschinellen Lernens für zufällige Systeme manifestiert sich auf zwei Arten:

• P-Hacking
• Umfang der Analyse

P-Hacking

Wenn jemand Zugriff auf Big Data hat, das Hunderte, Tausende oder sogar Millionen von Variablen enthalten kann, ist es leicht, ein statistisch signifikantes Ergebnis zu finden (da das für die meisten wissenschaftlichen Studien erforderliche statistische Signifikanzniveau p <0,05 beträgt). Dies führt häufig zur Erkennung falscher Korrelationen, die normalerweise durch p-Hacking erhalten werden (Durchsuchen von Datenbergen, bis eine Korrelation gefunden wird, die statistisch signifikante Ergebnisse zeigt). Dies sind keine echten Korrelationen, sondern lediglich eine Reaktion auf Rauschen bei den Messungen.

Dies führte dazu, dass einzelne Forscher statistisch signifikante Korrelationen durch große Datenmengen „erfassten“ und sie als echte Korrelationen tarnten. Manchmal ist dies ein unschuldiger Fehler (in diesem Fall sollte der Wissenschaftler besser vorbereitet sein), aber in anderen Fällen wird dies getan, um die Anzahl der vom Forscher veröffentlichten Artikel zu erhöhen - selbst in der Welt der wissenschaftlichen Gemeinschaft ist die Konkurrenz hoch und die Menschen werden alles tun, um ihre Metriken zu verbessern.

Umfang der Analyse

Es gibt signifikante Unterschiede im Umfang der Analyse für maschinelles Lernen im Vergleich zur statistischen Modellierung - statistische Modellierung ist von Natur aus bestätigend, und maschinelles Lernen ist im Wesentlichen Forschung.

Wir können bestätigende Analysen und Modelle als das betrachten, was jemand tut, wenn er einen Doktortitel erhält. oder in der Forschung. Stellen Sie sich vor, Sie arbeiten mit einem Berater zusammen und versuchen, eine theoretische Grundlage für das Studium eines realen Systems zu entwickeln. Dieses System verfügt über eine Reihe vordefinierter Attribute, die davon betroffen sind. Nach sorgfältigem Entwerfen von Experimenten und Entwickeln von Hypothesen können Sie Tests ausführen, um die Gültigkeit Ihrer Hypothesen zu bestimmen.

In der Forschungsanalyse fehlen dagegen eine Reihe von Eigenschaften, die mit der Bestätigungsanalyse verbunden sind. Tatsächlich werden bei wirklich enormen Daten- und Informationsmengen unterstützende Ansätze aufgrund der enormen Datenmenge vollständig zerstört. Mit anderen Worten, es ist einfach unmöglich, den endgültigen Satz überprüfbarer Hypothesen bei Vorhandensein von Millionen von Zeichen genau anzugeben.

Daher und auch allgemein sind Algorithmen und Ansätze für maschinelles Lernen am besten für die prädiktive Modellierung und Klassifizierung von Forschungsergebnissen mit großen Datenmengen und rechnerisch komplexen Funktionen geeignet. Einige werden argumentieren, dass sie für „kleine“ Daten verwendet werden können, aber warum, wenn klassische, mehrdimensionale statistische Methoden viel informativer sind?

Maschinelles Lernen ist ein Bereich, der die mit Informationstechnologie, Informatik usw. verbundenen Probleme weitgehend löst. Es kann sich sowohl um theoretische als auch um angewandte Probleme handeln. Als solches bezieht es sich auf Bereiche wie Physik, Mathematik, Wahrscheinlichkeit und Statistik, aber maschinelles Lernen stellt tatsächlich ein Feld für sich dar, ein Feld, das nicht mit Problemen belastet ist, die in anderen Disziplinen aufgeworfen werden. Viele der Lösungen, die Experten und Praktiker des maschinellen Lernens finden, sind schmerzlich falsch, aber sie machen ihren Job.

Einschränkung 5 - Interpretierbarkeit

Die Interpretierbarkeit ist eines der Hauptprobleme des maschinellen Lernens. Ein AI-Beratungsunternehmen, das versucht, ein Unternehmen zu erreichen, das nur traditionelle statistische Methoden verwendet, kann gestoppt werden, wenn es das Modell nicht als interpretiert ansieht. Wenn Sie Ihren Kunden nicht davon überzeugen können, dass Sie verstehen, wie der Algorithmus zu seiner Entscheidung gekommen ist, wie wahrscheinlich ist es dann, dass er Ihnen und Ihrer Erfahrung vertraut?

Ein Business Manager akzeptiert eher Empfehlungen für maschinelles Lernen, wenn die Ergebnisse aus geschäftlicher Sicht erläutert werden.

Diese Modelle als solche können machtlos gemacht werden, wenn sie nicht interpretiert werden können, und der Prozess der menschlichen Interpretation folgt Regeln, die weit über die technische Meisterschaft hinausgehen. Aus diesem Grund ist die Interpretierbarkeit eine vorrangige Eigenschaft, die maschinelle Lernmethoden erreichen müssen, wenn sie in der Praxis angewendet werden.

Insbesondere die sich entwickelnden Wissenschaften auf dem Gebiet der Physik (Genomik, Proteomik, Metabolomik usw.) sind gerade wegen ihrer Abhängigkeit von großen und nicht trivialen Datenbanken zum Hauptziel für Forscher des maschinellen Lernens geworden. Trotz ihres offensichtlichen Erfolgs leiden sie jedoch unter einer mangelnden Interpretation ihrer Methoden.

Fazit

Wie ich hoffe, habe ich in diesem Artikel klar erklärt, dass es Einschränkungen gibt, die zumindest im Moment die Lösung aller Probleme der Menschheit behindern. Ein neuronales Netzwerk kann uns niemals sagen, wie man ein guter Mensch ist und zumindest die Gesetze von Newtons Bewegung oder Einsteins Relativitätstheorie noch nicht versteht.

Es gibt auch grundlegende Einschränkungen, die auf der zugrunde liegenden Theorie des maschinellen Lernens beruhen, die als Theorie des rechnerischen Lernens bezeichnet wird und hauptsächlich statistische Einschränkungen sind. Wir haben auch Fragen im Zusammenhang mit dem Umfang der Analyse und den Gefahren von P-Hacking erörtert, die zu falschen Schlussfolgerungen führen können.
Es gibt auch Probleme mit der Interpretierbarkeit der Ergebnisse, die sich nachteilig auf Unternehmen auswirken können, die Kunden und Investoren nicht davon überzeugen können, dass ihre Methoden korrekt und zuverlässig sind.

Maschinelles Lernen und künstliche Intelligenz werden die Branche weiter revolutionieren und erst in den kommenden Jahren häufiger werden. Obwohl ich empfehle, dass Sie maschinelles Lernen und KI voll ausnutzen, empfehle ich Ihnen auch, die Einschränkungen der von Ihnen verwendeten Tools zu berücksichtigen - schließlich gibt es nichts Ideales.