Gruß, Chabrowiter! Im Vorgriff auf die Einführung neuer Themen in den Fortgeschrittenen- und Grundkursen "Mathematik für Datenwissenschaften" möchten wir Ihnen eine interessante Übersetzung vorstellen. In diesem Artikel wird es keine Übung geben, aber das Material ist für die allgemeine Entwicklung und Diskussion interessant.
Eine Gruppe von Forschern stand vor einem offenen mathematischen Problem, das mit einer Reihe logischer Paradoxien verbunden war, die der berühmte österreichische Mathematiker Kurt Gödel in den 1930er Jahren entdeckte.
Die Mathematiker, die an Problemen des maschinellen Lernens arbeiteten, bewiesen, dass die Möglichkeit des „Lernens“, dh, ob der Algorithmus ein Muster aus begrenzten Daten extrahieren kann, eng mit dem Paradox verwandt ist, das als Kontinuumshypothese bekannt ist. Gödel sagte, dass mit den Standardfähigkeiten einer mathematischen Sprache eine Hypothese weder bestätigt noch widerlegt werden kann. Die neuesten Forschungsergebnisse zu diesem Thema wurden
am 7. Januar in
Nature Machine Intelligence veröffentlicht .
"Es war eine Überraschung für uns", sagte Amir Yehudaev von Technion, dem israelischen Technologieinstitut in Haif, der die Studie mitschrieb. Er sagte, dass er trotz einer Reihe von technischen Problemen, die auch als „unlösbar“ bezeichnet werden, nicht damit gerechnet habe, dass dieses Phänomen bei der scheinbar einfachen Aufgabe des maschinellen Lernens auftreten würde.
John Tucker, Informatikspezialist an der Swansea University, UK, sagt, diese Arbeit sei "ein greifbares Ergebnis am Rande unseres Wissens" mit grundlegenden Auswirkungen auf Mathematik und maschinelles Lernen.
Nicht alle Sets sind gleich.
Forscher bestimmen die Lernbarkeit häufig anhand der Frage, ob ein Algorithmus sein Wissen verallgemeinern kann. Der Algorithmus gibt beispielsweise die Antwort „Ja“ oder „Nein“ auf die Frage „Befindet sich eine Katze im Bild?“ Für eine begrenzte Anzahl von Objekten und muss dann eine Vorhersage für neue Objekte erstellen, die ihm zuvor unbekannt waren.
Yehudaev und seine Kollegen erzielten Ergebnisse, indem sie die Beziehung zwischen Lernen und „Auspressen“ untersuchten, einschließlich der Suche nach einer Möglichkeit, die Merkmale eines großen Datensatzes auf einen kleineren Datensatz abzubilden. Die Autoren fanden heraus, dass sich die Fähigkeit, Informationen effektiv zu komprimieren, auf die Frage der Mengenlehre reduziert - mathematische Mengen von Objekten, wie zum Beispiel Mengen in Venn-Diagrammen. Dies gilt insbesondere für unterschiedlich große Sets mit unendlich vielen Objekten.
Georg Cantor, der Begründer der Mengenlehre, hat in den 1870er Jahren bewiesen, dass nicht alle unendlichen Mengen gleich sind: Beispielsweise ist die Menge der ganzen Zahlen „kleiner“ als die Menge aller reellen Zahlen, auch Kontinuum genannt. (Da reelle Zahlen sowohl irrationale als auch rationale und ganzzahlige Zahlen enthalten.) Cantor schlug auch vor, dass es keine Mengen mittlerer Größe gibt, dh größer als die Menge ganzer Zahlen, aber kleiner als das Kontinuum. Aber er konnte diese Kontinuumshypothese nicht beweisen, wie viele Mathematiker und Logiker - seine Anhänger.
Ihre Bemühungen waren vergebens. 1940 führte Godel eine Studie durch (die erst in den 1960er Jahren vom amerikanischen Mathematiker Paul Cohen abgeschlossen wurde), in der er anhand von Axiomen nachwies, dass die Kontinuumshypothese weder wahr noch falsch sein kann.
Gödels und Cohens Arbeit über die Kontinuumshypothese räumt ein, dass es parallele mathematische Universen geben kann, die den Gesetzen der Standardmathematik entsprechen: eine, in der die Kontinuumshypothese zu einem allgemein akzeptierten Axiom wird, dh für wahr erklärt wird, und die zweite, in der sie ebenfalls für falsch erklärt wird.
Gliedmaßen lernen
In ihrer neuesten Arbeit definieren Yehudaev und seine Kollegen das Lernen als die Fähigkeit, Vorhersagen für einen relativ großen Datensatz zu treffen, indem eine kleine Anzahl von Datenpunkten abgetastet wird. Der Zusammenhang mit dem Cantor-Problem besteht darin, dass es unendlich viele Möglichkeiten gibt, eine kleinere Menge auszuwählen, aber die Größe dieser Unendlichkeit ist unbekannt.
Ferner zeigen die Autoren, dass eine kleine Stichprobe für die Extrapolation ausreicht, wenn die Kontinuumshypothese wahr ist. Aber wenn es falsch ist, kann es keine endliche Stichprobe geben, die ausreichen würde. Sie glauben daher, dass das Lernproblem tatsächlich der Kontinuumshypothese entspricht. Infolgedessen befindet sich das Problem des Lernens auch in einem Zustand der Unsicherheit, der nur durch die Wahl eines axiomatischen Universums gelöst werden kann.
„Das Ergebnis der Studie trägt auch dazu bei, ein umfassenderes Verständnis des Lernens zu entwickeln“, sagt Yehudaev. "Diese Verbindung zwischen Komprimierung und Verallgemeinerung ist für das Verständnis des Lernprozesses von grundlegender Bedeutung."
"Forscher haben eine Reihe solcher" unlösbaren "Probleme entdeckt", sagt Peter O'Hearn, ein Informatikspezialist am University College London. Insbesondere Alan Turing, einer der Begründer der Algorithmentheorie, entdeckte nach den Ergebnissen von Godels Arbeiten eine Klasse von Fragen, deren Beantwortung durch kein Computerprogramm für eine endliche Anzahl von Schritten garantiert werden kann.
"Die Unlöslichkeit, die in jüngsten Studien erhalten wurde, ist jedoch sehr selten und viel überraschender", fügt O'Hearn hinzu: Es zeigt, dass Godel die innere Unvollständigkeit jeder Art von mathematischer Sprache entdeckt hat. Die erzielten Ergebnisse sind wahrscheinlich wichtig für die Theorie des maschinellen Lernens, aber es ist unwahrscheinlich, dass dies große praktische Auswirkungen hat.
Schreiben Sie in die Kommentare, was Sie über dieses Material denken, und wir laden Sie zu einem
kostenlosen Webinar ein , in dem wir über
Methoden der Regressionsanalyse in Data Science sprechen.