"Wenn Sie einen Hammer in der Hand haben, sieht alles aus wie Nägel."

Als Praktiker von Daten beschäftigen sich Wissenschaftler mit Datenanalyse, deren Sammlung, Reinigung, Anreicherung. Wir bauen und trainieren Modelle der Welt um uns herum. Basierend auf Daten finden wir interne Beziehungen und Widersprüche zwischen Daten, manchmal sogar dort, wo es keine gibt. Natürlich konnte ein solches Eintauchen nur unsere Vision und unser Verständnis der Welt beeinflussen. Berufliche Verformungen sind in unserem Beruf genauso vorhanden wie in jedem anderen, aber was genau bringt sie uns und wie wirkt sie sich auf unser Leben aus?

Haftungsausschluss

Dieser Artikel erhebt keinen Anspruch auf Wissenschaftlichkeit, drückt keinen einzigen Standpunkt der ODS-Community aus und ist die persönliche Meinung des Autors.

Präambel

Wenn Sie daran interessiert sind, wie unser Gehirn funktioniert, wie wir die Welt um uns herum wahrnehmen und was wir hier tun, sind viele der in diesem Artikel beschriebenen Dinge für Sie nicht völlig neu. In der einen oder anderen Form wurde dies alles bereits mehr als einmal aus völlig unterschiedlichen Blickwinkeln beschrieben. Meine Aufgabe ist es, all dies aus der Perspektive eines Datenanalysten zu betrachten und Parallelen zwischen den Tools und Ansätzen zu ziehen, die wir in unserer Arbeit und im realen Leben außerhalb des Monitors verwenden.

Einführung

Stellen Sie sich zunächst ein etwas vereinfachtes Setup vor:

Um uns herum gibt es eine Welt um uns herum, um zu überleben und erfolgreich darin zu funktionieren. Ein Mensch muss verstehen, was er (die Welt) darstellt, wie er mit ihm interagiert und welche Ergebnisse aus verschiedenen Interaktionen erzielt werden. Das heißt, mit anderen Worten, ein Mensch braucht ein Modell der Welt um sich herum, das seine aktuellen Aufgaben angemessen löst . Der Schlüssel ist " aktuelle Aufgaben ". Als die Aufgabe des Überlebens an erster Stelle stand, wurde das Modell der Welt zunächst auf dem schnellen Erkennen von Gefahren und einer angemessenen Reaktion darauf aufgebaut. Das heißt, diejenigen, die ein schlechteres Modell hatten - konnten es nicht weitergeben; diejenigen mit einem besseren - wurden an ihre Nachkommen weitergegeben. Mit der Verbesserung der Lebensbedingungen begann sich der Schwerpunkt des Modells vom reinen Überleben zu etwas besser organisiertem zu verändern. Je sicherer die Umwelt, desto vielfältiger wird dieses „Etwas“. Das Spektrum von „etwas“ ist sehr breit - von Bitcoin und DS bis hin zu radikalem Feminismus und Toleranz.

Die Natur hat unser Gehirn geschaffen, um das Problem des Überlebens unter Bedingungen begrenzter Ressourcen zu lösen - es gab nicht genug Nahrung, es gab nicht genug Energie für irgendeinen Müll. Um zu überleben, mussten zwei sich gegenseitig ausschließende Aufgaben gelöst werden:

• Entdecken Sie die Welt, verbessern Sie das Modell, erhöhen Sie die Überlebenschancen (eine sehr energieaufwendige Aufgabe)
• Stirb nicht an Energiemangel

Die Natur hat dieses Dilemma sehr elegant gelöst und die Fähigkeit, Datenflüsse und Reaktionen zwischenzuspeichern, in unser Gehirn eingeführt, wenn Energie praktisch nicht verschwendet wird, um grundlegende Probleme (im Rahmen des aktuellen Modells) der Interaktion mit der Außenwelt zu lösen.

Weitere Informationen zu einer solchen Caching-Methode und der „Ressourcentheorie der Aufmerksamkeit“ finden Sie in D. Kahnemans hervorragenden Werken „ Langsam denken, schnell entscheiden “ [1] und „ Aufmerksamkeit und Anstrengung “ [3].

Nach D. Kahneman:

Psychologen unterscheiden zwei Denkweisen, die wir System 1 und System 2 nennen werden.

System 1 arbeitet automatisch und sehr schnell, ohne oder mit fast keinem Aufwand und ohne ein Gefühl der absichtlichen Kontrolle

System 2 gibt die Aufmerksamkeit ab, die für bewusste mentale Anstrengung erforderlich ist, auch für komplexe Berechnungen. Die Handlungen von System 2 sind oft mit einem subjektiven Gefühl von Aktivität, Auswahl und Konzentration verbunden.

Verhaltensmuster, Reaktionen und Reaktionen sind in unserem Gehirn von der Kindheit bis zum Tod programmiert (formen und verändern das Modell der Welt). Zwei Faktoren hängen von der Phase ab, in der sich die Modellbildung befindet - der Geschwindigkeit, mit der Änderungen akzeptiert werden, und der Menge an Energie, die zur Änderung benötigt wird. In der Kindheit, wenn das Modell flexibel und flexibel ist, ist die Geschwindigkeit hoch und die Energiekosten sind minimal. Je dichter das Modell ist, desto mehr Energie wird benötigt, um es zu ändern. Darüber hinaus wird Energie benötigt, damit eine Person einfach etwas am Modell ändern möchte . Und jede Energieverschwendung wird vom Gehirn kontrolliert, und er zögert sooooo, sie verbrauchen zu lassen.

Der Befehl, das Modell zu ändern, wird vom Gehirn abgelehnt (es ist immer noch energieaufwendig, aber warum?, Weil bei uns alles in Ordnung ist), bis das Funktionieren im Rahmen des alten Modells das Überleben bedroht. Nun, oder bis Energie durch einen spontanen Ausbruch empfangen wird (Schock von etwas, ein psychologischer Schlag usw.)

TL / DR:

• Um zu überleben, baut ein Mensch in seinem Kopf ein Modell der Welt um sich herum auf und löst seine aktuellen Aufgaben
• Bei der Lösung eines Problems versucht das Gehirn, den Energieverbrauch zu minimieren.
• Der am wenigsten energieintensive Betrieb im Rahmen von System-1 (Kahneman), das Versäumnis, Entscheidungen über Änderungen zu treffen
• Am energieintensivsten ist es, im Rahmen von System-2 zu arbeiten und Entscheidungen über die Änderung des Modells und das Modell selbst zu treffen

Metamodell (Modellmodell)

Um mit der Außenwelt zu interagieren, baut eine Person ein Modell der Welt in ihrem Gehirn auf und handelt so lange wie möglich danach (denken Sie noch einmal daran, die Energiekosten zu minimieren). Aber eine Person ist leider oder zum Glück ein soziales Tier - wir können nicht mit anderen Menschen interagieren und oft verwirrt uns eine solche Interaktion.

Um effektiv mit anderen Menschen interagieren zu können, bauen wir in unserem Kopf ein Verhaltensmodell dieser Menschen auf , dh ein Modell, wie sie sich unter bestimmten Umständen bei Vorhandensein bestimmter Daten verhalten werden. Das heißt, wir bauen ein Modell des Modells der umgebenden Welt dieser bestimmten Person.

Halten Sie inne und denken Sie nach - das Modell der Welt im Kopf eines Menschen ist unvollkommen und erfüllt nur seine eigenen Kriterien der Angemessenheit und Angemessenheit . Wir bauen ein Modell dieses (seltsamen) Modells auf und interagieren mit diesem Menschen gemäß unserem Modell. Ja, und wir möchten auch, dass die Leute das tun, was unser „Modell seines Modells“ uns sagt . Optimistisch? Ja, mehr als ....

Um ein adäquates Modell zu bauen und zu trainieren, muss ich Ihnen nicht sagen, dass Sie viel Zeit, Energie und Daten benötigen. Und wir haben oft weder den einen noch den anderen, und je mehr Freiheitsgrade (Parameter) das Modell hat, desto mehr Daten werden benötigt - der Fluch der Dimension, erinnerst du dich?

Und das Leben vergeht wie im Flug, und die Zeit ist kurz (System-1 funktioniert). Wenn wir eine Person treffen und unter bestimmten Bedingungen sogar mit ihr kommunizieren, wählen wir eine unserer vorkompilierten Modellvorlagen aus, die wir bereits haben auf den Kopf ("Hündin", "normales Kind", "Maulwurfshügel", "nur" Nein; ak; usw. "), vielleicht ein wenig fintyunya es für einen bestimmten Fall.

Ja, natürlich gibt es Ausnahmen, es gibt Menschen, die uns weder Zeit noch Energie leid tun und die wir unser ganzes Leben lang gekannt haben. In diesem Fall kennen wir jedoch nur die Person, die in unserem Modell dieser Person enthalten ist.

Was folgt von hier? Ein paar offensichtliche Dinge:

Nun, erstens das Datum, an dem der Wissenschaftler keinen Groll gegen andere Menschen empfindet .

Absolut vom Wort ganz. In seinem Wortschatz fehlt der Begriff „Ressentiments“. Warum? Alles ist einfach - im Zentrum jeder Beleidigung steht unser Missverständnis:

• Wie konnte er (sie) so (sagen, tun, handeln)?
• Oder NICHT (sagen, tun, tun)?

Das heißt, in unserem Modell dieser Person hätte er unter bestimmten Umständen mit einem bestimmten Eingabepaket von Informationen so handeln sollen, aber er tat es nicht. Dieser Bastard, was? Ja, er ist kein Bastard, aber unser Modell dieser Person ist falsch. Wir haben etwas darin verpasst oder für bestimmte Umstände überhaupt nicht gefächert, sondern nur eine Vorlage genommen, oder die Eingabedaten in der aktuellen Situation unterscheiden sich von denen, auf denen wir das Modell trainiert haben.

Was ist in diesem Fall zu tun? Wie immer - wir schauen uns an, was in den Daten falsch ist, und trainieren das Modell mit den neuen Informationen.

Zweitens hat das Datum des Wissenschaftlers nicht den Reflex " Jemand ist im Internet falsch ".

Es funktioniert nicht nur im Internet, sondern auch bei der Arbeit, in der Gesellschaft usw. Wenn ein Mensch etwas nicht versteht (wie es Ihnen scheint) oder versteht, aber nicht so, wie Sie es tun, hat er vielleicht einfach ein ganz anderes Modell für diesen Teil der Welt . Und um solche zu überzeugen, d.h. Es ist sehr schwierig und sehr energieintensiv, ihn dazu zu bringen, sein Modell zu ändern (besonders wenn er es nicht will). Benötigen Sie es

Eine ganz andere Option, wenn eine Person bereit ist, ihr Modell zu ändern, es erweitern oder festziehen möchte, und sie die Kraft und Energie dafür hat. Sie können helfen - helfen, können nicht - direkt an jemanden, der kann. Sie können weder helfen noch leiten - nicht einmischen .

Seien Sie das nächste Mal nicht aufgeregt mit einer Person, wenn sie Ihrer Meinung nach "falsch" ist oder "etwas nicht versteht". In seinem Weltmodell ist alles anders. Je gröber und „einfacher“ das Modell ist, desto größer ist die Energie, die erforderlich ist, um es zumindest aus dem Gleichgewichtspunkt herauszuholen , ganz zu schweigen von Änderungen.

Und drittens erinnert das Datum des Wissenschaftlers an das Prinzip " Dinge sind immer nicht so, wie sie scheinen ".

Wenn Sie verstehen, wie dieses System funktioniert, haben Sie die Möglichkeit, eine grundlegende Vorlage nachzuahmen, die der Gesellschaft, in der Sie sich gerade befinden, vertraut ist, und bis Sie sie verlassen, ist alles in Ordnung. Es funktioniert in beide Richtungen, also vergiss nicht - "Eine Eule ist nicht so, wie es scheint ."

„Die Wahrnehmung eines Seils als Schlange ist genauso falsch wie die Wahrnehmung eines Seils als Seil“ (C)

Modellbau und Ausbildung

Als Wissenschaftler wissen wir genau, wie schwierig es ist, ein mehr oder weniger adäquates Modell zu bauen, zu trainieren und ständig neu zu trainieren. Und deshalb bezieht sich das Datum des Wissenschaftlers ruhig und geduldig auf die Unvollkommenheit von Modellen in den Köpfen anderer Menschen und verbessert ständig seine eigenen . Und da er immer noch ein Profi ist, erinnert er sich perfekt an die Grundprinzipien einer erfolgreichen Modellierung:

Was herumgeht, kommt herum (Müll rein - Müll raus.)

Die Genauigkeit und Angemessenheit des Modells hängt mehr als alles andere von der Reinheit der Daten ab. Wir alle wissen das. Wir verbringen viel Zeit damit, Daten zu bereinigen, vorzuverarbeiten, zu normalisieren und so weiter und so fort. Füttere das Müllmodell - und das Ergebnis ist vorhersehbar. Füttere sie mit gelöschten normalisierten Daten - und Einsichten in deiner Tasche. Die Modelle in unseren Köpfen funktionieren genauso. Um dies zu verstehen, versuchen wir, die genauesten und saubersten Daten für die Verarbeitung und Schulung zu verwenden, verwenden ständig ein kritisches Auge, um die Angemessenheit der Daten zu analysieren, und bemühen uns, schmutzige und verrauschte Informationen in unserem Modell zu vermeiden . Kurz gesagt - lesen Sie den Habr und schauen Sie nicht den ersten Kanal.

Der Unterschied zwischen Zug und Test (unsere Kopfschmerzen)

Der Wissenschaftler versteht, dass die Anwendbarkeit des Modells direkt von der Ähnlichkeit der Verteilungen abhängt, auf die das Modell untersucht wurde und für die es angewendet wird . Die Verhaltensregeln in einer Gesellschaft funktionieren nicht in einer anderen, die Erfolgsprinzipien in einem Bereich gelten nicht für einen anderen, das „typische Verhaltensmodell“ des anderen Geschlechts, das auf den Geschichten meiner Mutter basiert, ist plötzlich nicht mehr ganz richtig, na ja usw.

Wir berücksichtigen immer die mögliche Unähnlichkeit des Trainingsdatensatzes, auf den wir unser Modell der Welt trainiert haben, und des realen Datensatzes, auf den wir unser Modell anwenden.

Kurz gesagt, wir verstehen die Ursache der Diskrepanz und sind bereit, Energie für das Vor-Training des Modells aufzuwenden, um es der realen Welt besser anzupassen.

Wahl der Zielfunktion und Multidomänenlernen

Fast jede Aufgabe kann durch Ändern der Zielfunktion auf eine andere Domäne übertragen werden. Das Problem ist nicht als Regression gelöst? Wiederholen Sie das Ziel für Klassen und lösen Sie es als Klassifizierungsaufgabe. Besser noch, machen Sie zwei Köpfe am Gitter, lassen Sie einen ein Problem lösen und den zweiten neu formulieren. Auf demselben Datensatz können zwei verschiedene Modelle trainiert und auf völlig unterschiedliche Dinge geschärft werden. Denken Sie daran, dass die beste Option, wie im Leben, das Lernen in mehreren Domänen ist, wenn Ihre endgültige Zielfunktion mehrere Bereiche gleichzeitig abdeckt . Bei der Arbeit können Sie beispielsweise nur Geld verdienen, professionelle Fähigkeiten herunterladen und die sozialen Interaktionsfähigkeiten verbessern. Wie bei herkömmlichen Modellen ermöglicht dieser Ansatz letztendlich die Anreicherung und Verbesserung aller Multi-Domain-Ziele, als ob wir sie separat heruntergeladen hätten. Und vergessen Sie nicht die Zeit - drei Modelle für einzelne Zwecke benötigen dreimal so viel Zeit, und im wirklichen Leben ist es nicht so viel , und leider können Sie das Training nicht auf ein Dutzend oder zwei TPU-Schek parallelisieren.

Training in Blöcken (Batch-Learning)

Das Modelltraining mit Chargen hat sich seit langem bewährt. Wenn Sie bestimmte Bereiche, die Online-Schulungen erfordern, nicht berücksichtigen, ist es sinnlos, die Gewichte erst nach Ablauf der gesamten Ära zu aktualisieren. Ja, das Training in Chargen erzeugt hochfrequentes Rauschen, was jedoch durch eine höhere Konvergenzrate bei nahezu gleicher Genauigkeit ausgeglichen wird.

Was gibt uns das? Zu verstehen, dass es keinen Sinn macht, lange zu warten, bevor Sie Ihr Weltmodell basierend auf neuen Daten leicht ändern. Sie müssen nicht auf die ganze Ära warten, nun, ich weiß nicht, ein Jahr bei einem neuen Job, ein Jahr der Beziehungen zu einer neuen Person, ändern Sie sich häufiger - Sie werden schneller zu Ihrem endgültigen Ziel gelangen . Die Erkundung bietet mehr Möglichkeiten. Es ist auch sinnlos zu schreien, dass nach einem einzigen Vorfall „alles verloren gegangen ist“ , vielleicht ist es nur ein Ausbruch, vielleicht haben sich die Sterne so entwickelt, warten Sie bis zum Ende des Stapels, sammeln Sie Fehler an - und ändern Sie dann das Modell.

Hyperparametersuchmethoden (Rastersuche VS Zufallssuche)

Es gibt viele Artikel ( Beispiel ) zu diesem Thema, in denen bei der Suche nach den besten Hyperparametern die zufällige Sortierung besser ist als eine Rastersuche. In unserem Fall ist die Wahl der "zufälligen" Aktion besser, um wirklich "pseudozufällig" zu machen, und nicht streng in Übereinstimmung mit einem vorgegebenen Gitter . Fans und Anhänger strenger Ansätze werden mich jetzt mit Füßen treten, aber im Ernst, der Zufall regiert die Welt , und die Anwendung einer solchen Methode kann seltsamerweise noch rationaler sein.

Besser noch ist natürlich die Bayes'sche Optimierung . Aber hier habe ich kein Verständnis dafür, wie es auf das wirkliche Leben angewendet werden kann. Nicht der Bayes'sche Ansatz zum Verständnis von Informationen, sondern die Bayes'sche Optimierung bei der Auswahl von Hyperparametern.

Ensembles

Wir alle kennen die Leistungsfähigkeit von Ensembles, bei denen jedes Modell die Daten auf seine eigene Weise betrachtet und ein Signal aus ihnen herausholt. Das beste Ergebnis wird durch die Verwendung eines Metamodells über Modellen der ersten Ebene erzielt. Im Leben ist alles genau das gleiche. Sie können Ihr eigenes Modell der Welt nicht nur auf der Grundlage Ihrer eigenen Erfahrung erstellen, sondern auch das Beste (oder umgekehrt, das Schlimmste verstehen und abschneiden) aus den Modellen anderer Menschen der Welt aufnehmen. Diese Modelle werden in Büchern, Filmen beschrieben. Wenn Sie nur das Verhalten anderer Menschen beobachten, können Sie verstehen, welche Art von Modell sie haben, das Beste nehmen und sich selbst bauen.

Erinnern Sie sich: „Viele Dinge sind für uns unverständlich, nicht weil unsere Konzepte schwach sind, sondern weil diese Dinge nicht in den Kreis unserer Konzepte aufgenommen werden.“ Kozma Petrovich verstand das Problem der begrenzten Modelle, auch ohne ein praktizierendes Datum für Wissenschaftler zu sein. :) :)

Unterschiedliche Menschen, unterschiedliche Umgebungen, unterschiedliche Daten - unterschiedliche Modelle, auch für scheinbar offensichtliche Dinge. Wenn Sie in großen Unternehmen gearbeitet haben, erinnern Sie sich wahrscheinlich an all diese endlosen Schulungen zu Verhalten, Kommunikationsregeln, Belästigung und vielem mehr. Was zur Hölle, hast du gedacht. Aber nein, kein Müll. In großen internationalen Unternehmen (aufgrund von Unterschieden in Kultur, Mentalität und Werten) ist es lediglich erforderlich, eine Ebene von Grundprinzipien in das Modell jedes Mitarbeiters einzuführen, um eine normale Interaktion und Arbeit sicherzustellen.

TL / DR

• Was mit dir in dieser Welt passiert, sind nur du und dein Modell der Welt schuld
• Die Weltmodelle anderer Menschen müssen nicht mit Ihren eigenen korrelieren
• Ihre Metamodelle der Weltmodelle anderer Menschen entsprechen höchstwahrscheinlich nicht der Realität
• Es ist schwierig, in Ihrem Kopf ein offenes Modell der Welt zu schaffen, das nach dem Bayes'schen Prinzip für Veränderungen bereit ist. Es ist noch schwieriger, es ein Leben lang in diesem offenen Zustand zu halten. Es ist sehr schwierig, eine Person zu bleiben

Was bleibt hinter den Kulissen

Zentraler Grenzwertsatz

Wie der CTC sagt, ist die Summe der Zufallsereignisse, die aus jeder Art von schwach abhängigen Verteilungen abgetastet werden, selbst eine Zufallsvariable und im Grenzbereich normalverteilt.

Unser ganzes Leben besteht aus zufälligen Ereignissen : der Wartezeit für einen Aufzug oder einen Bus an einer Haltestelle, Sie haben eine Ecke verpasst oder nicht usw. Sie können den Tag bedingt als erfolgreich oder erfolglos bewerten (eine weitere Zufallsvariable), je nachdem, wo in der endgültigen Verteilung wir angekommen sind - in die Mitte oder zum Ende. In einer ausreichend großen Stichprobe (zum Beispiel einem Jahr) ist zu sehen, dass unsere Zufallsvariable normal verteilt ist und sich auf " gut, mehr oder weniger alles ist in Ordnung " konzentriert.

Das Datum, an dem der Wissenschaftler all das versteht und nicht gedämpft wird, wenn es in das sogenannte fällt Eine „schwarze Linie“, wenn alles schlecht ist - und der Bus unter der Nase abfuhr und Kaffee einschenkte und den Code nicht speicherte usw. Er versteht, dass wir heute den Schwanz der Verteilung haben, wir müssen nur diesen Tag überleben , und morgen wird die Welt vielleicht Ereignisse auf eine etwas andere Art und Weise für uns abtasten.

Übrigens ist der Übergang zu einem neuen Bezugspunkt der Ereignisse (einer neuen Reihe von Stichproben) ein Traum . Kein Kalendertag, keine Mitternacht, sondern ein subjektiver neuer Tag nach dem Aufwachen. Unsere Vorfahren haben dies intuitiv verstanden (obwohl sie nichts über xgboost und keras wussten), aber von hier aus lauten die Sprüche „ Morgen des Abends sind klüger “ und „ Wenn Sie arbeiten wollen, gehen Sie ins Bett und alles wird vergehen “.

— “ ” ( p-value “”), , - ( , ), .

, “ ”. . [1].

, - , . , , , - )

, “ , ”.

(Exploitation vs Exploration)

, , . , , , — “ — ! ”. , , , , - , , , - .

… . - , . ( ), , , - . , “ , ”. , , . . , - , .

“ ” RL( Reinforcement learning ). , , , , , , . , , , , - , , . RL . , ( ) , , , - .

, , , , exploration , .

, , , , - , . , “ — ” “ — ”.

, “” . , , , “ ”, .

, - (, , ..) “”, , , .

- , , -1. , , , , .., .. . , -2. . , , -2 , , .

“ ”

, , , -1 , .

, “ , ” (). . , , - , , , . , , , , , , , .

TL/DR

• ,
• . ,
• (exploration)
• , . , - , 1

Fazit

, - , , , , , .

1. . … . — .: , 2013. — 625 .
2. ., ., . : ., : , 2005. — 632 . — [ISBN 966-8324-14-5]
3. . / . aus dem Englischen . . . — .: , 2006. — 288 .
4. . , “ : "