Eine kurze Anleitung zum Erstellen von Orakeln, Autogöttern und Fehlern zweiter Ordnung

Wahrscheinlich wird es in diesem Text für viele keine Neuheit geben. Wahrscheinlich werden andere sagen, dass dies im wirklichen Leben nicht geschieht. Aber nicht der erste April, sondern alles, was hier geschrieben steht, ist die reine Wahrheit, die mir oder den Menschen in der Umgebung passiert ist. Vielleicht bringen Sie einige der oben genannten Punkte dazu, die Sie umgebenden Phänomene zu überdenken.

Wenn wir uns diesen Geschichten formal nähern, können wir sagen, dass sie alle durch die Tatsache erzeugt werden, dass die Menschen die zweite Art von Fehler nicht berücksichtigen. Bei Yudkovsky, mit dem ein Viertel von Habr vertraut ist, wird dieser Fehler normalerweise als " Bestätigung der Verzerrung " bezeichnet.



Was ist das? Kurz gesagt: "Eine Person sucht nach einer Bestätigung ihres Modells, nicht nach seiner Widerlegung." Die einzige Möglichkeit, dies besser zu erklären, sind Beispiele, Beispiele, Beispiele und Erfahrungen. Nur so kann das Gefühl entstehen, dass "hier etwas nicht stimmt".

Es scheint mir, dass diese Kurzgeschichte es Ihnen ermöglicht, Fehler der zweiten Art aus einer völlig anderen Perspektive zu betrachten. Von der Seite, wie sie bereits in unser Leben eingetreten sind, beeinflussen sie fast jede Entscheidung. Und sie helfen uns, aus den umgebenden Technologien Götter zu machen. Beim maschinellen Lernen stoße ich jeden Tag darauf.

Einführung

Ich werde mit den Geschichten meines Lehrers für Naturwissenschaften beginnen.

In den Tagen der Union fand einmal eine Sitzung des Rates mehrerer Designbüros statt. Einer der Ärzte der Wissenschaft, Leiter einer großen Abteilung in einem der Designbüros, stellte eine neue Methode zum Auffinden von Flugobjekten per Radar vor. Gleichzeitig war die Genauigkeit des Befundes nahezu perfekt und übertraf die vorhandenen Algorithmen um Größenordnungen.

Es basierte auf einer kniffligen fraktalen Mathematik. Niemand im Vorstand konnte sie anhand des Berichts / der Begleitpapiere verstehen. Und die Person, die den Algorithmus vorstellte, gab immer mehr Argumente dafür an, dass alle Radargeräte auf diesen Algorithmus konvertiert werden sollten. Und sein Ruf war gut etabliert. Jeder spürte den Haken. Aber niemand konnte verstehen, wo der Fehler in der Mathematik lag.
Und nur ein Doktorand im Rat, der zufällig dort ankam und nach einer Stunde Diskussion seinen Chef ersetzte, entschied sich zu fragen: "Und wie hoch ist die Wahrscheinlichkeit einer falschen Entdeckung, wenn keine Objekte vorhanden sind?" Er verstand die Mathematik nicht, hatte aber eindeutig das Gefühl, dass er nicht um eine Größenordnung springen konnte.

Alle schwiegen. Jeder war sich sicher, dass solch eine triviale Sache offensichtlich verifiziert wurde. Aber der Arzt, der die Mathematik verteidigte, wurde blass, sah verstört aus und schaffte es nur zu sagen: "Wir haben vergessen zu sehen ...".

Menschen, auch kluge und betitelte, suchen zunächst nach einer Bestätigung ihrer Theorie. Und je mehr sie sich darauf verlassen, desto böser kann ein Witz mit ihnen werden.

Fühle dich selbst

Wenn der Artikel weitergeht, gibt es keine Bilder! Aber ich weiß, dass Artikel über Habré nur für die besten Bilder geöffnet werden!

Und es gibt viele von ihnen zu diesem Thema. Sie bestätigen, dass das Merkmal des Vertrauens in die einfachste Lösung uns auf der Ebene der Natur innewohnt. Sie alle haben sie schon oft gesehen. Und wahrscheinlich besteht keine Notwendigkeit zu erklären:



Klassisches gelbes (blau?) Kleid.



Necker Cube , wie kann ich ohne ihn auskommen?


Drehung nach links / rechts

Die Besonderheit dieser Illusionen ist, dass sie eine doppelte Interpretation haben. Das Gehirn geht in Zyklen nur unter einem Gesichtspunkt, der ein Problem löst. Und übersieht andere Sichtweisen. Und sag mir einfach, dass du zwei Ansichten gleichzeitig im Auge behalten kannst !!!

Es ist wie eine Religion, die die Natur von Phänomenen erklären kann. Wie Horoskope, bei denen es um nichts geht, aber eine Person nach Bestätigung sucht. Oft können Sie nicht feststellen, was ein intelligentes System für Sie gezählt hat und wie Sie es mit der Realität vergleichen können. Glaubst du nicht?

Beispiel Nummer zwei über Gauner

Wie gefällt dir dieses Projekt ? Verwenden Sie Neurosky, um die Talente eines Kindes zu bewerten? Jeder, der sich mehr oder weniger mit Technologie auskennt, versteht, dass dies eine Verkabelung ist. Das laute Zeugnis von Neurosky macht es kaum möglich, das Gitarrenspiel vom Lesen eines Buches zu unterscheiden.



Und das ist nicht zu erwähnen, dass für Kinder alles 100-mal komplizierter ist. Kinder sind beunruhigt, was einen hohen Geräuschpegel erzeugt. Und natürlich geben die Entwickler keinen Hinweis auf den Algorithmus und die statistische Signifikanz. Es würde funktionieren - es wäre ein Durchbruch. Dies ist jedoch nur eine Art der Verkabelung.

Nach meinem Artikel über NeuroSky schrieben mir fünf Leute mit ähnlichen Ideen in der Mail / PM. Jemand war einfach nur verrückt, und jemand deutete ziemlich zynisch an, dass "nun, Sie machen das System, weil es sowieso etwas zeigt, es kann nach dem Training keinen vollständigen Unsinn geben". Und die Seite, die ich etwas höher zitiert habe, wurde als Beispiel angeführt.

Und warum bist du kein Horoskop?

Warum ist es hier? Nun, es gibt ein Büro, das sich mit Verkabelung befasst. Nun, es gibt Scientologen. Das ist doch nicht massiv!

Aber es scheint mir, dass nicht ein Paar. Solche Dinge füllen das tägliche Leben. Und Technologie erzeugt sie jeden Tag. Unten im Text finden Sie einige anschaulichere Beispiele, über die Sie alle sehr gut Bescheid wissen (haben Sie Zeit, sich zu erinnern, bevor Sie sie lesen? ). Und in den Kommentaren können Sie Ihre eigenen mitbringen.

Der Schlüssel für mich in diesem Fall ist, dass es zeigt, dass viele Menschen an Technologie / Methodik glauben wollen. Und es ist eine Sache, wenn Menschen, die es nicht verstehen, glauben. Und das zweite ist die Selbsttäuschung der Schöpfer. Der zweite schreitet leider voran.

Beispiel Nummer drei, jeden Tag

Es scheint mir, dass Geschichten nicht wiederholt werden sollten, dass jede von ihnen die menschliche Natur von einer anderen Seite zeigen sollte. Also gehe ich auf die andere Seite.
Autonummern!

Was? Was sind die Fehler der zweiten Art !? Was für eine Magie?

Und sie erscheinen hier sehr cool. Hier ist was Sie sagen, wie lautet die Nummer des Autos:





Ist es "M" oder "H"? Ist die Region "71" oder "21"?

Und dennoch beginnen die Menschen auf der Grundlage einzelner Bilder eines solchen Plans, die Qualität des Systems zu bewerten. Warum denkst du so? Normalerweise, weil eine Person die Nummer eines solchen Autos gesehen hat. Und es fällt ihm schwer zuzugeben, dass er auf einem solchen Foto möglicherweise eine andere Interpretation hat.

Es gibt einen Bewusstseinszusammenbruch zugunsten der nächsten bekannten Entscheidung. Ich habe das aufschlussreichste Beispiel gegeben, aber wenn es plötzlich interessant ist, werde ich hier noch ein paar Schritte unternehmen.

Und ihn davon zu überzeugen, dass die Anzahl unterschiedlich sein könnte, ist oft fast unmöglich. Es ist einfacher zu sagen, dass dies im Prozentsatz der Algorithmusfehler enthalten ist.

Dies ist eine sehr häufige Bewusstseinsfalle bei der Arbeit mit Bildern und Erkennungssystemen. Der Mensch wartet auf eine fertige Lösung. Und alles, was zu einer anderen Entscheidung kam, ist falsch. Der Weg ist nicht interessant. Nur das Ergebnis ist interessant. Ein paar Mal im Monat muss ich erklären, dass ein trainierter Algorithmus nicht erforderlich ist, um Frames mit Rauschen zu bearbeiten.

Ich habe Angst zu überlegen, wie einige Unternehmen einen solchen Plan anbieten. Selbst bei sehr guten Aufnahmen ist es schwierig, eine Brille / Handschuhe zu finden und ihren Besitzer zu finden. Auch wenn Sie kein Algorithmus sind, sondern eine lebende Person.



Gleichzeitig sind Ingenieure in technischen Unternehmen nicht diejenigen, die von der philosophischen Aufgabe gefragt werden: "Ist es möglich, anhand dieses Videos zu verstehen, ob eine Person eine Schutzbrille hat oder nicht?"

Und doch glauben viele Menschen, dass auch unlesbare Zahlen gut erkannt werden. Und die Auflösung kann hunderte Male erhöht werden. Auf einem Habr gab es einen wunderbaren Artikel zu diesem Thema. Und manchmal sind sie sehr beleidigt, dass dies nicht so ist. Magie aus dem Auto funktioniert nicht;)

Beispiel Nummer vier oder wie Sie im Epizentrum sein können

Ich habe drei verschiedene Optionen angegeben. Und alles kann mit dem Standard beantwortet werden: "Na ja, es sind nur inkompetente Leute." Oder: "Menschen irren sich, mit denen es nicht passiert."

Solche Fehler sind jedoch viel häufiger als Sie denken. Sobald wir uns mit mehrdeutigen Entscheidungen befassen, mit Situationen, in denen 3-4 Ergebnisse möglich sind, ist es unmöglich, das Niveau unserer Kompetenz zu beurteilen. Auch wenn Sie ein sehr cooler Ingenieur sind.

Ich werde Ihnen eine epische Geschichte darüber erzählen, wie Experten Fehler machen können (oder keine Fehler machen), wenn sie einen Gott aus einem Auto finden.

Einmal schrieben sie mir mit der Bitte, eine Konsultation über die Anerkennung einiger medizinischer Tests zu vereinbaren. Am Telefon habe ich die Erklärung des Managers, was erkannt werden sollte, nicht wirklich verstanden. Darüber hinaus handelte es sich um eine „völlig neue“ Methodik. Deshalb haben wir uns mit den Ärzten getroffen, die es entwickelt haben (Skype für Ärzte ist zu kompliziert).

Am nächsten Tag, nach zwei Stunden Treffen, begann mein Gehirn zu kochen. Ich habe nicht verstanden, mit wem ich zwei Stunden lang gesprochen habe. Mit absoluten Gaunern, mit zukünftigen Nobelpreisträgern oder mit Leuten, die verrückt sind.

Eine Gruppe von mehreren Ärzten erfand einen universellen Test, der Dutzende, wenn nicht Hunderte von Krankheiten enthüllte. Durch Urin, durch Blut, durch Tränen und durch Speichel.

Die Methode war dieselbe: „Mischen Sie die Flüssigkeit mit dem Reagenz (ein und dasselbe), sehen Sie, wie es trocknet und reißt“. Die Diagnose wurde danach gestellt, wie Risse aussehen, welche Farbe das Ganze haben wird, in welcher Form Kristalle auf einem getrockneten Tropfen wachsen werden, wie alles in polarisiertem Licht aussieht.



Und ich muss sagen, dass der erste Teil, der sich im Urin befand, ziemlich gut begründet war.

Als ich in den folgenden Tagen versuchte, Informationen zu diesem Thema zu sammeln und Ärzte interviewte, bestätigten sie, dass viele davon sehr stark verzerrte Standardtests sind, die in der Realität stattfinden. Obwohl irgendwo etwa ein Drittel des Buches zweifelnd den Kopf schüttelte.

Aber der zweite Teil war blutig ein Produkt des Wahnsinns. Was für Theranos ist da! Es war nur notwendig, einem Amerikaner dort nicht 4,5 Milliarden zuzuweisen, sondern diesen Genossen.

Forscher sagten mir, wie sie durch einen Blutstropfen Krebs in einem sehr frühen Stadium auslösen können. Nur mit einem Mikroskop ein paar Tropfen Reagenzien aus einem Labor (wenn das Gedächtnis dient, war es Albumin). Und sie erzählten, wie sie diese Methoden erfolgreich in der klinischen Praxis zur Behandlung von Patienten eines medizinischen Zentrums anwenden (sic!). Hier ist eine kurze Liste dessen, was sie entdeckt haben:



(Klickbar)

In meinem etwas beeindruckenden Blick und meiner Frage nach der Evidenzbasis erzählten sie mir von Hunderten von Artikeln in der Literatur, von zwei Abteilungen in Russland, die an dieser Technik arbeiteten und sie entwickelten. Ungefähr ein Dutzend Kandidaten und Ärzte der Wissenschaft, die sich zu diesem Thema verteidigten. Zum Abschied präsentierten sie zwei Bücher zu dem Thema, in dem das Vorwort von einem Akademiker verfasst wurde:



Ist das alles wahr? Weiß nicht. Mir wurde klar, dass ich kein Verständnis dafür hatte, wie Chemie und Biologie funktionieren. Kein Verständnis dafür, wie diese Informationen zu finden sind. Und aus formalen Gründen. Na ja. Es gibt eine Reihe von Ärzten und verwandten Artikeln. Keiner von ihnen wurde in einer von Experten begutachteten internationalen Zeitschrift mit einem hohen Zitiergrad veröffentlicht. Es gibt Wissenschaftler, die über die Erfolge der Methodik sprechen. Aber sie sind, entschuldigen Sie, Akademiker der RAMS. Es gibt keinen einzigen kritisierenden Artikel, nur Artikel, die über Erfolge berichten (Google Google im Jahr 2016, seitdem könnte etwas Neues herauskommen).

Nein, natürlich habe ich die E-Mail des Vorsitzenden der Pseudowissenschaftskommission und einiger seiner Stellvertreter gefunden. Und er hat über alles darüber geschrieben ... Ich habe keine Antwort erhalten :)

Und persönlich. Ich verstehe, dass diese Leute daran glauben. Verdammt, die russische Medizin ist nicht der Ort, an dem man auf einem Scherz dieser Stufe etwas unternehmen kann. Sie müssen wirklich an Ihr Geschäft glauben.
Aber ich verstehe, dass mit den Grundlagen, auf denen sie messen, mit den Parametern, die es gibt - mindestens die Hälfte von dem, was gesagt wird, zweifelhaft ist. Aber etwas kann wirklich funktionieren.

Diese Arbeit, Gott sei Dank, bin ich nicht gegangen. Vielleicht, weil ich gesagt habe, dass Sie, um etwas automatisch zu erkennen, zuerst eine große Basis sammeln und mit einem unabhängigen Markup bestätigen müssen, dass es existiert. Oder vielleicht liegt die Wahrheit an bürokratischen Formalitäten.

Wer ist hier richtig? Ärzte, die eine Theorie entwickeln und daran glauben? Oder bin ich eine Person von der Seite, der sie wahnsinnig erscheint? Ich weiß nicht. Wenn sich die Ärzte irren, handelt es sich um einen klassischen Fehler „mangelnde Überprüfung der Gegenargumente“. Oder vielleicht ich. Und dann ist es fast das gleiche :)

Aber seitdem habe ich zwei epische Bücher und eine phantosmogorische Geschichte.

Und ein paar Beispiele über Ärzte ...

Du weißt schon. Ärzte sind in der Regel ein fruchtbares Thema. Wenn Sie versuchen, etwas an neuronalen Netzen zu erkennen, stoßen Sie ständig darauf. Ich habe mit einer großen Anzahl von Röntgenuntersuchungen gearbeitet: Fluorogramme, Mammogramme, sprach und schaute auf CT, sah verschiedene Zähne.
Und fast überall (in unterschiedlichem Maße) gibt es ein und dasselbe Problem: Verschiedene Ärzte lesen Bilder auf unterschiedliche Weise. Sie bitten zwei Ärzte, die Pathologie auf den Bildern zu notieren - und sie haben eine Schnittfläche von 20 bis 30 Prozent. Und jeder von ihnen ist zuversichtlich in seine Entscheidung, zeigt klare Grenzen.

Begründet seine Antwort. Das Problem ist wiederum, dass eine Person ein gutes Modell in ihrem Kopf baut, es auf ein Bild projiziert und dann nach Bestätigung sucht. Aber sehr oft - das ist die falsche Antwort. Oder unzuverlässig.

Leider basierte die Medizin in den letzten Jahrhunderten nicht mehr auf dem „Nachweis jedes Schrittes durch Statistik“, sondern auf einer „logischen Erklärung jedes Schrittes“. Es sitzt sehr tief in der Psychologie. Manchmal scheint es mir, dass ein homöopathischer Arzt und ein schlechter Therapeut nach demselben Prinzip arbeiten. Es gibt eine Reihe grundlegender Einstellungen und das Vertrauen in sie. Woher kam ohne Analyse was? Ohne zu wissen, worauf Sie vertrauen können. Höchstwahrscheinlich sind die Einstellungen des Therapeuten näher an der Realität. Aber global können weder das eine noch das andere die verwendeten Schemata beweisen. Vielleicht ernennen sogar beide validol oder schicken Mutterkraut zu trinken.

Einmal wurde ich gebeten, einen Chirurgen zu konsultieren ... Der Abteilungsleiter, ein prominenter Spezialist mit 30 Jahren Praxis. Onkel erzählte mir, wie Sie mit 100% iger Genauigkeit gemäß der Fragebogenstufe „Geburtsdatum, Datum des ersten Monats, Anzahl der Kinder usw.“ aus 30 Fragen vorhersagen können, wann es Brustkrebs geben wird. Das ist natürlich lächerlich. Er schlägt jedoch vor, diesen Fragebogen allen seinen Patienten auszufüllen und daraus Schlussfolgerungen zu ziehen.

Beispiele dafür, was wir jeden Tag täuschen

Willst du mehr? .. Willst du etwas, von dem jeder weiß? Nehmen Sie das große und schreckliche Auto, vor dem jeder Angst hat. Polygraph . Was, glauben Sie immer noch, dass es funktioniert? Link führt zu Wikipedia. Gehen Sie durch und beobachten Sie die Kritik. Warum es nicht funktioniert und welche Gewissheit es gibt. Und dennoch benutzen viele sie. Warum bist du kein Gott aus einem Auto?

Verschiedene Unternehmen schreiben mir regelmäßig, die Gesichtserkennung anbieten. Sie sind sehr beleidigt, wenn ich sie frage, wie groß ihre Basis ist. Sie sagen, dass sie ein cooles Modell haben, das von den besten Physiologen entwickelt wurde.

Besonders bekannt war eine Firma mit einem schicken Büro im Zentrum von Moskau. Absolut unzureichende NDA und verrücktes Pathos über die Überlegenheit ihrer Technologie ... Seitdem sind fast fünf Jahre vergangen. Das Unternehmen hatte seitdem sogar einen eigenen Blog auf Habré. Nur hier hatten die Produkte nichts mit Lügenerkennung zu tun und lösen viel profanere Aufgaben (so wie ich es verstehe, haben sie die gleichen Entwicklungen verwendet, was gut ist).
Es ist lustig, dass sich später herausstellte, dass ich sie nicht nur geschickt habe, sondern auch andere Unternehmen, die an der Entwicklung der Bildverarbeitung beteiligt sind. Vielleicht konnten sie damit überdenken, was sie taten - und anfangen, Geschäfte zu machen ^ _ ^

Schließlich kann ich nicht anders, als einen Link zur Ankündigung des Portals Superjob zu geben, das vor ein paar Tagen war. Ich möchte ihnen eine weitere 100% bewährte Methode anbieten, um mehr über den Kandidaten zu erfahren.

Vielleicht ist es an der Zeit, zu einigen Schlussfolgerungen zu kommen? Die Schlussfolgerungen, die ich für mich selbst gezogen habe - erst nach vollständiger Überprüfung der Eingabedaten und der Methodik mit der Arbeit zu beginnen und sie auszuführen.

Vertrauen Sie niemandem, bis er die Überprüfung seiner Methode durch offene statistische Forschung / Zugriff auf den Algorithmus zeigt.

Ich bin sicher, dass diese Schlussfolgerungen nicht ideal sind. Sie sind nicht für die Medizin geeignet. Höchstwahrscheinlich gibt es keine verifizierte Studie zu Aspirin. Seit Tausenden von Jahren wissen die Menschen, dass Weidenrindenextrakt die Temperatur senkt. Warum das erforschen?

Und um die Ergebnisse zusammenzufassen und die universelle Strategie von Vertrauen vs. check - Ich kann nicht.

Aber wahrscheinlich, wenn Sie sich fragen, ob es möglich ist, dieser oder jener Methode zu vertrauen, wird der Artikel sein Ziel bereits erreichen.

PS Haftungsausschluss

Ich habe absichtlich versucht, die Namen von Personen / Firmennamen nicht zu erwähnen, bei denen zumindest die Möglichkeit besteht, dass sich Menschen ehrlich irren. Oder wo kann ich mich irren. Wahrscheinlich können je nach Text viele berechnet oder googelt werden. Ich würde Sie bitten, es nicht in den Kommentaren zu posten. Alle, die es brauchen - machen Sie es selbst / können in PM fragen.

In vielen Situationen kenne ich die Details der Lösungen möglicherweise nicht, daher halte ich es nicht für erforderlich, einige Personen zu brandmarken. Es scheint mir jedoch wichtig, an diesen Beispielen zu zeigen, dass unsere Interaktion mit der modernen Welt eine Reihe von Bewusstseinsfehlern bei Menschen hervorruft.