Richard Hamming: Kapitel 27. Ungültige Daten

"Ziel dieses Kurses ist es, Sie auf Ihre technische Zukunft vorzubereiten."

Hallo Habr. Erinnern Sie sich an den großartigen Artikel „Sie und Ihre Arbeit“ (+219, 2394 Lesezeichen, 386.000 Lesungen)?

Hamming (ja, ja, selbstüberprüfende und selbstkorrigierende Hamming-Codes ) hat ein ganzes Buch geschrieben, das auf seinen Vorlesungen basiert. Wir übersetzen es, weil der Mann geschäftlich spricht.

In diesem Buch geht es nicht nur um IT, sondern auch um den Denkstil unglaublich cooler Leute. „Dies ist nicht nur eine Anklage für positives Denken. Es beschreibt Bedingungen, die die Chancen erhöhen, gute Arbeit zu leisten. “

Wir haben bereits 21 (von 30) Kapiteln übersetzt. Und wir arbeiten an einer Papierausgabe.

Kapitel 27. Ungültige Daten

(Vielen Dank für die Übersetzung, Valentin Pinchuk, der auf meinen Anruf im "vorherigen Kapitel" geantwortet hat.) Wer bei der Übersetzung, dem Layout und der Veröffentlichung des Buches helfen möchte - schreiben Sie in eine persönliche E-Mail oder an magisterludi2016@yandex.ru

Nach meiner Erfahrung und der Erfahrung vieler anderer Forscher sind die Daten in der Regel viel weniger genau als angegeben. Dies ist kein einfacher Moment - wir hängen sowohl von der Auswahl der Anfangsdaten für die Entscheidungsfindung als auch von den Anfangsdaten während der Modellierung ab, je nachdem, aus welchen Ergebnissen Entscheidungen getroffen werden. Da die Art der Fehler sehr unterschiedlich ist und ich keine einheitliche Theorie habe, um sie alle zu erklären, muss ich zu einzelnen Beispielen und Verallgemeinerungen übergehen.

Lassen Sie mich mit einem Haltbarkeitstest beginnen. Ein gutes Beispiel ist meine Erfahrung mit der Teilnahme an Lebenszyklustests von Vakuumröhren. Sie waren für den Einsatz in den ersten U-Boot-Kabeln zur Sprachübertragung mit einer erwarteten Lebensdauer von 20 Jahren vorgesehen (nach 22 Jahren haben wir das zu teure Kabel gerade außer Betrieb genommen - und dies gibt einen guten Überblick über die Geschwindigkeit des technologischen Fortschritts in diesen Tagen).

Die Rohre für das Kabel wurden zum ersten Mal in ungefähr 18 Monaten erhalten, als das Kabel selbst unter Wasser abgesenkt werden sollte. Ich hatte ein Computergerät mit mittlerer Kapazität, das auf dem speziellen statistischen Rechner IBM 101 basierte, den ich dem Datenverarbeitungspersonal zur Verfügung stellte. Ich habe ihnen auch hauptsächlich bei den technischen Aspekten der Berechnungen geholfen. Gleichzeitig habe ich mich in keiner Weise an der direkten Arbeit an dem Projekt beteiligt. Einmal zeigte mir jedoch einer der Projektmanager die auf dem Dachboden gelagerten Testgeräte. Wie üblich fragte ich mich: „Warum sind Sie sicher, dass die Testausrüstung die gleiche Zuverlässigkeit aufweist wie die Testausrüstung?“ Seine Antwort überzeugte mich, dass er überhaupt nicht darüber nachdachte. Aufgrund der Sinnlosigkeit, die Details zu vertiefen, habe ich diese Lektion verlassen. Aber ich habe die Frage selbst nicht vergessen!

Haltbarkeitstests werden immer wichtiger und komplexer, da wir immer zuverlässigere Komponenten für immer größere und komplexere Systeme benötigen. Eines der Grundprinzipien ist die Beschleunigung des Testprozesses, die auf der Tatsache beruht, dass bei einem Temperaturanstieg um 17 ° C viele, aber nicht alle chemischen Reaktionen ihre Geschwindigkeit verdoppeln. Das Verfahren zum Erhöhen der Betriebsspannung wird auch verwendet, um das Erkennen von Schwachstellen zu beschleunigen. Ein ähnlicher Effekt beim Testen von Chips führt zu einer Erhöhung der Taktfrequenz. Aber selbst die komplexe Anwendung von Methoden garantiert nicht die Festigkeit der Grundlagen für Rückschlüsse auf die Haltbarkeit. Als Antwort sagen Experten jedoch: "Was können wir angesichts von Zeit- und Geldbeschränkungen noch tun?" Schließlich wird das Zeitintervall zwischen einer wissenschaftlichen Entdeckung und ihrer technischen Umsetzung ständig verkürzt, so dass tatsächlich keine Zeit mehr bleibt, um reale Tests des Lebenszyklus eines neuen Geräts durchzuführen, bevor es in großem Umfang eingesetzt wird. Und wenn Sie es immer noch vorziehen, dies sicherzustellen, werden Sie für immer hinter dem Leben zurückbleiben.

Zusätzlich zu den oben genannten gibt es natürlich auch andere Testmethoden, mit denen andere Aspekte untersucht werden können. Bisher war ich von der Prekarität dieser Grundlagen von Haltbarkeitstests überzeugt, aber andere existieren nicht! Es war einmal in den Bell Telephone Laboratories, als ich argumentierte, dass es notwendig sei, eine Abteilung zum Testen der Haltbarkeit einzurichten, deren Aufgabe es sei, das Testen eines neuen Geräts vorzubereiten, wenn es nur für die Entwicklung geplant war und nicht, wenn es mit dem Aufkommen des fertigen Geräts entstand. Es gelang mir nicht, obwohl ich einige relativ schwache Annahmen darüber machte, wo ich anfangen sollte. Bei den Haltbarkeitstests blieb keine Zeit für Grundlagenforschung - sie standen unter dem stärksten Druck der Fristen: morgen die notwendigen Ergebnisse zu erzielen. Wie das Sprichwort sagt: "Es wird nie genug Zeit geben, um alles richtig zu machen, aber dann wird es immer gefunden, um Fehler zu beheben" - besonders in Computersoftware!

Hier ist die Frage, die ich für Sie stellen werde: „Wie erwarten Sie das Testen eines Geräts (oder einer Gerätebaugruppe), das eine hohe Zuverlässigkeit erfordert, wenn die Testausrüstung weniger zuverlässig ist, die Testzeit extrem begrenzt ist, das Gerät jedoch eine sehr lange Lebensdauer erfordert ". Dieses Problem wird Sie in Zukunft sicherlich quälen. Es ist daher besser, jetzt darüber nachzudenken, um Möglichkeiten zur Lösung in einer Situation zu skizzieren, in der es an der Zeit ist, die Ergebnisse von Haltbarkeitstests zu erhalten.

Lassen Sie mich nun auf einige Aspekte der Messungen eingehen. Ein Freund von Bell Telephone Laboratories, der ein sehr guter Statistiker war, stellte beispielsweise fest, dass einige der von ihm analysierten Daten ungenau waren. Seine Argumente über die Notwendigkeit, sie erneut zu messen, überzeugten den Abteilungsleiter nicht, der von der Zuverlässigkeit seiner Untergebenen überzeugt war, und außerdem waren alle Messinstrumente mit Kupferplatten versehen, die ihre Genauigkeit bestätigten. Dann, an einem schönen Montagmorgen, kam mein Freund zur Arbeit und sagte, er habe auf dem Heimweg am Freitag seine Aktentasche im Zug vergessen und alles verloren. Der Abteilungsleiter musste wiederholte Messungen anordnen, woraufhin mein Freund die ersten Notizen vorlegte und zeigte, wie unterschiedlich sie waren! Dies trug natürlich nicht zu seiner Popularität bei, sondern zeigte die Ungenauigkeit der Messungen, die später eine entscheidende Rolle spielen sollten.

Derselbe Kumpelstatistiker hat einmal mit Telefonanrufen von seinem Vorstand aus für ein externes Unternehmen recherchiert. Diese Daten wurden genau von der Einrichtung der Zentrale erfasst, die Anrufe tätigte und Zahlungsdokumente für ihre Zahlung zusammenstellte. Eines Tages entdeckte er versehentlich einen Anruf in ein nicht existierendes Büro! Dann untersuchte er die Daten genauer und fand einen ziemlich hohen Prozentsatz von Anrufen, die mehrere Minuten lang mit nicht existierenden Büros verbunden waren! Die Daten wurden von denselben Maschinen aufgezeichnet, die die Anrufe getätigt haben, es handelte sich jedoch um fehlerhafte Daten. Sie können sich also nicht einmal darauf verlassen, dass das Gerät Daten über sich selbst korrekt aufzeichnet!

Mein Bruder, der viele Jahre beim Los Angeles Air Pollution Control Service gearbeitet hat, hat mir einmal gesagt, dass er jedes neu gekaufte Werkzeug neu zusammenbauen, kalibrieren und installieren muss! Ansonsten gab es endlose Probleme mit der Genauigkeit, und dies trotz der Zusicherungen des Lieferanten!

Ich habe einmal viel Hardware-Forschung für Western Electric betrieben. Sie versorgten die Studie 18 Monate lang mit Primärdaten aus Aufzeichnungen von mehr als 100 Geräteproben. Ich stellte die offensichtliche Frage, warum ich an Datenkonsistenz glauben sollte - kann es zum Beispiel die Entsorgung nicht vorhandener Geräte in den Aufzeichnungen geben? Sie versicherten, dass sie darüber nachdachten, alle Daten betrachteten und einige Pseudotransaktionen hinzufügten, um solche Fälle auszuschließen. Ich habe ihnen rücksichtslos geglaubt, und erst später im Laufe der Arbeit stellte ich fest, dass die Daten immer noch widersprüchlich waren. Deshalb musste ich sie zuerst suchen, dann ausschließen und erst dann alle Daten erneut berechnen. Aus dieser Erfahrung habe ich gelernt, die Daten erst nach einer gründlichen Analyse auf Fehler zu verarbeiten. Sie beschwerten sich über meine Langsamkeit, aber fast immer fand ich Fehler in den Daten. Als ich sie vorstellte, waren sie gezwungen, meine Klugheit als vernünftig anzuerkennen. Unabhängig davon, wie unverletzlich die Daten sind und wie dringend eine Antwort benötigt wird, habe ich gelernt, wie man die Daten vorab testet, um die Konsistenz sicherzustellen und die Anzahl dramatisch unterschiedlicher Werte (Ausreißer) zu minimieren.

Ein anderes Mal nahm ich als Initiator und dann als Berater an einer großen Studie von AT & T-Mitarbeitern in New York mit einem gemieteten UNIVAC-Computer teil. Die Daten mussten von vielen Orten stammen, daher entschied ich, dass es ratsam ist, zuerst eine Pilotstudie durchzuführen, um sicherzustellen, dass alle Quellen die Essenz des Geschehens verstehen und wissen, wie IBM Lochkarten mit den erforderlichen Daten vorbereitet werden. Wir haben es geschafft. Als die Hauptstudie begann, stopften einige Quellen jedoch keine Lochkarten gemäß den erhaltenen Anweisungen. Mir wurde sofort klar, dass die kleine Pilotstudie den ganzen Weg durch eine vor Ort ausgebildete Gruppe von Lochkartenspezialisten ging, und die Hauptstudie durch allgemeine Lochkartengruppen. Leider hatten sie keine Ahnung von der Pilotstudie! Auch hier war ich unvernünftig, als ich es mir vorgestellt hatte: Ich habe die internen Mechanismen einer großen Organisation unterschätzt.

Aber was ist mit grundlegenden wissenschaftlichen Beweisen? Die Veröffentlichung des National Bureau of Standards zu 10 grundlegenden physikalischen Konstanten (Lichtgeschwindigkeit, Avogadro-Zahl, Elektronenladung usw.) liefert zwei Datensätze (für 1929 und 1973) und die entsprechenden Berechnungsfehler (siehe Abb. 27.I). . Es ist leicht zu erkennen, wenn:

1. Nehmen Sie den Datensatz von 1973 als korrekt (in Übereinstimmung mit der Tatsache, dass die Tabelle die Erhöhung der Genauigkeit der Bestimmung physikalischer Konstanten tausende Male über 44 Jahre zwischen den Ausgaben zeigt).
2. Berechnen Sie die Abweichung der neuen Werte der Konstanten von den vorherigen.
3. Berechnen Sie, wie oft diese Abweichung den Fehler der vorherigen Berechnung überschreitet.
4. dann ist diese Abweichung im Durchschnitt 5,267-mal größer (die Werte der letzten Spalte R werden vom Autor zur Tabelle hinzugefügt).

Sie haben vielleicht angenommen, dass die Werte der physikalischen Konstanten sorgfältig berechnet wurden, aber jetzt können Sie sehen, wie ungenau sie waren! Die folgende Auswahl physikalischer Konstanten (siehe Abb. 27.II) zeigt einen durchschnittlichen Fehler von der Hälfte. Man kann jedoch nur raten, was mit dieser Genauigkeit nach den nächsten 20 Jahren passieren wird! Willst du wetten?



Abbildung 27.l.

Unterschriften: „unzuverlässige Daten“ GENAUIGKEIT DER MESSUNG (in Bruchteilen pro Million)


Das ist überhaupt nicht überraschend. Ich habe kürzlich eine Tabelle mit Messungen der Hubble-Konstante (der Steigung der Abhängigkeitslinie der Rotverschiebung von der Entfernung) gesehen, die in der modernen Kosmologie von grundlegender Bedeutung ist. Viele Werte gehen über Fehler hinaus, die für die meisten anderen Werte deklariert wurden.

Eine direkte statistische Messung zeigt daher, dass selbst die genauesten physikalischen Konstanten in den Tabellen überhaupt nicht so genau sind wie angegeben. Wie kann das sein? Nachlässigkeit und Optimismus sind zwei Hauptfaktoren. Eine durchdachte Studie zeigt, dass die vorhandenen experimentellen Technologien, in denen wir geschult wurden, ebenfalls nicht ideal sind und zu den Fehlern der Fehlerschätzung beitragen. Wir werden verstehen, wie Sie in der Praxis sind und nicht in der Theorie, machen Sie ein Experiment. Sie sammeln die Ausrüstung und schalten sie ein, und natürlich funktioniert die Ausrüstung nicht so, wie sie sollte. Daher verbringen Sie einige Zeit, oft Wochen, damit es richtig funktioniert. Jetzt sind Sie bereit, Daten zu empfangen, aber zuerst führen Sie eine Feinabstimmung der Geräte durch. Wie? Durch Einrichten, um konsistente Daten zu erhalten. Einfach ausgedrückt, Sie erzielen eine geringe Streuung, aber was können Sie noch tun? Es sind jedoch diese Daten mit einer geringen Streuung, die Sie übermitteln, und sie werden zur Beurteilung der Variabilität verwendet. Sie übertragen aufgrund der richtigen Einstellungen nicht die richtigen Daten - Sie wissen nicht, wie das geht - Sie übertragen Daten mit geringer Streuung und Sie erhalten die hohe Zuverlässigkeit der Statistiken, die Sie deklarieren möchten! Dies ist eine gängige Laborpraxis! Es ist nicht überraschend, dass die Zuverlässigkeit der Daten selten mit der deklarierten übereinstimmt.



Abbildung 27.II.

Ich werde Sie an die Hamming-Regel erinnern:

In 90% der Fälle geht das Ergebnis der nächsten unabhängigen Messung über die Grenzen des vorherigen 90% -Konfidenzniveaus hinaus!

Diese Regel übertreibt natürlich die Fakten leicht, aber in einer solchen Formulierung ist es leichter, sich daran zu erinnern - die meisten veröffentlichten Informationen über die Genauigkeit von Messungen sind bei weitem nicht so gut wie angegeben. Dies ist durch die Geschichte des Experiments selbst gerechtfertigt und spiegelt später aufgedeckte Diskrepanzen mit der angegebenen Genauigkeit wider. Ich habe nicht versucht, ein Stipendium für die Durchführung einer groß angelegten Studie zu erhalten, aber ich habe wenig Zweifel an den Ergebnissen.

Ein weiteres erstaunliches Phänomen, dem man begegnen kann, ist die Verwendung von Daten im Modell, wenn sowohl in den Daten als auch im Modell selbst Fehler auftreten. Beispielsweise wird eine Normalverteilung angenommen, aber die Schwänze können tatsächlich größer oder kleiner sein als die vom Modell vorhergesagten. Oder negative Werte können nicht erhalten werden, obwohl eine Normalverteilung dies zulässt. Dann gibt es zwei Fehlerquellen: Messungen und Modellfehler. Und Ihre Fähigkeit, immer genauere Messungen durchzuführen, erhöht nur den Beitrag zum Fehler aufgrund der Nichtübereinstimmung des Realitätsmodells.

Ich erinnere mich an meine Erfahrung als Mitglied des Verwaltungsrates einer Computerfirma. Wir wollten auf eine neue Computerfamilie umsteigen und sehr genaue Schätzungen der Kosten für neue Modelle erstellen. Der Verkaufsspezialist gab dann an, dass er zu einem bestimmten Preis eine Bestellung für 10, für eine weitere - für 15 und für die dritte - für 20 Verkäufe erhalten könne. Seine Annahmen, und ich sage nicht, dass sie falsch waren, wurden mit verifizierten technischen Daten kombiniert, um über den Preis eines neuen Modells zu entscheiden! Das heißt, der Gesamtbetrag wurde hauptsächlich unter Berücksichtigung der Zuverlässigkeit der technischen Berechnungen ermittelt, wobei die bestehende Unsicherheit der Annahmen des Vertriebsspezialisten ignoriert wurde. Dies ist typisch für große Organisationen. Sorgfältige Schätzungen werden mit willkürlichen Annahmen kombiniert, und die Zuverlässigkeit des Ganzen entspricht der Zuverlässigkeit der technischen Komponente. Sie können eine faire Frage stellen, warum Sie sich mit gründlichen technischen Schätzungen beschäftigen sollten, wenn diese mit anderen willkürlichen Annahmen kombiniert werden. Dies ist jedoch in vielen Tätigkeitsbereichen weit verbreitet!

Ich habe zuerst über Wissenschaft und Technik gesprochen, damit Sie beim Übergang zu Wirtschaftsdaten nicht zu ironisch sind. Ich habe Morgensterns Buch über die Genauigkeit wirtschaftlicher Dimensionen mehrmals gelesen, Princeton Press, 2. Aufl. Dies ist ein hoch angesehener Ökonom.
Mein Lieblingsbeispiel aus seinem Buch sind nach Angaben beider Seiten die offiziellen Zahlen für den Goldfluss von einem Land in ein anderes. Zahlen können manchmal mehr als zweimal abweichen! Wenn sie nicht die richtigen Daten zum Goldfluss erhalten können, welche Daten können dann korrekt sein? Ich konnte sehen, wie ein elektrisches Gerät, wenn es in Länder der Dritten Welt geliefert wird, aufgrund unterschiedlicher Zölle als medizinisch bezeichnet werden kann, aber Gold ist Gold, es kann kaum als etwas anderes bezeichnet werden.

Morgenstern stellt fest, dass DuPont Chemical einst ungefähr 23% von General Motors besaß. Denken Sie, dass diese Tatsache bei der Berechnung des Bruttosozialprodukts (BSP) berücksichtigt wurde? Auf keinen Fall stellte sich heraus, dass es doppelt gezählt wurde!

Als Beispiel stellte ich fest, dass vor nicht allzu langer Zeit, als sich die Steuervorschriften für die Meldung von Vorräten änderten, viele Unternehmen ihre Meldemethoden änderten, um von den neuen Vorschriften zu profitieren. Dazu mussten sie weniger Waren und Materialien zeigen und dementsprechend weniger Steuern zahlen. Vergebens habe ich im Wall Street Journal nach einer Erwähnung dieser Tatsache gesucht. Es gab keinen einzigen. Obwohl Lagerbestände einer der Hauptindikatoren sind, anhand derer wir die Erwartungen der Hersteller bewerten, wächst oder fällt die Wirtschaft. Es wird angenommen, dass Hersteller ihre Lagerbestände reduzieren, wenn sie einen Umsatzrückgang erwarten, aber ihre Lagerbestände erhöhen, wenn sie ein Umsatzwachstum erwarten - um mögliche Einnahmen aus ihnen nicht zu verpassen. Soweit ich verstehen konnte, wurden die Änderung des Gesetzes zur Berichterstattung über Vorräte und seine Auswirkungen auf die wirtschaftlichen Dimensionen überhaupt nicht berücksichtigt.

Im Allgemeinen gibt es ein gemeinsames Problem für alle Zeitreihen. Die Definition des Messobjekts ändert sich ständig. Betrachten Sie als bestes Beispiel die Armut. Wir erhöhen ständig die Armut, damit Sie sie nie loswerden können. Diese Definition wird immer von Beamten geändert, die daran interessiert sind, die von ihnen geleiteten Projekte zu erhalten, für die eine ausreichende Anzahl von Menschen unterhalb der Armutsgrenze erforderlich ist. Was wir "Armut" nennen, ist dem, was der König von England vor nicht allzu langer Zeit hatte, in vielerlei Hinsicht überlegen!

In der US Navy ist der Inhalt der Begriffe "youman" (Bürosekretär), "Schiff" usw. hat sich im Laufe der Jahre geändert. In jeder Zeitreihe, die Sie untersuchen, um Trends in der US-Marine zu identifizieren, wird Sie dieser zusätzliche Faktor in Ihren Schlussfolgerungen verwirren. Es ist nicht so, dass Sie nicht versuchen sollten, die Situation anhand früherer Daten zu verstehen (während Sie die ausgeklügelten Signalverarbeitungsmethoden aus den Kapiteln 14-17 verwenden), aber es gibt immer noch Probleme aufgrund von Änderungen in den Definitionen, die nicht offiziell gesagt werden konnten Dokumente! Definitionen ändern sich im Laufe der Zeit, ohne dass diese Tatsache formal formalisiert wird.

Regelmäßig veröffentlichte Formen von Wirtschaftsindikatoren, einschließlich Arbeitslosigkeit (die nicht zwischen Arbeitslosen und Behinderten unterscheiden, aber meiner Meinung nach sollten), werden normalerweise lange vor der Veröffentlichung erstellt. Unsere Gesellschaft hat sich in den letzten Jahren rasch von industriell (Produktion) zu postindustriell (Dienstleistungsgesellschaft) gewandelt, aber weder Washington (im Sinne der Bundesbehörden) noch Wirtschaftsindikatoren haben dies in angemessenem Maße erkannt. Ihre Zurückhaltung, die Definition von Wirtschaftsindikatoren zu ändern, basiert auf der These, dass Änderungen, wie im vorherigen Absatz erwähnt, die Vergangenheit mit der Gegenwart unvergleichbar machen werden - und es ist besser, einen irrelevanten Indikator zu haben, als seine Bedeutung zu ändern, sagen sie. Die meisten unserer Institutionen (und Mitarbeiter) reagieren langsam auf Änderungen, wie die Verlagerung von Dienstleistungen aus der Produktion auf Dienstleistungen, und fragen sich noch langsamer, wie das, was sie gestern getan haben, geändert werden sollte, um morgen zu passen. Institutionen und Menschen bevorzugen ein Leben ohne Veränderung und sind daher weit zurück und unternehmen dann heldenhafte Anstrengungen, um mit der Zeit Schritt zu halten. Institutionen bewegen sich wie Menschen nur, wenn sie dazu gezwungen werden.

Wenn Sie die obigen Tatsachen hinzufügen, dass die meisten Wirtschaftsdaten für andere Zwecke gesammelt wurden und nur versehentlich für die laufende Wirtschaftsforschung verfügbar wurden und es häufig starke Argumente für die Fälschung von Primärdaten gibt, wird klar, warum die Wirtschaftsdaten von schlechter Qualität sind.

Als eine weitere von Morgenstern erwähnte Ursache für Ungenauigkeiten betrachten wir die allgemein anerkannte Praxis, Sonderkunden, die eifersüchtig geheim gehalten werden, Rabatte zu gewähren. In der Regel erhöhen Unternehmen in Zeiten der Depression die Rabatte und reduzieren sie, wenn sich das Geschäftsumfeld verbessert. Die offiziellen Kostenangaben sollten jedoch auf offenen Verkaufspreisen basieren, sodass Rabatte nicht bekannt sind. Wirtschaftliche Abschwünge führen daher systematisch zu multidirektionalen Abweichungen in den gesammelten Daten.

Was können Regierungsökonomen als Primärdaten verwenden, außer diesen überwiegend ungenauen Daten mit Voreingenommenheit? Ja, sie können bis zu einem gewissen Grad wissen, ob systematische Fehler vorliegen, aber sie können in keiner Weise wissen, wie verzerrt die Daten sind. Daher sollten Sie sich nicht wundern, dass viele der Prognosen von Ökonomen sehr falsch sind. Sie haben einfach keine andere Option, daher sollte ihren Vorhersagen nicht viel vertraut werden.

Nach meiner Erfahrung wollen die meisten Ökonomen einfach keine grundsätzliche Ungenauigkeit der verwendeten Wirtschaftsdaten diskutieren, deshalb habe ich wenig Vertrauen in sie als Wissenschaftler. Aber wer hat gesagt, dass Wirtschaft eine Wissenschaft ist? Nur die Ökonomen selbst!

Wenn wissenschaftliche und technische Daten 5 (oder mehr) Mal weniger genau sind als angegeben, wenn es mit ökonometrischen Daten noch schlimmer ist, können Sie sich nur vorstellen, wie es mit soziometrischen Daten ist! Ich habe keine vergleichende Studie über das gesamte Gebiet, aber meine kleine, begrenzte Erfahrung legt nahe, dass sie nicht sehr gut sind. Auch hier ist möglicherweise nichts Besseres verfügbar, dies bedeutet jedoch nicht, dass die verfügbaren Daten ohne Rücksicht verwendet werden können.

Es sollte klar sein, dass ich bei den meisten meiner Arbeiten dem Thema Datengenauigkeit große Aufmerksamkeit geschenkt habe. Und ich erwarte in absehbarer Zeit nur eine langsame Verbesserung dieses Themas, wenn ich die Position von Experten kenne.

Wenn die Daten normalerweise schlecht sind und Sie verstehen, dass Sie mehr Daten sammeln müssen, was können Sie dann bestenfalls tun?

Seien Sie sich zunächst dessen bewusst, was ich Ihnen ständig gesagt habe: Ein Mensch ist nicht dafür geschaffen, zuverlässig zu sein, er kann nicht fehlerfrei gezählt werden, er kann keine monotone, sich wiederholende Aufgabe mit hoher Genauigkeit ausführen. Betrachten Sie als Beispiel ein Bowlingspiel. Alles, was ein Spieler tun muss, ist, den Ball jedes Mal genau in die richtige Linie zu werfen. Aber wie selten machen selbst die besten Spieler den perfekten Schuss! Selbsthilfegruppen bewundern die Genauigkeit des Ballfluges, da dies eine äußerst sorgfältige Vorbereitung und Ausführung erfordert, aber bei sorgfältiger Überlegung muss der Spieler noch viel verbessern.

Zweitens können Sie keine wirklich große Datenmenge ohne Fehler erfassen. Dies ist eine bekannte Tatsache, die ständig ignoriert wird. Das Management erfordert normalerweise eine 100% ige Abdeckung, während eine viel geringere Abdeckung, beispielsweise 1% oder sogar 1/10% der Abdeckung der Umfrage, genauere Ergebnisse liefert! Dies ist bekannt, wie gesagt, aber es wird ignoriert. Telefongesellschaften sind es gewohnt, eine sehr kleine, sorgfältig ausgewählte Stichprobe zu verwenden, um das Einkommen zwischen den verschiedenen Unternehmen zu verteilen, die an Ferngesprächen beteiligt sind, und basierend auf dieser Stichprobe verteilen sie Geld zwischen Partnern. Die Fluggesellschaften machen jetzt das Gleiche. Sorgfältig entnommene kleine Proben sind besser als große Proben, die schlecht ausgewählt sind. Besser, weil sie billiger und genauer sind.

Drittens wurden viele soziometrische Daten durch Fragebögen erhalten. Es ist jedoch seit langem bekannt, dass die Art und Weise, wie die Fragen formuliert sind, die Reihenfolge, die Personen, die Fragen stellen oder nur darauf warten, dass der Fragebogen ausgefüllt wird, die Antworten ernsthaft beeinflussen. In einer einfachen Schwarz-Weiß-Situation ist dies natürlich nicht der Fall, aber wenn Sie eine Überprüfung durchführen, ist die Situation in der Regel matschig, sonst müssten Sie sie nicht starten. Ich bedauere, dass ich eine Umfrage der American Mathematical Society unter ihren Mitgliedern nicht gespeichert habe. Ich war so empört über die Fragen, die die gewünschten Antworten mit meinen Formulierungen auferlegten, dass ich sie einfach mit einer Erklärung dieses Grundes zurückgab. Wie viele Mathematiker stehen vor der Beantwortung solcher Fragen: Gibt es genug finanzielle Unterstützung für Mathematiker, reicht es für Veröffentlichungen, für Stipendien für Doktoranden usw., wie viele von ihnen werden sagen, dass es mehr als genug Geld gibt? Natürlich nutzte die Mathematische Gesellschaft die Ergebnisse, um die Forderung nach verstärkter Unterstützung für Mathematiker in allen Bereichen zu untermauern.

Ich habe kürzlich einen langen, wichtigen Fragebogen ausgefüllt (wichtig für die Leitaktionen, die sich aus den Ergebnissen ergeben könnten). Ich füllte es so ehrlich wie möglich aus, stellte jedoch fest, dass ich kein typischer Befragter war. Ich fuhr fort zu reflektieren und schlug vor, dass die Klasse der befragten Personen überhaupt nicht homogen sei, sondern aus ziemlich unterschiedlichen Unterklassen bestehe. Daher seien berechnete Durchschnittswerte für keine dieser Gruppen anwendbar. Dies entspricht genau dem bekannten Witz, dass eine durchschnittliche amerikanische Familie zweieinhalb Kinder hat. Aber gleichzeitig finden Sie in keinem die Hälfte des Kindes! Durchschnittswerte sind nützlich für homogene Gruppen (homogen im Sinne der Operationen, die mit ihnen ausgeführt werden sollen), aber für heterogene Gruppen sind sie oft nicht sinnvoll. Wie bereits erwähnt, hat ein Erwachsener im Durchschnitt einen Hoden und eine Brust, aber diese hat nichts mit durchschnittlichen Persönlichkeiten in unserer Gesellschaft zu tun (wenn wir uns jetzt an die Pedanterie des Autors halten, müssen wir über die Gesellschaft in den USA in Bezug auf „hatte“ sprechen. - Kommentar eines Übersetzers) .

Wenn der Bereich der Antworten sehr asymmetrisch ist, ist der Medianwert (der die Anzahl der Beispielobjekte in zwei Hälften teilt - die Hälfte hat diesen Wert kleiner als der Median, die Hälfte mehr als ca. Übersetzer) dem Durchschnitt als Indikator vorzuziehen - wir haben dies vor relativ kurzer Zeit öffentlich akzeptiert. Veröffentlichen Sie daher jetzt häufiger das Durchschnittseinkommen und den Durchschnittspreis von Wohnraum anstelle von Durchschnittswerten.

Viertens gibt es einen weiteren Aspekt, auf den Sie unbedingt achten sollten. Ich habe wiederholt wiederholt, dass sich der Verlauf der Ereignisse in einer Organisation an Ort und Stelle und in Anwesenheit hochrangiger Beamter dieser Organisation ändert. Versuchen Sie daher, persönlich zu erfahren, wie die Fragebögen ausgefüllt werden, bevor Sie im Dienst hoch genug befördert wurden. Als ich im Verwaltungsrat eines Computerunternehmens war, stieß ich auf eine anschauliche Demonstration dieses Effekts. Kleine Beamte handelten so, dass sie versuchten, mir zu gefallen, aber sie machten mich nur sehr wütend darüber, außerdem hatte ich keinen Grund, ihnen in einer Bemerkung etwas zu sagen. Oft tun Untergebene, was sie denken, dass Sie von ihnen wollen, aber in Wirklichkeit ist dies nicht das, was Sie brauchen! Ich glaube auch, dass, wenn das Management Ihrer Organisation einen Fragebogen sendet, diejenigen, die sich einen Gefallen tun möchten, diesen höchstwahrscheinlich sorgfältig und pünktlich ausfüllen, der Großteil bis zum letzten Moment herausgezogen wird und danach der untergeordnete Mitarbeiter ihn intuitiv ausfüllt, ohne die erforderlichen Berechnungen vorzunehmen und Messungen - es ist zu spät, um sie bereits zu nehmen, also sende ich, was ich kann! Was mit der allgemeinen Zuverlässigkeit solcher "zusammengesetzten" Berichte, weiß niemand. Sie können die Ergebnisse überschätzen, unterschätzen oder gar nicht stark verzerren. Das Top-Management sollte jedoch Entscheidungen auf der Grundlage solcher Umfragen treffen. Wenn die Daten also schlecht sind, sind die Entscheidungen wahrscheinlich schlecht.

Meine Lieblingsbeschäftigung beim Lesen oder Hören von Daten besteht darin, mich zu fragen, wie Menschen sie gesammelt haben und wie ihre Schlussfolgerungen begründet werden können. Zum Beispiel sagte eine charmante Witwe vor vielen Jahren, als ich dies auf einer Dinnerparty erwähnte, dass sie keinen Grund sehe, warum sie keine Daten zu irgendeinem Thema sammeln sollte. Nach einigem Überlegen protestierte ich: "Wie würden Sie die Anzahl der Ehebrüche pro Jahr auf der Monterey-Halbinsel messen?" Tatsächlich? Wirst du dem Fragebogen glauben? Oder wirst du Leuten folgen? Es scheint schwierig, wenn nicht unmöglich, eine vernünftige Schätzung der Anzahl der Ehebrüche pro Jahr vorzunehmen. Es gibt viele ähnliche Dinge, die sehr schwer zu messen sind, und dies gilt insbesondere für die sozialen Beziehungen.

Es wurde eine sehr subtile Methode vorgeschlagen, deren Wirksamkeit ich persönlich in der Praxis nicht getestet habe. Angenommen, Sie möchten die Anzahl der ungelösten Morde schätzen. Sie interviewen Menschen und bitten sie, eine Münze ohne Zeugen zu werfen. Wenn die Schwänze herausfallen, müssen sie erklären, dass sie den Mord begangen haben, und wenn der Adler, müssen sie die Wahrheit sagen. Per Definition kennt niemand außer den Menschen selbst das Ergebnis des Münzwurfs, daher wird niemand sie des Mordes beschuldigen, wenn sie es erklären. Bei einer ausreichend großen Stichprobe ergibt ein geringfügiger Überschuss des Anteils der Mordgeständnisse über dem Wert von 0,5 die gewünschte Schätzung. Dies setzt jedoch voraus, dass die Befragten unter Berücksichtigung der Sicherheit aufrichtig reagieren. Varianten einer solchen Methode wurden vielfach diskutiert, aber meines Wissens fehlt noch eine ernsthafte Untersuchung ihrer Wirksamkeit.

Zusammenfassend haben Sie vielleicht von den berühmten Präsidentschaftswahlen gehört, bei denen die Zeitungen für eine Person den Sieg erklärten, während die andere mit großem Vorsprung gewann. Es gibt auch eine telefonische Umfrage zum Literary Digest-Magazin, deren Ergebnisse sich später als völlig fehlerhaft herausstellten, so dass das Magazin bald nicht mehr existierte, und viele glauben aufgrund dieser Umfrage. Der Irrtum der Ergebnisse wurde dann durch die Tatsache erklärt, dass der Besitz von Telefonen mit dem Wohlstandsniveau und dem Wohlstandsniveau mit politischen Abhängigkeiten korreliert.

(Der Autor macht hier unerwartet eine Reihe von Fehlern und Verwirrungen, was sehr unerwartet ist! Hier die Details. Am Ende des Wahlkampfs 1936 in den USA veröffentlichte das einflussreiche Wochenmagazin The Literary Digest mit einer Auflage von fast zwei Millionen Exemplaren die Ergebnisse einer beispiellosen postalischen Umfrage Die Studie sollte herausfinden, wen die Amerikaner als ihren Präsidenten sehen wollen: Franklin D. Roosevelt, ein demokratischer Kandidat, der für eine zweite Amtszeit kandidiert, oder Elf Landon, ein Kandidat der Republik . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

Das Entwerfen, Durchführen und Zusammenfassen von Umfragen ist nichts für Amateure. Sie benötigen kompetente Beratung zu Fragebögen (und nicht zu gewöhnlichen Statistiken), wenn Sie mit der Erstellung von Fragebögen beginnen, und es ist unmöglich, diese Aktivität zu vermeiden. Zunehmend brauchen wir keine Fakten über materielle Objekte, sondern die Ergebnisse von Beobachtungen in sozialen und verwandten Branchen - und dies ist ein tückisch instabiler Boden.

: , . , . , - !

...

, — magisterludi2016@yandex.ru

, — «The Dream Machine: » )