Richard Hamming: Chapitre 27. Données invalides

«Le but de ce cours est de vous préparer à votre avenir technique.»

Salut, Habr. Vous vous souvenez de l'article génial "Vous et votre travail" (+219, 2394 signet, 386k lectures)?

Hamming (oui, oui, les codes d' autocontrôle et d'autocorrection de Hamming ) a un livre entier écrit sur la base de ses conférences. Nous le traduisons, parce que l'homme parle d'affaires.

Ce livre n'est pas seulement sur l'informatique, c'est un livre sur le style de pensée des gens incroyablement cool. «Ce n'est pas seulement une charge de pensée positive; il décrit les conditions qui augmentent les chances de faire du bon travail. »

Nous avons déjà traduit 21 (sur 30) chapitres. Et nous travaillons sur une édition papier.

Chapitre 27. Données non valides

(Merci pour la traduction, Valentin Pinchuk, qui a répondu à mon appel dans le "chapitre précédent".) Qui veut aider à la traduction, la mise en page et la publication du livre - écrivez dans un e-mail personnel ou magisterludi2016@yandex.ru

D'après mon expérience et celle de nombreux autres chercheurs, les données sont généralement beaucoup moins précises que ce qui est déclaré. Ce n'est pas un moment facile - nous dépendons à la fois du choix des données initiales pour la prise de décisions et des données initiales lors de la modélisation, en fonction des résultats des décisions qui sont prises. Étant donné que la nature des erreurs est très diverse et que je n'ai pas de théorie unifiée pour toutes les expliquer, je dois passer à des exemples individuels et à des généralisations à partir d'eux.

Permettez-moi de commencer par un test de durabilité. Un bon exemple est mon expérience de participation aux tests du cycle de vie des tubes à vide. Ils étaient destinés à être utilisés dans les premiers câbles sous-marins pour la transmission vocale avec une durée de vie prévue de 20 ans (après 22 ans, nous venons de mettre hors service le câble, qui est devenu trop cher - et cela donne une bonne idée de la vitesse du progrès technologique à cette époque).

Les tuyaux pour le câble ont été obtenus pour la première fois en environ 18 mois de la façon dont le câble lui-même devait être abaissé sous l'eau. J'avais un appareil informatique de capacité moyenne basé sur le calculateur statistique spécialisé IBM 101, que j'ai fourni au personnel informatique. Je les ai également aidés principalement dans les aspects techniques des calculs. Dans le même temps, je n'ai en aucun cas participé au travail direct sur le projet. Cependant, une fois l'un des chefs de projet m'a montré le matériel de test stocké dans le grenier. Comme d'habitude, je me suis demandé: "Pourquoi êtes-vous sûr que l'équipement de test a la même fiabilité que l'équipement dans les tests?" Sa réponse m'a convaincu qu'il n'y pensait pas du tout. En raison de la futilité d'approfondir les détails, j'ai quitté cette leçon. Mais je n'ai pas oublié la question elle-même!

Les tests de durabilité deviennent de plus en plus importants et complexes car nous avons besoin de composants de plus en plus fiables pour des systèmes toujours plus grands et plus complexes. L'un des principes de base est l'accélération du processus d'essai, qui repose sur le fait qu'avec une augmentation de la température de 17 ° C, de nombreuses réactions chimiques, mais pas toutes, doublent leur vitesse. La méthode d'augmentation de la tension de fonctionnement est également utilisée pour accélérer l'identification des faiblesses. Un effet similaire lors du test des puces augmente la fréquence d'horloge. Mais même l'application complexe de méthodes ne garantit pas la solidité des bases de conclusions sur la durabilité. Cependant, en réponse, les experts disent: "Que pouvons-nous encore faire face aux restrictions de temps et d'argent?" Après tout, l'intervalle de temps entre une découverte scientifique et sa mise en œuvre technique est constamment réduit, de sorte qu'il ne reste en fait aucun temps pour tester réellement le cycle de vie d'un nouvel appareil avant qu'il ne soit largement utilisé. Et si vous préférez toujours vous en assurer, vous serez toujours à la traîne de la vie.

Bien sûr, en plus de ce qui précède, il existe d'autres méthodes de test conçues pour étudier d'autres aspects. Jusqu'à présent, j'étais convaincu de la précarité de ces fondamentaux des tests de durabilité, mais d'autres n'existent pas! Il était une fois dans les Bell Telephone Laboratories, j'ai soutenu qu'il était nécessaire de créer un département pour tester la durabilité, dont la tâche serait de se préparer à tester un nouvel appareil alors qu'il n'était prévu que pour le développement, et non quand il est apparu avec l'avènement de l'appareil fini. Je n'ai pas réussi, bien que j'aie fait des hypothèses relativement faibles sur où commencer. Il n'y avait pas de temps pour la recherche fondamentale dans les tests de durabilité - ils étaient sous la plus forte pression des délais: pour obtenir les résultats nécessaires demain. Comme le dit le proverbe: "Il n'y aura jamais assez de temps pour tout faire correctement, mais alors il sera toujours trouvé pour corriger les erreurs", en particulier dans les logiciels informatiques!

Voici la question que je vais vous poser: «Comment comptez-vous tester un appareil (ou un ensemble d'appareil) qui nécessite une grande fiabilité, lorsque l'équipement de test est moins fiable, le temps de test est extrêmement limité, mais l'appareil nécessite une très longue durée de vie ". Ce problème va certainement vous tourmenter à l'avenir, il est donc préférable de commencer à y penser maintenant afin de définir les moyens de le résoudre dans une situation où le moment sera venu d'obtenir les résultats des tests de durabilité.

Permettez-moi maintenant de passer à certains aspects des mesures. Par exemple, un de mes amis des Laboratoires Bell Téléphones, qui était un très bon statisticien, a constaté que certaines des données qu'il avait analysées étaient inexactes. Ses arguments sur la nécessité de les mesurer à nouveau n'ont pas convaincu le chef du département, convaincu de la fiabilité de ses subordonnés, et d'ailleurs tous les instruments de mesure étaient avec des plaques de cuivre confirmant leur précision. Puis, un beau lundi matin, mon ami est venu au travail et a dit qu'il avait oublié sa mallette dans le train sur le chemin du retour vendredi et avait tout perdu. Le chef du département a dû ordonner des mesures répétées, après quoi mon ami a présenté les premières notes et montré à quel point elles étaient différentes! Bien sûr, cela n'a pas ajouté à sa popularité, mais a révélé l'inexactitude des mesures, qui devaient jouer un rôle crucial par la suite.

Le même copain statisticien a fait des recherches pour une entreprise externe en utilisant les appels téléphoniques de son conseil d'administration. Ces données ont été enregistrées précisément par l'équipement du bureau central qui a effectué les appels et compilé les documents de paiement pour leur paiement. Un jour, il a accidentellement découvert un appel dans un bureau inexistant! Il a ensuite examiné les données plus attentivement et a trouvé un pourcentage assez élevé d'appels qui se connectaient pendant plusieurs minutes à des bureaux inexistants! Les données ont été enregistrées par les mêmes machines qui ont effectué les appels, mais il s'agissait de données erronées. Vous ne pouvez donc même pas compter sur le fait que la machine enregistrera correctement les données la concernant!

Mon frère, qui a travaillé pendant de nombreuses années au Los Angeles Air Pollution Control Service, m'a dit une fois qu'ils avaient révélé la nécessité de réassembler, d'étalonner et d'installer chaque nouvel outil qu'ils avaient acheté! Sinon, les problèmes de précision sont interminables, et ce malgré les assurances du fournisseur!

Une fois, j'ai fait beaucoup de recherches sur le matériel pour Western Electric. Ils ont fourni à l'étude des données primaires pendant 18 mois à partir des enregistrements de plus de 100 échantillons d'équipement. J'ai posé la question évidente, pourquoi devrais-je croire à la cohérence des données - par exemple, peut-il y avoir, par exemple, l'élimination d'équipements inexistants dans les dossiers? Ils ont assuré y avoir réfléchi, examiné toutes les données et ajouté quelques pseudo-transactions pour exclure de tels cas. Je les ai crû témérairement, et ce n'est que plus tard au cours du travail que j'ai constaté qu'il y avait encore des contradictions résiduelles dans les données, j'ai donc dû d'abord les rechercher, puis les exclure, puis recalculer toutes les données à nouveau. De cette expérience, j'ai appris à ne pas commencer à traiter les données jusqu'à une analyse approfondie des erreurs. Ils se sont plaints de ma lenteur, mais j'ai presque toujours trouvé des erreurs dans les données. Quand je les ai présentés, ils ont été forcés de reconnaître ma prudence comme raisonnable. Indépendamment de l'inviolabilité des données et de l'urgence d'une réponse, j'ai appris à pré-tester la cohérence des données et à minimiser le nombre de valeurs radicalement différentes (valeurs aberrantes).

Une autre fois, j'ai participé en tant qu'initiateur puis en tant que conseiller à une grande étude du personnel AT&T à New York en utilisant un ordinateur UNIVAC loué. Les données devaient provenir de nombreux endroits, j'ai donc décidé qu'il serait prudent de mener d'abord une étude pilote pour s'assurer que toutes les sources comprennent l'essence de ce qui se passe et savent comment préparer des cartes perforées IBM avec les données nécessaires. Nous l'avons fait. Cependant, lorsque l'étude principale a commencé, certaines sources n'ont pas rempli les cartes perforées conformément aux instructions reçues. Il m'est immédiatement apparu clairement que l'étude pilote, à petite échelle, avait été menée par un groupe formé localement de spécialistes des cartes perforées, et que l'étude principale était passée par des groupes généraux de cartes perforées. Malheureusement, ils n'avaient aucune idée de l'étude pilote! Encore une fois, j'étais déraisonnable que je ne l'imaginais: j'ai sous-estimé les mécanismes internes d'une grande organisation.

Mais qu'en est-il des preuves scientifiques de base? La publication du National Bureau of Standards sur 10 constantes physiques fondamentales (vitesse de la lumière, nombre d'Avogadro, charge d'électrons, etc.) fournit deux ensembles de données (pour 1929 et 1973) et les erreurs de calcul correspondantes (voir Fig.27.I) . Il est facile de voir que si:

1. prendre le jeu de données de 1973 comme correct (conformément au fait que le tableau illustre l'augmentation de la précision de la détermination des constantes physiques des milliers de fois en 44 ans entre les éditions),
2. calculer l'écart des nouvelles valeurs des constantes par rapport aux précédentes;
3. calculer combien de fois cet écart dépasse l'erreur du calcul précédent,
4. puis en moyenne cet écart est 5,267 fois plus important (les valeurs de la dernière colonne R sont ajoutées au tableau par l'auteur).

Vous avez peut-être supposé que les valeurs des constantes physiques ont été soigneusement calculées, mais vous pouvez maintenant voir à quel point elles étaient inexactes! La sélection suivante de constantes physiques (voir Fig. 27.II) montre une erreur moyenne de moitié. Cependant, on ne peut que deviner ce qui se passera avec cette précision après les 20 prochaines années! Vous voulez parier?



Figure 27.l

Signatures: «données non fiables» EXACTITUDE DE LA MESURE (en fractions par million)


Ce n'est pas du tout surprenant. J'ai récemment vu un tableau de mesures de la constante de Hubble (la pente de la ligne de dépendance du décalage vers le rouge sur la distance), qui est fondamentale dans la cosmologie moderne. De nombreuses valeurs vont au-delà des erreurs déclarées pour la plupart des autres valeurs.

Ainsi, une mesure statistique directe indique que même les constantes physiques les plus précises dans les tableaux ne sont pas du tout aussi précises qu’indiquées. Comment est-ce possible? L'insouciance et l'optimisme sont deux facteurs principaux. Une étude approfondie révèle que les technologies expérimentales existantes dans lesquelles nous avons été formés ne sont pas non plus idéales et contribuent aux erreurs d'estimation des erreurs. Nous allons comprendre comment vous êtes en pratique, et non en théorie, mettre une expérience. Vous récupérez l'équipement et l'allumez, et, bien sûr, l'équipement ne fonctionne pas comme il se doit. Par conséquent, vous passez du temps, souvent des semaines, à le faire fonctionner correctement. Vous êtes maintenant prêt à recevoir des données, mais vous effectuez d'abord un réglage fin de l'équipement. Comment? En le configurant pour obtenir des données cohérentes. Autrement dit, vous obtenez une faible dispersion, mais que pouvez-vous faire d'autre? Mais ce sont ces données avec une petite dispersion que vous transmettez des statistiques, et elles sont utilisées pour évaluer la variabilité. Vous ne transmettez pas les données correctes en raison des paramètres corrects - vous ne savez pas comment faire - vous transférez des données peu dispersées et vous obtenez la haute fiabilité des statistiques que vous souhaitez déclarer! C'est une pratique courante en laboratoire! Il n'est pas surprenant que la fiabilité des données soit rarement cohérente avec celle déclarée.



Figure 27.II

Je vous rappellerai la règle de Hamming:

dans 90% des cas, le résultat de la prochaine mesure indépendante dépassera les limites supposées par le niveau précédent de confiance à 90%!

Cette règle, bien sûr, exagère légèrement les faits, mais dans une telle formulation, elle est plus facile à retenir - la plupart des informations publiées sur l'exactitude des mesures sont loin d'être aussi bonnes que celles énoncées. Ceci est justifié par l'histoire de l'expérience elle-même et reflète les écarts révélés par la suite avec une précision déclarée. Je n'ai pas essayé d'obtenir une subvention pour mener une étude à grande échelle, mais je n'ai aucun doute sur ses résultats.

Un autre phénomène étonnant que l'on peut rencontrer est l'utilisation de données dans le modèle lorsqu'il y a des erreurs dans les données et le modèle lui-même. Par exemple, une distribution normale est supposée, mais les queues peuvent en fait être plus grandes ou plus petites que celles prédites par le modèle. Ou des valeurs négatives ne peuvent pas être obtenues, bien qu'une distribution normale le permette. Il existe ensuite deux sources d'erreurs: les erreurs de mesure et de modèle. Et votre capacité à prendre des mesures de plus en plus précises ne fait qu'augmenter la contribution à l'erreur due à l'inadéquation du modèle de réalité.

Je me souviens de mon expérience lorsque j'étais membre du conseil d'administration d'une société informatique. Nous allions passer à une nouvelle famille d'ordinateurs et préparer des estimations très précises du coût des nouveaux modèles. Le spécialiste des ventes a ensuite déclaré qu'à un certain prix, il pourrait recevoir une commande pour 10, pour une autre - pour 15 et pour la troisième - pour 20 ventes. Ses hypothèses, et je ne dis pas qu'elles étaient incorrectes, ont été combinées avec des données d'ingénierie vérifiées pour décider du prix d'un nouveau modèle! Autrement dit, le montant total a été déterminé principalement, en tenant compte de la fiabilité des calculs d'ingénierie, en ignorant l'incertitude existante des hypothèses du spécialiste des ventes. C'est typique des grandes organisations. Des estimations prudentes sont combinées à des hypothèses arbitraires, et la fiabilité de l'ensemble est prise égale à la fiabilité de la composante technique. Vous pouvez poser une question juste, pourquoi vous embêter avec des estimations techniques approfondies lorsqu'elles sont combinées avec d'autres hypothèses arbitraires, mais c'est une pratique répandue dans de nombreux domaines d'activité!

J'ai d'abord parlé de science et d'ingénierie afin que vous ne soyez pas trop ironique dans la transition vers les données économiques. J'ai lu plusieurs fois le livre de Morgenstern sur l'exactitude des dimensions économiques, Princeton Press, 2e éd. Il s'agit d'un économiste très respecté.
Mon exemple préféré de son livre est les chiffres officiels du flux d'or d'un pays à l'autre, selon les deux parties. Les chiffres peuvent parfois différer de plus de deux fois! S'ils ne peuvent pas obtenir les données correctes sur le flux d'or, quelles données peuvent alors être correctes? Je pouvais voir comment un appareil électrique, lorsqu'il était expédié vers des pays du tiers monde, pouvait être qualifié de médical en raison des différences de droits de douane, mais l'or est de l'or, on ne peut guère l'appeler autrement.

Morgenstern note que DuPont Chemical détenait autrefois environ 23% de General Motors. Pensez-vous que ce fait a été pris en compte dans le calcul du produit national brut (PNB)? Pas question, ça s'est avéré double comptage!

À titre d'exemple, j'ai constaté qu'il n'y a pas si longtemps, lorsque les règles fiscales relatives à la déclaration des stocks ont changé, de nombreuses entreprises ont modifié leurs méthodes de déclaration pour bénéficier des nouvelles règles. Pour ce faire, ils devaient montrer moins de biens et de matériaux et, par conséquent, payer moins de taxes. En vain, j'ai fouillé le Wall Street Journal pour au moins une mention de ce fait. Il n'y en avait pas un seul. Bien que les stocks soient l'un des principaux indicateurs que nous utilisons pour évaluer les attentes des fabricants, l'économie est en croissance ou en baisse. On pense que les fabricants réduisent les stocks s'ils prévoient une baisse des ventes, mais augmentent les stocks s'ils prévoient une croissance des ventes - afin de ne pas rater de revenus potentiels. Donc, pour autant que je puisse comprendre, la modification de la loi sur la déclaration des stocks et son impact sur les dimensions économiques n'ont pas du tout été pris en compte.

En général, il existe un problème commun à toutes les séries chronologiques. La définition de l'objet mesuré est en constante évolution. Considérez, comme le meilleur exemple, la pauvreté. Nous augmentons constamment le niveau de pauvreté afin que vous ne puissiez jamais vous en débarrasser - cette définition sera toujours modifiée par les fonctionnaires qui souhaitent préserver les projets qu'ils mènent, ce qui nécessite un nombre suffisant de personnes en dessous du seuil de pauvreté. Ce que nous appelons la «pauvreté» est à bien des égards supérieur à ce que le roi d'Angleterre n'avait pas si longtemps!

Dans l'US Navy, le contenu des termes «youman» (secrétaire de bureau), «navire», etc. a changé au fil des ans, donc dans toutes les séries chronologiques que vous étudiez pour identifier les tendances dans la marine américaine, ce facteur supplémentaire vous confondra dans vos conclusions. Ce n'est pas que vous ne devriez pas essayer de comprendre la situation en utilisant des données passées (tout en utilisant les méthodes sophistiquées de traitement du signal des chapitres 14-17), mais il y a toujours des problèmes en raison de changements dans les définitions qui ne pourraient pas être dits officiellement documents! Les définitions ont tendance à changer avec le temps sans aucune formalisation formelle de ce fait.

Des formes d'indicateurs économiques régulièrement publiées, y compris le chômage (qui ne font pas de distinction entre chômeurs et handicapés, mais devraient, à mon avis), sont généralement préparées bien avant leur publication. Au cours des dernières années, notre société est passée rapidement d’industriel (production) à post-industriel (société de services), mais ni Washington (au sens des autorités fédérales) ni les indicateurs économiques ne l’ont réalisé dans une mesure raisonnable. Leur réticence à changer la définition des indicateurs économiques est basée sur la thèse selon laquelle les changements, comme indiqué dans le paragraphe précédent, rendront le passé incomparable avec le présent - et il vaut mieux avoir un indicateur non pertinent que de changer sa signification, disent-ils. La plupart de nos institutions (et personnes) réagissent lentement aux changements, tels que le passage aux services de la production, et sont encore plus lentes à se demander comment ce qu'elles ont fait hier devrait être changé pour s'adapter à demain. Les institutions et les gens préfèrent une vie sans changement, et sont donc loin derrière, puis font des efforts héroïques pour suivre le temps. Les institutions, comme les gens, ne se déplacent que si elles sont forcées.

Si vous ajoutez à ce qui précède les faits évidents que la plupart des données économiques ont été collectées à d'autres fins et ne sont devenues accidentellement disponibles pour la recherche économique en cours, et qu'il existe souvent des arguments solides pour falsifier les données primaires, il devient clair pourquoi les données économiques sont de mauvaise qualité.

Comme une autre source d'inexactitude mentionnée par Morgenstern, nous considérons la pratique généralement acceptée de fournir des remises à des clients spéciaux qui sont jalousement tenus secrets. En règle générale, pendant les périodes de dépression, les entreprises augmentent les remises et les réduisent lorsque l'environnement des affaires s'améliore, mais les coûts officiels doivent être basés sur des prix de vente ouverts, de sorte que les remises ne sont pas connues. Par conséquent, les ralentissements et hausses économiques introduisent systématiquement des écarts multidirectionnels dans les données collectées.

Qu'est-ce que les économistes du gouvernement peuvent utiliser comme données primaires autres que ces données majoritairement inexactes avec biais? Oui, ils peuvent dans une certaine mesure connaître la présence d'erreurs systématiques, mais ils ne peuvent en aucune façon savoir à quel point les données sont déformées. Par conséquent, vous ne devriez pas être surpris que de nombreuses prévisions des économistes soient très fausses. Ils n'ont tout simplement pas d'autre option, donc leurs prédictions ne devraient pas faire beaucoup confiance.

D'après mon expérience, la plupart des économistes ne veulent tout simplement pas discuter d'une inexactitude fondamentale dans les données économiques utilisées, donc j'ai peu confiance en eux en tant que scientifiques. Mais qui a dit que l'économie était une science? Seuls les économistes eux-mêmes!

Si les données scientifiques et techniques sont 5 (ou plus) moins précises qu'indiquées, si les choses sont encore pires avec les données économétriques, alors vous ne pouvez qu'imaginer comment les choses sont avec les données sociométriques! Je n'ai pas d'étude comparative de l'ensemble du domaine, mais ma petite expérience limitée suggère qu'ils ne sont pas très bons. Encore une fois, rien de mieux ne peut être disponible, mais cela ne signifie pas que les données disponibles peuvent être utilisées sans égard.

Il devrait être clair que j'ai accordé beaucoup d'attention à la question de l'exactitude des données pour la plupart de mon travail. Et je n'attends rien de plus qu'une lente amélioration dans un avenir prévisible sur cette question, connaissant la position des experts.

Si les données sont généralement mauvaises et que vous comprenez que vous devez collecter plus de données, que pouvez-vous faire au mieux?

Tout d'abord , soyez conscient de ce que je vous ai constamment dit: un être humain n'est pas créé pour être fiable, il ne peut pas être compté sans erreurs, il ne peut pas effectuer une corvée répétitive monotone avec une grande précision. À titre d'exemple, considérons un jeu de bowling. Tout ce qu'un joueur doit faire est de lancer le ballon exactement dans la bonne ligne à chaque fois. Mais comme il est rare que même les plus grands joueurs réussissent le coup parfait! Les groupes de soutien admirent la précision du vol du ballon, car cela nécessite une préparation et une exécution minutieuses, mais avec une attention particulière, le joueur a encore beaucoup à améliorer.

Deuxièmement , vous ne pouvez pas collecter une très grande quantité de données sans erreurs. C'est un fait connu qui est constamment ignoré. La gestion nécessite généralement une couverture de 100%, tandis qu'une couverture beaucoup plus petite, disons 1% ou même 1/10% de l'enquête donnera des résultats plus précis! Ceci est connu, comme je l'ai dit, mais il est ignoré. Les compagnies de téléphone ont l'habitude d'utiliser un très petit échantillon soigneusement sélectionné pour répartir les revenus entre les différentes entreprises impliquées dans la fourniture d'appels longue distance, et sur la base de cet échantillon, elles distribuent de l'argent entre les partenaires. Les compagnies aériennes font maintenant de même. Les petits échantillons soigneusement prélevés sont meilleurs que les grands échantillons mal sélectionnés. Mieux car ils sont moins chers et plus précis.

Troisièmement , de nombreuses données sociométriques ont été obtenues au moyen de questionnaires. Mais c'est un fait bien connu que la façon dont les questions sont formulées, l'ordre, les personnes qui posent des questions ou attendent simplement que le questionnaire soit rempli - tout cela affecte sérieusement les réponses. Bien sûr, dans une situation simple «noir et blanc», cela ne s'applique pas, mais lorsque vous effectuez un examen, en règle générale, la situation est boueuse, sinon vous n'auriez pas à le démarrer. Je regrette de ne pas avoir enregistré une enquête de l'American Mathematical Society parmi ses membres. J'étais tellement indigné par les questions qui ont imposé les réponses souhaitées à mes formulations que je l'ai simplement renvoyé avec une explication de cette raison. Combien de mathématiciens, confrontés à des questions comme celles-ci: y a-t-il suffisamment de soutien financier pour les mathématiciens, est-ce suffisant pour les publications, les bourses pour les étudiants diplômés, etc., combien diront qu'il y a plus qu'assez d'argent? Bien sûr, la Mathematical Society a utilisé les résultats pour étayer la demande de soutien accru aux mathématiciens dans tous les domaines.

J'ai récemment rempli un long questionnaire important (important pour les actions directrices qui pourraient découler de ses résultats). Je l'ai rempli aussi honnêtement que possible, mais j'ai réalisé que je n'étais pas un répondant typique. En continuant à réfléchir, j'ai laissé entendre que la classe de personnes interrogées n'était pas du tout homogène, mais plutôt composée de sous-classes plutôt différentes, par conséquent, les valeurs moyennes calculées n'étaient applicables à aucun de ces groupes. Ceci est exactement conforme à la plaisanterie bien connue selon laquelle il y a deux enfants et demi dans une famille américaine moyenne. Mais en même temps, vous ne trouverez la moitié de l'enfant dans aucun! Les valeurs moyennes sont utiles pour les groupes homogènes (homogènes au sens des opérations censées être effectuées avec eux), mais pour les groupes hétérogènes, elles n'ont souvent pas de sens. Comme indiqué précédemment, en moyenne, un adulte a un testicule et une poitrine, mais celui-ci n'a rien à voir avec des personnalités moyennes dans notre société (maintenant, si nous nous en tenons à la pédanterie de l'auteur, nous devons parler de la société aux États-Unis en termes de «eu» - commentaire d'un traducteur) .

Si la plage de réponses est très asymétrique, la valeur médiane (qui divise le nombre d'objets échantillons en deux - la moitié a cette valeur inférieure à la médiane, la moitié de plus qu'approximativement Traducteur) est préférable à la moyenne comme indicateur - nous l'avons acceptée publiquement relativement récemment. Par conséquent, publient maintenant plus souvent le revenu médian et le prix médian du logement au lieu des valeurs moyennes.

Quatrièmement , il y a un autre aspect auquel je vous prie de prêter attention. J'ai dit à plusieurs reprises que le cours des événements dans une organisation change de place et pendant la présence de hauts fonctionnaires de cette organisation, alors essayez de savoir comment les questionnaires sont remplis avant d'être promu suffisamment haut dans le service. Je suis tombé sur une démonstration éclatante de cet effet lorsque j'étais membre du conseil d'administration d'une société informatique. Les petits fonctionnaires ont agi de manière à essayer de me plaire, mais ils ne m'ont énervé que, d'ailleurs, je n'avais aucune raison de leur dire quoi que ce soit dans une remarque. Souvent, les subalternes font ce qu'ils pensent que vous attendez d'eux, mais en réalité ce n'est pas ce dont vous avez besoin! Je crois également que si les dirigeants de votre organisation envoient un questionnaire, ceux qui veulent obtenir des faveurs le rempliront très probablement avec soin et à temps, le gros le tirera au dernier moment, et après cela, l'employé de niveau inférieur les remplira intuitivement, sans faire les calculs nécessaires et mesures - il est trop tard pour les prendre déjà, alors j'envoie ce que je peux! Avec la fiabilité générale de ces rapports «composites», personne ne le sait. Ils peuvent surestimer les résultats, sous-estimer ou même ne pas déformer beaucoup. Mais la direction doit prendre des décisions basées sur de telles enquêtes - donc si les données sont mauvaises, alors les décisions sont susceptibles d'être mauvaises.

Mon activité préférée lorsque je lis ou entends parler de données est de me demander comment les gens les ont collectées, comment leurs conclusions peuvent être corroborées. Par exemple, il y a de nombreuses années, lorsque je l'ai mentionné lors d'un dîner, une charmante veuve a dit qu'elle ne voyait aucune raison de ne pas collecter de données sur un problème. Après réflexion, j'ai objecté: "Comment mesureriez-vous le nombre d'adultères par an dans la péninsule de Monterey?" Vraiment? Croirez-vous au questionnaire? Ou allez-vous suivre les gens? Il semble difficile, voire impossible, d'estimer raisonnablement le nombre d'adultères par an. Il existe de nombreuses autres choses similaires qui sont très difficiles à mesurer, et cela est particulièrement vrai pour les relations sociales.

Une méthode très subtile a été proposée, dont je n'ai personnellement pas testé l'efficacité en pratique. Supposons que vous souhaitiez estimer le nombre de meurtres non résolus. Vous interviewez des gens et leur demandez de lancer une pièce sans témoins, et si les queues tombent, ils doivent déclarer qu'ils ont commis le meurtre, et si l'aigle, ils doivent dire la vérité. Par définition, personne, sauf le peuple lui-même, ne connaît le résultat du tirage au sort, donc personne ne les accusera de meurtre s'ils le déclarent. Ensuite, pour un échantillon suffisamment grand, un léger excès de la proportion des aveux de meurtre sur la valeur de 0,5 vous donnera l'estimation souhaitée. Mais cela repose sur l'hypothèse que les personnes interrogées répondent sincèrement, en tenant compte de la sécurité. Les variantes d'une telle méthode ont été largement discutées, mais pour autant que je sache, une étude sérieuse de son efficacité manque encore.

En conclusion, vous avez peut-être entendu parler de la fameuse élection présidentielle au cours de laquelle les journaux ont déclaré la victoire à une personne, alors qu'en fait l'autre a remporté une énorme marge. Il existe également une enquête sur le magazine Literary Digest, réalisée par téléphone, dont les résultats se sont révélés par la suite complètement erronés, de sorte que le magazine a rapidement cessé d'exister, et beaucoup croient à cause de cette enquête. Ensuite, la fausseté des résultats s'explique par le fait que la possession du téléphone est en corrélation avec le niveau de richesse et le niveau de richesse avec les préférences politiques.

(L'auteur fait ici une série d'erreurs et de confusions inattendues, ce qui est très inattendu! Voici les détails. À la fin de la campagne électorale de 1936 aux États-Unis, l'hebdomadaire influent The Literary Digest, avec un tirage de près de deux millions d'exemplaires, a publié les résultats d'une enquête postale d'une ampleur sans précédent. L'étude visait à déterminer qui les Américains veulent voir comme leur président: Franklin D. Roosevelt, un candidat démocrate candidat à un second mandat, ou Elf Landon, un candidat de la République . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

La conception, la réalisation et la synthèse d'enquêtes ne sont pas destinées aux amateurs. Vous avez besoin de conseils d'experts sur les questionnaires (et non sur les statistiques ordinaires) lorsque vous commencez à rédiger des questionnaires, et il est impossible d'éviter cette activité. De plus en plus, nous n'avons pas besoin de faits nus sur les objets matériels, mais des résultats des observations dans les industries sociales et connexes - et c'est un sol dangereusement instable.

D'où la conclusion: à mesure que vous progressez, vous aurez besoin de plus en plus d'informations de ce type, car nous devenons plus socialement orientés et soumis à des poursuites pour des choses triviales. Vous serez obligé de mener des enquêtes sur les attitudes personnelles des gens à maintes reprises, et c'est pourquoi j'ai prêté autant d'attention aux données non fiables. Vous avez besoin de données fiables pour prendre des décisions fiables, mais vous les aurez rarement avec au moins une certaine fiabilité!

À suivre ...

Qui veut aider à la traduction, la mise en page et la publication du livre - écrivez dans un e-mail ou un e-mail personnel magisterludi2016@yandex.ru

Au fait, nous avons également lancé la traduction d'un autre livre sympa - "La machine à rêver: l'histoire de la révolution informatique" )