Richard Hamming: Capítulo 27. Datos inválidos

"El objetivo de este curso es prepararte para tu futuro técnico".

Hola Habr ¿Recuerdas el increíble artículo "Tú y tu trabajo" (+219, 2394 marcado, 386k lecturas)?

Entonces, Hamming (sí, sí, los códigos de Hamming que se autoverifican y corrigen a sí mismos) tiene un libro completo escrito basado en sus conferencias. Lo estamos traduciendo, porque el hombre está hablando de negocios.

Este libro no es solo sobre TI, es un libro sobre el estilo de pensamiento de personas increíblemente geniales. “Esto no es solo una carga de pensamiento positivo; describe condiciones que aumentan las posibilidades de hacer un gran trabajo ".

Ya hemos traducido 21 (de 30) capítulos. Y estamos trabajando en una edición en papel.

Capítulo 27. Datos inválidos

(Gracias por la traducción, Valentin Pinchuk, quien respondió a mi llamado en el "capítulo anterior"). ¿Quién quiere ayudar con la traducción, el diseño y la publicación del libro? Escriba en un correo electrónico personal o magisterludi2016@yandex.ru

Según mi experiencia, y la experiencia de muchos otros investigadores, los datos, como regla, son mucho menos precisos de lo que se declara. Este no es un momento fácil: dependemos tanto de la elección de los datos iniciales para tomar decisiones como de los datos iniciales durante el modelado, según las decisiones que se tomen. Dado que la naturaleza de los errores es muy diversa, y no tengo una teoría unificada para explicarlos a todos, tengo que pasar a ejemplos individuales y generalizaciones a partir de ellos.

Permítanme comenzar con una prueba de durabilidad. Un buen ejemplo es mi experiencia de participar en pruebas de ciclo de vida de tubos de vacío. Fueron diseñados para su uso en los primeros cables submarinos para transmisión de voz con una vida útil prevista de 20 años (después de 22 años, acabamos de retirar el cable, que se volvió demasiado costoso, y esto da una buena idea de la velocidad del progreso tecnológico en esos días).

Las tuberías para el cable se obtuvieron por primera vez en aproximadamente 18 meses de cómo se debía bajar el cable bajo el agua. Tenía un dispositivo informático de capacidad media basado en la calculadora estadística especializada IBM 101, que proporcioné al personal de procesamiento de datos. También los ayudé principalmente en los aspectos técnicos de los cálculos. Al mismo tiempo, de ninguna manera participé en el trabajo directo del proyecto. Sin embargo, una vez que uno de los gerentes de proyecto me mostró el equipo de prueba almacenado en el ático. Como de costumbre, me pregunté: "¿Por qué estás seguro de que el equipo de prueba tiene la misma confiabilidad que el equipo en las pruebas?" Su respuesta me convenció de que no lo pensó en absoluto. Debido a la inutilidad de profundizar los detalles, dejé esta lección. ¡Pero no olvidé la pregunta en sí!

Las pruebas de durabilidad se están volviendo cada vez más importantes y complejas a medida que necesitamos componentes cada vez más confiables para sistemas cada vez más grandes y complejos. Uno de los principios básicos es la aceleración del proceso de prueba, que se basa en el hecho de que con un aumento de la temperatura de 17 ° C, muchas, pero no todas, las reacciones químicas duplican su velocidad. El método de aumentar el voltaje de funcionamiento también se utiliza para acelerar la identificación de debilidades. Un efecto similar al probar chips da un aumento en la frecuencia de reloj. Pero incluso la aplicación compleja de métodos no garantiza la solidez de las bases para sacar conclusiones sobre la durabilidad. Sin embargo, en respuesta, los expertos dicen: "¿Qué podemos hacer frente a las restricciones de tiempo y dinero?" Después de todo, el intervalo de tiempo entre un descubrimiento científico y su implementación técnica se reduce constantemente, por lo que en realidad no queda tiempo para realizar pruebas reales del ciclo de vida de un nuevo dispositivo antes de su uso generalizado. Y si aún prefieres asegurarte de esto, entonces siempre te quedarás atrás de la vida.

Por supuesto, además de lo anterior, existen otros métodos de prueba diseñados para estudiar otros aspectos. Hasta ahora, he estado convencido de la precariedad de estos fundamentos de las pruebas de durabilidad, ¡pero no existen otros! Érase una vez en los Laboratorios Bell Telephone argumentaba que era necesario crear un departamento para probar la durabilidad, cuya tarea sería prepararse para probar un nuevo dispositivo cuando estaba planeado su desarrollo, y no cuando surgieron con la llegada del dispositivo terminado. No tuve éxito, aunque hice algunas suposiciones relativamente débiles sobre dónde comenzar. No hubo tiempo para la investigación básica en las pruebas de durabilidad: estaban bajo la mayor presión de los plazos: para obtener los resultados necesarios mañana. Como dice el refrán: "Nunca habrá suficiente tiempo para hacer todo bien, pero siempre se encontrará para corregir errores", ¡especialmente en el software de computadora!

Aquí está la pregunta que le haré: “¿Cómo espera probar un dispositivo (o ensamblaje del dispositivo), que requiere alta confiabilidad? Cuando el equipo de prueba es menos confiable, el tiempo de prueba es extremadamente limitado, pero el dispositivo requiere una vida muy larga. ". Este problema seguramente lo atormentará en el futuro, por lo que es mejor comenzar a pensarlo ahora para describir formas de resolverlo en una situación en la que llegue el momento de obtener los resultados de las pruebas de durabilidad.

Permítanme pasar ahora a algunos aspectos de las mediciones. Por ejemplo, un amigo mío de los Laboratorios Bell Telephone, que era muy buen estadístico, descubrió que algunos de los datos que analizó eran inexactos. Sus argumentos sobre la necesidad de volver a medirlos no convencieron al jefe del departamento, que estaba convencido de la fiabilidad de sus subordinados, y, además, todos los instrumentos de medición tenían placas de cobre que confirmaban su precisión. Entonces, un buen lunes por la mañana, mi amigo vino a trabajar y dijo que había olvidado su maletín en el tren camino a casa el viernes y que había perdido todo. El jefe del departamento tuvo que dar órdenes para mediciones repetidas, ¡después de lo cual mi amigo presentó las notas iniciales y mostró cuán diferentes eran! Por supuesto, esto no aumentó su popularidad, sino que reveló la inexactitud de las mediciones, que posteriormente jugarían un papel crucial.

El mismo estadístico amigo una vez investigó para una compañía externa utilizando llamadas telefónicas de su junta. Estos datos fueron grabados precisamente por el equipo de la oficina central que realizó llamadas y compiló documentos de pago para su pago. ¡Un día descubrió accidentalmente una llamada a una oficina inexistente! Luego examinó los datos con más cuidado y encontró un porcentaje bastante alto de llamadas que se conectaron durante varios minutos a oficinas inexistentes. Los datos fueron grabados por las mismas máquinas que hicieron las llamadas, pero eran datos erróneos. ¡Así que ni siquiera puede confiar en el hecho de que la máquina registrará correctamente datos sobre sí misma!

¡Mi hermano, que trabajó durante muchos años en el Servicio de Control de Contaminación del Aire de Los Ángeles, me dijo una vez que revelaron la necesidad de volver a ensamblar, calibrar e instalar cada nueva herramienta que compraron! De lo contrario, hubo un sinfín de problemas con la precisión, ¡y esto a pesar de las garantías del proveedor!

Una vez investigué mucho sobre hardware para Western Electric. Proporcionaron al estudio datos primarios durante 18 meses a partir de registros de más de 100 muestras de equipos. Hice la pregunta obvia, ¿por qué debería creer en la consistencia de los datos? Por ejemplo, ¿puede haber, por ejemplo, la eliminación de equipos inexistentes en los registros? Aseguraron que lo pensaron, examinaron todos los datos y agregaron algunas pseudo-transacciones para excluir tales casos. Los creí imprudentemente, y solo más tarde en el curso del trabajo descubrí que todavía había contradicciones residuales en los datos, así que primero tuve que buscarlos, luego excluirlos, y solo luego volver a calcular todos los datos nuevamente. De esta experiencia, aprendí a no comenzar a procesar los datos hasta un análisis exhaustivo de errores. Se quejaron de mi lentitud, pero casi siempre encontré errores en los datos. Cuando los presenté, se vieron obligados a reconocer mi prudencia como razonable. Independientemente de cuán inviolables sean los datos y cuán urgentemente se necesite una respuesta, aprendí a probar previamente los datos para garantizar la coherencia y minimizar el número de valores dramáticamente diferentes (valores atípicos).

En otra ocasión, participé como iniciador y luego como asesor en un gran estudio de personal de AT&T en Nueva York usando una computadora UNIVAC alquilada. Los datos tenían que venir de muchos lugares, así que decidí que sería prudente realizar un estudio piloto primero para asegurarme de que todas las fuentes entiendan la esencia de lo que está sucediendo y sepan cómo preparar las tarjetas perforadas de IBM con los datos necesarios. Lo hicimos Sin embargo, cuando comenzó el estudio principal, algunas fuentes no rellenaron tarjetas perforadas de acuerdo con las instrucciones recibidas. Inmediatamente me di cuenta de que el estudio piloto, de pequeña escala, atravesó un grupo local de especialistas en tarjetas perforadas, y el estudio principal pasó por grupos generales de tarjetas perforadas. ¡Desafortunadamente, no tenían idea sobre el estudio piloto! Una vez más, no fui razonable de lo que imaginaba: subestimé los mecanismos internos de una gran organización.

¿Pero qué hay de la evidencia científica básica? La publicación de la Oficina Nacional de Normas sobre 10 constantes físicas fundamentales (velocidad de la luz, número de Avogadro, carga de electrones, etc.) proporciona dos conjuntos de datos (para 1929 y 1973) y los errores de cálculo correspondientes (ver Fig. 27.I) . Es fácil ver que si:

1. tome el conjunto de datos de 1973 como correcto (de acuerdo con el hecho de que la tabla ilustra el aumento en la precisión de determinar las constantes físicas miles de veces durante 44 años entre las ediciones),
2. calcule la desviación de los nuevos valores de las constantes de los anteriores;
3. calcule cuántas veces esta desviación excede el error del cálculo anterior,
4. entonces, en promedio, esta desviación es 5.267 veces mayor (el autor agrega los valores de la última columna R a la tabla).

Es posible que haya asumido que los valores de las constantes físicas se calcularon cuidadosamente, ¡pero ahora puede ver cuán inexactos eran! La siguiente selección de constantes físicas (ver Fig. 27.II) muestra un error promedio de la mitad. ¡Sin embargo, uno solo puede adivinar lo que sucederá con esta precisión después de los próximos 20 años! ¿Quieres apostar?



Figura 27.l

Firmas: “datos no confiables” PRECISIÓN DE LA MEDICIÓN (en fracciones por millón)


Esto no es para nada sorprendente. Recientemente vi una tabla de medidas de la constante de Hubble (la pendiente de la línea de dependencia del desplazamiento al rojo en la distancia), que es fundamental en la cosmología moderna. Muchos valores van más allá de los errores declarados para la mayoría de los otros valores.

Por lo tanto, una medición estadística directa indica que incluso las constantes físicas más precisas en las tablas no son tan precisas como se indica. ¿Cómo puede ser esto? El descuido y el optimismo son dos factores principales. Un estudio reflexivo revela que las tecnologías experimentales existentes en las que hemos sido entrenados tampoco son ideales y contribuyen a los errores de estimación de errores. Entenderemos cómo estás en la práctica, y no en teoría, haz un experimento. Recoge el equipo y lo enciende, y, por supuesto, el equipo no funciona como debería. Por lo tanto, pasa algún tiempo, a menudo semanas, para que funcione correctamente. Ahora está listo para recibir datos, pero primero realiza un ajuste fino del equipo. Como? Al configurarlo para obtener datos consistentes. En pocas palabras, logra una baja dispersión, pero ¿qué más puede hacer? Pero son estos datos con una pequeña dispersión los que transmite estadísticas, y se utilizan para evaluar la variabilidad. No transmite los datos correctos debido a la configuración correcta, no sabe cómo hacerlo, transfiere datos poco dispersos y obtiene la alta confiabilidad de las estadísticas que desea declarar. Esta es una práctica de laboratorio común! No es sorprendente que la confiabilidad de los datos rara vez sea consistente con la declarada.



Figura 27.II

Te recordaré la regla de Hamming:

¡En el 90% de los casos, el resultado de la próxima medición independiente superará los límites asumidos por el nivel anterior de 90% de confianza!

Esta regla, por supuesto, exagera ligeramente los hechos, pero en tal formulación es más fácil de recordar: la mayoría de la información publicada sobre la precisión de las mediciones está lejos de ser tan buena como se indica. Esto se justifica por la historia del experimento en sí y refleja las discrepancias reveladas posteriormente con una precisión declarada. No intenté obtener una subvención para realizar un estudio a gran escala, pero tengo pocas dudas sobre sus resultados.

Otro fenómeno sorprendente que uno puede encontrar es el uso de datos en el modelo cuando hay errores tanto en los datos como en el modelo mismo. Por ejemplo, se supone una distribución normal, pero las colas pueden ser más grandes o más pequeñas que las predichas por el modelo. O no se pueden obtener valores negativos, aunque una distribución normal lo permite. Luego hay dos fuentes de errores: mediciones y errores del modelo. Y su capacidad para tomar mediciones cada vez más precisas solo aumenta la contribución al error debido a la falta de coincidencia del modelo de realidad.

Recuerdo mi experiencia cuando era miembro de la Junta de Directores de una compañía de computadoras. Íbamos a cambiar a una nueva familia de computadoras y preparamos estimaciones muy precisas del costo de los nuevos modelos. Luego, el especialista en ventas declaró que a un precio determinado podría recibir un pedido de 10, por otro, por 15 y por el tercero, por 20 ventas. ¡Sus suposiciones, y no digo que fueran incorrectas, se combinaron con datos de ingeniería verificados para decidir el precio de un nuevo modelo! Es decir, el monto total se determinó principalmente, teniendo en cuenta la confiabilidad de los cálculos de ingeniería, ignorando la incertidumbre existente sobre los supuestos del especialista en ventas. Esto es típico para grandes organizaciones. Las estimaciones cuidadosas se combinan con suposiciones arbitrarias, y la confiabilidad del conjunto se toma igual a la confiabilidad del componente de ingeniería. Puede hacer una pregunta justa, ¿por qué molestarse con estimaciones de ingeniería exhaustivas cuando se combinan con otras suposiciones arbitrarias, pero esta es una práctica generalizada en muchas áreas de actividad!

Primero hablé sobre ciencia e ingeniería para que no seas demasiado irónico en la transición a los datos económicos. Leí varias veces el libro de Morgenstern Sobre la precisión de las dimensiones económicas, Princeton Press, 2ª ed. Este es un economista muy respetado.
Mi ejemplo favorito de su libro son las cifras oficiales del flujo de oro de un país a otro, según ambas partes. ¡Las cifras a veces pueden diferir más de dos veces! Si no pueden obtener los datos correctos sobre el flujo de oro, ¿qué datos pueden ser correctos? Pude ver cómo un dispositivo eléctrico, cuando se envía a países del tercer mundo, podría llamarse médico debido a las diferencias en los aranceles aduaneros, pero el oro es oro, difícilmente se lo puede llamar de otra manera.

Morgenstern señala que DuPont Chemical alguna vez fue dueño de aproximadamente el 23% de General Motors. ¿Crees que este hecho se tuvo en cuenta al calcular el producto nacional bruto (PNB)? De ninguna manera, resultó doble contando!

Como ejemplo, descubrí que no hace mucho tiempo, cuando las reglas fiscales para informar sobre inventarios cambiaban, muchas compañías cambiaban sus métodos de informe para beneficiarse de las nuevas reglas. Para hacer esto, tenían que mostrar menos bienes y materiales y, en consecuencia, pagar menos impuestos. En vano busqué en el Wall Street Journal al menos una mención de este hecho. No hubo una sola. Aunque los inventarios son uno de los principales indicadores que utilizamos para evaluar las expectativas de los fabricantes, la economía está creciendo o cayendo. Se cree que los fabricantes reducen los inventarios si anticipan una disminución en las ventas, pero aumentan los inventarios si anticipan el crecimiento de las ventas, para no perderse los posibles ingresos de ellos. Entonces, por lo que pude entender, el cambio en la ley sobre la presentación de informes sobre inventarios y su impacto en las dimensiones económicas no se tuvo en cuenta en absoluto.

En general, hay un problema común para todas las series de tiempo. La definición del objeto medido cambia constantemente. Considere, como el mejor ejemplo, la pobreza. Estamos constantemente elevando el nivel de pobreza, para que nunca pueda deshacerse de él; esta definición siempre será cambiada por funcionarios interesados ​​en preservar los proyectos que lideran, que requieren un número suficiente de personas por debajo del nivel de pobreza. ¡Lo que llamamos "pobreza" es en muchos aspectos superior a lo que el Rey de Inglaterra no tenía hace mucho tiempo!

En la Marina de los Estados Unidos, el contenido de los términos "youman" (secretario de oficina), "barco", etc. ha cambiado con los años, por lo que en cualquier serie de tiempo que estudies para identificar tendencias en la Marina de los EE. UU., este factor adicional te confundirá en tus conclusiones. No es que no deba tratar de comprender la situación utilizando datos pasados ​​(mientras utiliza los sofisticados métodos de procesamiento de señales de los capítulos 14-17), pero todavía hay problemas debido a cambios en las definiciones que no se pueden decir oficialmente. documentos! Las definiciones tienden a cambiar con el tiempo sin ninguna formalización formal de este hecho.

Las formas de indicadores económicos publicadas regularmente, incluido el desempleo (que no distinguen entre desempleados y discapacitados, pero que, en mi opinión), generalmente se preparan mucho antes de la publicación. Nuestra sociedad en los últimos años ha cambiado rápidamente de industrial (producción) a posindustrial (sociedad de servicios), pero ni Washington (en el sentido de las autoridades federales) ni los indicadores económicos se han dado cuenta de esto en un grado razonable. Su reticencia a cambiar la definición de indicadores económicos se basa en la tesis de que los cambios, como se señaló en el párrafo anterior, harán que el pasado sea incomparable con el presente, y es mejor tener un indicador irrelevante que cambiar su significado, dicen. La mayoría de nuestras instituciones (y personas) están respondiendo lentamente a los cambios, como el cambio a los servicios desde la producción, y son aún más lentos para preguntarse cómo debería cambiarse lo que hicieron ayer para adaptarse mañana. Las instituciones y las personas prefieren una vida sin cambios y, por lo tanto, están muy rezagadas, y luego hacen esfuerzos heroicos para mantenerse al día. Las instituciones, como las personas, solo se mueven si son forzadas.

Si agrega a lo anterior los hechos obvios de que la mayoría de los datos económicos se recopilaron para otros fines y solo estuvieron disponibles accidentalmente para la investigación económica en curso, y a menudo hay fuertes argumentos para falsificar datos primarios, queda claro por qué los datos económicos son de mala calidad.

Como otra fuente de inexactitud mencionada por Morgenstern, consideramos la práctica generalmente aceptada de proporcionar descuentos a clientes especiales que guardan celosamente en secreto. Como regla general, durante los períodos de depresión, las empresas aumentan los descuentos y los reducen cuando mejora el entorno empresarial, pero las cifras de costos oficiales deben basarse en los precios de venta abiertos, por lo que no se conocen los descuentos. Por lo tanto, las recesiones y subidas económicas introducen sistemáticamente desviaciones multidireccionales en los datos recopilados.

¿Qué pueden usar los economistas del gobierno como datos primarios además de estos datos predominantemente inexactos con sesgo? Sí, hasta cierto punto pueden saber acerca de la presencia de errores sistemáticos, pero de ninguna manera pueden saber cuán distorsionados están los datos. Por lo tanto, no debe sorprenderse que muchos de los pronósticos de los economistas estén muy equivocados. Simplemente no tienen otra opción, por lo tanto, no se debe confiar mucho en sus predicciones.

En mi experiencia, la mayoría de los economistas simplemente no quieren discutir una inexactitud fundamental en los datos económicos utilizados, por lo que tengo poca fe en ellos como científicos. ¿Pero quién dijo que la economía es una ciencia? ¡Solo los economistas mismos!

Si los datos científicos y de ingeniería son 5 (o más) veces menos precisos que los indicados, si las cosas son aún peores con los datos econométricos, ¡solo puede imaginar cómo son las cosas con los datos sociométricos! No tengo un estudio comparativo de todo el campo, pero mi poca y limitada experiencia sugiere que no son muy buenos. De nuevo, nada mejor puede estar disponible, pero esto no significa que los datos disponibles puedan usarse sin tener en cuenta.

Debe quedar claro que presté mucha atención al tema de la precisión de los datos durante la mayor parte de mi trabajo. Y no espero nada más que una lenta mejora en el futuro previsible sobre este tema, conociendo la posición de los expertos.

Si los datos suelen ser incorrectos y comprende que necesita recopilar más datos, ¿qué puede hacer en el mejor de los casos?

Primero , tenga en cuenta lo que le he dicho constantemente: un ser humano no está creado para ser confiable, no puede contarse sin errores, no puede realizar una tarea repetitiva monótona con alta precisión. Como ejemplo, considere un juego de bolos. Todo lo que un jugador necesita hacer es lanzar la pelota exactamente en la línea correcta cada vez. ¡Pero qué raramente incluso los mejores jugadores hacen el tiro perfecto! Los grupos de apoyo admiran la precisión del vuelo de la pelota, ya que esto requiere la preparación y ejecución más cuidadosas, pero con una cuidadosa consideración, el jugador aún tiene mucho que mejorar.

En segundo lugar , no puede recopilar una gran cantidad de datos sin errores. Este es un hecho conocido que se ignora constantemente. La administración generalmente requiere una cobertura del 100%, mientras que una cobertura mucho más pequeña, digamos 1% o incluso 1/10% de la cobertura de la encuesta, arrojará resultados más precisos. Esto se sabe, como dije, pero se ignora. Las compañías telefónicas están acostumbradas a usar una muestra muy pequeña y cuidadosamente seleccionada para distribuir los ingresos entre las diferentes compañías involucradas en el suministro de llamadas de larga distancia, y en base a esta muestra, distribuyen dinero entre los socios. Las aerolíneas ahora están haciendo lo mismo. Las muestras pequeñas cuidadosamente tomadas son mejores que las muestras grandes que están mal seleccionadas. Mejor ya que son más baratos y más precisos.

En tercer lugar , se obtuvieron muchos datos sociométricos a través de cuestionarios. Pero es un hecho conocido desde hace mucho tiempo que la forma en que se formulan las preguntas, el orden, las personas que hacen preguntas o simplemente esperan a que se complete el cuestionario, todo esto afecta seriamente las respuestas. Por supuesto, en una situación simple "en blanco y negro" esto no es aplicable, pero cuando hace una revisión, por regla general, la situación es turbia, de lo contrario no tendría que comenzar. Lamento no haber guardado una encuesta de la American Mathematical Society entre sus miembros. Estaba tan indignado por las preguntas que impusieron las respuestas deseadas con mis formulaciones que simplemente lo devolví con una explicación de esta razón. ¿Cuántos matemáticos, frente a responder preguntas como estas: hay suficiente apoyo financiero para matemáticos, es suficiente para publicaciones, para becas para estudiantes graduados, etc., cuántos de ellos dirán que hay dinero más que suficiente? Por supuesto, la Sociedad Matemática utilizó los resultados para justificar la solicitud de un mayor apoyo a los matemáticos en todas las áreas.

Recientemente completé un cuestionario largo e importante (importante para las acciones orientadoras que podrían derivarse de sus resultados). Lo completé tan honestamente como pude, pero me di cuenta de que no era un encuestado típico. Continuando pensando, sugerí que la clase de personas entrevistadas no era homogénea, sino que consistía en subclases bastante diferentes, por lo tanto, cualquier valor promedio calculado no era aplicable a ninguno de estos grupos. Esto coincide exactamente con el conocido chiste de que hay dos niños y medio en una familia estadounidense promedio. ¡Pero al mismo tiempo no encontrarás la mitad del niño en ninguno! Los valores promedio son útiles para grupos homogéneos (homogéneos en el sentido de las operaciones que se supone que deben realizarse con ellos), pero para grupos heterogéneos a menudo no tienen sentido. Como se señaló anteriormente, en promedio, un adulto tiene un testículo y un seno, pero este no tiene nada que ver con ninguna personalidad promedio en nuestra sociedad (ahora, si nos atenemos a la pedantería del autor, debemos hablar de la sociedad en los Estados Unidos en términos de "tenía" - comentario de un traductor) .

Si el rango de respuestas es muy asimétrico, entonces el valor medio (que divide el número de objetos de muestra en la mitad, la mitad tiene este valor menos que la mediana, la mitad más que el traductor aprox.) Es preferible al promedio como indicador, lo hemos aceptado públicamente hace relativamente poco. Por lo tanto, ahora publique con mayor frecuencia el ingreso medio y el precio medio de la vivienda en lugar de los valores promedio.

Cuarto , hay otro aspecto al que le insto que preste atención. He repetido repetidamente que el curso de los eventos en una organización cambia en el lugar y durante la presencia de altos funcionarios de esta organización, así que trate de conocer personalmente cómo se completan los cuestionarios antes de que haya sido promovido lo suficientemente alto en el servicio. Me encontré con una vívida demostración de este efecto cuando estaba en el Consejo de Administración de una empresa de informática. Los suboficiales actuaron de tal manera que intentaban complacerme, pero solo me hicieron enojar mucho con esto, además, no tenía ninguna razón para decirles nada en un comentario. A menudo, los subordinados hacen lo que creen que quieres de ellos, ¡pero en realidad esto no es lo que necesitas! También creo que si la administración de su organización envía un cuestionario, los que desean obtener el favor lo completarán con cuidado y a tiempo, la mayor parte se extraerá hasta el último momento, y después de eso, el empleado de nivel inferior los completará intuitivamente, sin hacer los cálculos necesarios. y medidas: ya es demasiado tarde para tomarlas, así que estoy enviando lo que puedo. Con la fiabilidad general de tales informes "compuestos", nadie lo sabe. Pueden sobreestimar los resultados, subestimar o incluso no distorsionar mucho. Pero la alta dirección debería tomar decisiones basadas en tales encuestas, por lo que si los datos son malos, entonces es probable que las decisiones sean malas.

Mi actividad favorita cuando leo o escucho acerca de los datos es preguntarme cómo la gente los recopiló, cómo se pueden corroborar sus conclusiones. Por ejemplo, hace muchos años, cuando mencioné esto en una cena, una viuda encantadora dijo que no ve ninguna razón para no recopilar datos sobre ningún tema. Después de pensarlo un momento, me opuse: "¿Cómo medirías el número de adulterios por año en la península de Monterey?" Enserio? ¿Creerás el cuestionario? ¿O seguirás a la gente? Parece difícil, si no imposible, hacer una estimación razonable del número de adulterios por año. Hay muchas otras cosas similares que son muy difíciles de medir, y esto es especialmente cierto para las relaciones sociales.

Se propuso un método muy sutil, cuya eficacia no probé personalmente en la práctica. Suponga que desea estimar el número de asesinatos sin resolver. Entrevistas a las personas y les pides que tiren una moneda sin testigos, y si las colas se caen, deben declarar que han cometido el asesinato, y si el águila, deben decir la verdad. Por definición, nadie excepto las personas mismas conocen el resultado del lanzamiento de la moneda, por lo que nadie los acusará de asesinato si lo declaran. Luego, para una muestra suficientemente grande, un ligero exceso de la proporción de confesiones de asesinato por encima del valor de 0.5 le dará la estimación deseada. Pero esto se da por supuesto que las personas entrevistadas responden sinceramente, teniendo en cuenta la seguridad. Las variantes de dicho método fueron ampliamente discutidas, pero hasta donde yo sé, todavía falta un estudio serio de su efectividad.

En conclusión, es posible que haya oído hablar de las famosas elecciones presidenciales en las que los periódicos declararon la victoria de una persona, cuando en realidad la otra ganó por un amplio margen. También hay una encuesta de la revista Literary Digest, que se realizó por teléfono, cuyos resultados luego resultaron ser completamente erróneos, por lo que la revista pronto dejó de existir, y muchos creen por esta encuesta. Luego, la falacia de los resultados se explicó por el hecho de que la posesión del teléfono se correlaciona con el nivel de riqueza y el nivel de riqueza con las preferencias políticas.

(¡El autor inesperadamente comete una serie de errores y confusiones aquí, lo cual es muy inesperado! Aquí están los detalles. Al final de la campaña electoral de 1936 en los EE. UU., La influyente revista semanal The Literary Digest, que tuvo una circulación de casi dos millones de copias, publicó los resultados de una encuesta postal a escala sin precedentes El estudio fue para determinar a quién quieren ver los estadounidenses como su presidente: Franklin D. Roosevelt, un candidato demócrata que se postula para un segundo mandato, o Elf Landon, un candidato de la República . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

Diseñar, realizar y resumir encuestas no es para aficionados. Necesitas asesoramiento de expertos sobre cuestionarios (y no estadísticas comunes) cuando comienzas a hacer cuestionarios, y es imposible evitar esta actividad. Cada vez más, no necesitamos hechos concretos sobre objetos materiales, sino los resultados de observaciones en industrias sociales y relacionadas, y este es un terreno traidoramente inestable.

De ahí la conclusión: a medida que avance, necesitará más y más información de este tipo, a medida que nos volvamos más orientados socialmente y sujetos a demandas por cosas triviales. Se verá obligado a realizar encuestas sobre las actitudes personales de las personas una y otra vez, y es por eso que he dedicado tanta atención a los datos poco confiables. ¡Necesita datos confiables para tomar decisiones confiables, pero rara vez los tendrá con al menos algo de confiabilidad!

Continuará ...

¿Quién quiere ayudar con la traducción, el diseño y la publicación del libro? Escriba en un correo electrónico personal o correo electrónico magisterludi2016@yandex.ru

Por cierto, también lanzamos la traducción de otro libro genial: "La máquina de los sueños: la historia de la revolución informática" )