Una breve guía sobre la creación de oráculos, dioses del automóvil y errores de segundo orden

Probablemente, en este texto para muchos no habrá novedad. Probablemente otros dirán que esto no sucede en la vida real. Pero, no el primero de abril, pero todo lo escrito aquí es la pura verdad que me sucedió a mí o a la gente de mi alrededor. Quizás algo de lo anterior te hará repensar los fenómenos que te rodean.

Si abordamos estas historias formalmente, podemos decir que todas son generadas por el hecho de que las personas no tienen en cuenta el error del segundo tipo. En Yudkovsky, con quien una cuarta parte de Habr está familiarizado, este error generalmente se llama " Confirmación de distorsión ".



Que es esto En pocas palabras: "una persona está buscando la confirmación de su modelo, no su refutación". La única oportunidad de explicar mejor es ejemplos, ejemplos, ejemplos y experiencia. Esta es la única forma de desarrollar la sensación de que "algo está mal aquí".

Me parece que este cuento le permitirá ver los errores del segundo tipo desde una perspectiva completamente diferente. Por el lado de cómo ya han entrado en nuestras vidas, afectan casi todas las decisiones. Y nos ayudan a hacer dioses a partir de las tecnologías circundantes. En el aprendizaje automático, me encuentro con esto todos los días.

Introduccion

Comenzaré con los cuentos de mi profesor de ciencias.

Una vez, en los días de la Unión, se celebró una reunión del consejo de varias oficinas de diseño. Uno de los doctores en ciencias, jefe de un departamento grande en una de las oficinas de diseño, presentó un nuevo método para encontrar objetos voladores por radar. Al mismo tiempo, la precisión del hallazgo fue casi perfecta, superando los algoritmos existentes en órdenes de magnitud.

Se basó en algunas complicadas matemáticas fractales. Nadie en el tablero podía entenderla por el informe / los documentos que lo acompañaban. Y la persona que presentó el algoritmo dio más y más argumentos de que todos los radares deberían convertirse a este algoritmo. Y su reputación estaba bien establecida. Todos sintieron la trampa. Pero nadie podía entender dónde estaba el error en las matemáticas.
Y solo un estudiante graduado en el consejo, que llegó allí por casualidad, reemplazando a su jefe, después de una hora de discusión, decidió preguntar: "¿Y cuál es la probabilidad de detección falsa si no hay objetos?" No entendía las matemáticas, pero claramente sentía que no podía saltar un orden de precisión de magnitud.

Todos callaron. Todos estaban seguros de que algo tan trivial obviamente se verificaba. Pero el médico, que defendía las matemáticas, se puso pálido, demacrado y solo logró decir "Olvidamos ver ...".

Las personas, incluso las inteligentes y tituladas, primero buscan confirmación de su teoría. Y cuanto más confían en él, más malvado puede ser un chiste con ellos.

Sientete a ti mismo

Si el artículo continúa más allá, ¡no habrá fotos! ¡Pero sé que los artículos sobre Habré se abren solo por las mejores imágenes!

Y hay muchos de ellos sobre este tema. Confirman que la característica de confiar en la solución más simple es inherente a nosotros a nivel de la naturaleza. Todos ustedes los han visto muchas veces. Y, probablemente, no hay necesidad de explicar:



Vestido clásico amarillo (azul?).



Necker Cube , ¿cómo puedo prescindir de él?


Rotación izquierda / derecha

La peculiaridad de estas ilusiones es que tienen una doble interpretación. El cerebro entra en ciclos solo en un punto de vista que resuelve un problema. Y pasa por alto otros puntos de vista. ¡Y solo dime que puedes tener en cuenta dos puntos de vista al mismo tiempo!

Es como una religión que puede explicar la naturaleza de los fenómenos. Como los horóscopos que no son nada, pero una persona busca confirmación. A menudo no puede determinar qué ha contado un sistema inteligente para usted y cómo compararlo con la realidad. No lo creo?

Ejemplo número dos, sobre ladrones

Bueno, ¿cómo te gusta este proyecto ? ¿Usando Neurosky para evaluar los talentos de un niño? Cualquier persona con más o menos conocimiento en tecnología entiende que esto es un cableado. El ruidoso testimonio de Neurosky apenas hace posible distinguir tocar la guitarra de leer un libro.



Y esto sin mencionar que todo es 100 veces más complicado para los niños. Los niños tienen problemas, lo que genera un alto nivel de ruido. Y, por supuesto, los desarrolladores no dan ninguna evidencia del algoritmo y la importancia estadística. Funcionaría, sería un gran avance. Pero esta es solo una forma de cableado.

Después de mi artículo sobre NeuroSky, cinco personas me escribieron con ideas similares en el correo / PM. Alguien estaba loco, y alguien insinuó cínicamente que "bueno, tú haces el sistema, porque mostrará algo de todos modos, no puede dar una completa tontería después del entrenamiento". Y el sitio que cité un poco más arriba fue citado como ejemplo.

¿Y por qué no eres horóscopo?

¿Por qué está aquí? Bueno, hay una oficina que se ocupa del cableado. Bueno, hay cienciólogos. Después de todo, ¡esto no es masivo!

Pero, me parece que no una pareja. Tales cosas llenan la vida diaria. Y la tecnología los genera todos los días. A continuación, en el texto, habrá algunos ejemplos más ilustrativos sobre los cuales todos ustedes conocen muy bien ( ¿tendrá tiempo para recordar antes de leerlo? ). Y en los comentarios puedes traer el tuyo.

La clave para mí en este caso es que muestra que muchas personas quieren creer en la tecnología / metodología. Y es una cosa cuando las personas que no lo entienden creen. Y lo segundo es el autoengaño de los creadores. La segunda, desafortunadamente, está progresando.

Ejemplo número tres, todos los días

Me parece que las historias no deben repetirse, que cada una de ellas debe mostrar la naturaleza humana desde otro lado. Así que pasaré al otro lado.
Números de autos!

Que ?? ¿Cuáles son los errores del segundo tipo? Que tipo de magia

Y aparecen aquí muy bien. Esto es lo que dices, cuál es el número del automóvil:





¿Es "M" o "H"? ¿Es la región "71" o "21"?

Y, sin embargo, sobre la base de imágenes únicas de dicho plan, las personas comienzan a evaluar la calidad del sistema. ¿Por qué piensas eso? Por lo general, porque una persona vio el número de ese automóvil. Y es difícil para él admitir que en una foto así puede tener una interpretación diferente.

Hay un colapso de la conciencia a favor de la decisión más cercana que se conoce. Di el ejemplo más revelador, pero si de repente es interesante, aquí daré algunos pasos más.

Y convencerlo de que el número podría ser diferente a menudo es casi imposible. Es más fácil decir "esto está incluido en el porcentaje de errores de algoritmo".

Esta es una trampa de conciencia muy común cuando se trabaja con imágenes y sistemas de reconocimiento. El hombre está esperando una solución preparada. Y todo lo que llegó a otra decisión está mal. El camino no es interesante. Solo el resultado es interesante. Un par de veces al mes tengo que explicar que no se requiere un algoritmo entrenado para trabajar en cuadros con ruido.

Tengo miedo de pensar cómo algunas compañías ofrecen ese plan. Incluso en tomas muy buenas, es difícil encontrar gafas / guantes y rastrear a su dueño. Incluso si no eres un algoritmo, sino una persona viva.



Al mismo tiempo, los ingenieros de las empresas técnicas no son aquellas personas a las que se les pregunta por la tarea filosófica "¿es posible entender de este video si una persona tiene gafas de seguridad o no?"

Y, sin embargo, muchas personas creen que los números ilegibles también son bien reconocidos. Y la resolución se puede aumentar cientos de veces. En un habr había un maravilloso artículo sobre este tema. Y a veces se ofenden mucho de que esto no sea así. La magia del auto no funciona;)

Ejemplo número cuatro, o cómo puedes estar en el epicentro

He dado tres opciones diferentes. Y todo se puede responder con el estándar: "bueno, solo son personas incompetentes". O: "la gente se equivoca, con quien no sucede".

Pero, tales errores son mucho más comunes de lo que piensas. Tan pronto como lidiemos con decisiones ambiguas, con situaciones en las que son posibles 3-4 resultados, es imposible evaluar el nivel de nuestra competencia. Incluso si eres un ingeniero genial.

Te contaré una historia épica sobre cómo los expertos pueden cometer errores (o no cometer errores) cuando encuentran a un dios en un automóvil.

Una vez me escribieron con una solicitud para concertar una consulta sobre el reconocimiento de algunas pruebas médicas. Por teléfono, no entendí realmente la explicación del gerente de lo que debería reconocerse. Además, según él, el caso era sobre una metodología "completamente nueva". Así que acordamos reunirnos con los médicos que lo desarrollaron (Skype para médicos es demasiado complicado).

Al día siguiente, después de dos horas de reunión, mi cerebro comenzó a hervir. No entendí con quién hablé durante dos horas. Con ladrones absolutos, con futuros premios Nobel, o con personas que están locas.

Un grupo de varios médicos inventaron una prueba universal que reveló docenas, si no cientos de enfermedades. Por orina, por sangre, por lágrimas y por saliva.

El método era el mismo: "mezclar el líquido con el reactivo (uno y el mismo), ver cómo se seca y se agrieta". El diagnóstico se realizó de acuerdo con cómo se verán las grietas, de qué color será todo esto, de qué forma crecerán los cristales en una gota seca, cómo se verá todo en luz polarizada.



Y debo decir que la primera parte, que estaba en la orina, estaba razonablemente bien fundada.

Cuando en los días siguientes traté de desenterrar información sobre el tema y entrevisté a los médicos, confirmaron que muchas de estas son pruebas estándar muy distorsionadas que tienen lugar en realidad. Aunque en algún lugar alrededor de un tercio del libro sacudió sus cabezas dudosamente.

Pero la segunda parte, por sangre, fue producto de la locura. ¡Qué Theranos está ahí! Era solo que era necesario no asignar 4.500 millones a un estadounidense allí, sino a estos camaradas.

Los investigadores me dijeron cómo, por una gota de sangre, pueden transmitir el cáncer en las primeras etapas. Simplemente usando un microscopio, un par de gotas de reactivos de cualquier laboratorio (si la memoria sirve, era albúmina). Y contaron cómo aplican con éxito estas metodologías en la práctica clínica para el tratamiento de pacientes de un centro médico (¡sic!). Aquí hay una breve lista de lo que detectaron:



(Se puede hacer clic)

En mi aspecto y pregunta algo asombrosos sobre la base de evidencia, me contaron sobre cientos de artículos en la literatura, sobre dos departamentos en Rusia trabajando en esta técnica y desarrollándola. Alrededor de una docena de candidatos y doctores en ciencias que se defendieron sobre el tema. Y al despedirse, presentaron dos libros sobre el tema donde el prefacio fue escrito por algún académico:



¿Es todo esto cierto? No lo se Me di cuenta de que no entendía cómo funciona la química y la biología. No entiendo cómo encontrar esta información. Y por motivos formales. Pues si. Hay un montón de médicos y artículos relacionados. Ninguno de ellos ha sido publicado en una revista internacional revisada por pares con un alto nivel de citas. Hay académicos que hablan sobre los éxitos de la metodología. Pero ellos, disculpe, son académicos de la RAMS. No hay un solo artículo crítico, solo artículos que informan sobre éxitos (Google google en 2016, desde entonces podría salir algo nuevo).

No, bueno, por supuesto, encontré el correo electrónico del presidente de la comisión de pseudociencia y algunos de sus diputados. Y escribió sobre todo al respecto ... No recibí una respuesta :)

Y en persona Entiendo que estas personas creen en ello. Maldición, la medicina rusa no es el lugar donde puedes hacer algo en un engaño de este nivel. Necesitas creer realmente en tu negocio.
Pero entiendo que con las bases sobre las que miden, con los parámetros que están allí, al menos la mitad de lo que se dice es dudoso. Pero algo realmente puede funcionar.

Ese trabajo, gracias a Dios no fui. Tal vez porque dije que para reconocer automáticamente algo, primero debe recopilar una base grande y confirmar con un marcado independiente que existe. O tal vez la verdad se deba a los trámites burocráticos.

¿Quién está aquí? ¿Doctores que tienen una teoría y creen en ella? ¿O soy una persona del lado a quien le parece locura? No lo se Si los médicos están equivocados, entonces este es un error clásico "falta de verificación de contraargumentos". O tal vez yo. Y luego es casi lo mismo :)

Pero desde entonces tengo dos libros épicos y una historia phantosmogoric.

Y un par de ejemplos sobre médicos ...

Ya sabes Los médicos son generalmente un tema fértil. Cuando intentas reconocer algo por las redes neuronales, constantemente te encuentras con esto. Trabajé con una gran cantidad de exámenes radiográficos: fluorogramas, mamografías, hablé y miré CT, vi diferentes dientes.
Y en casi todas partes (en diversos grados) hay un mismo problema: diferentes médicos leen las imágenes de diferentes maneras. Pide a dos médicos que observen la patología en las imágenes, y tienen un área de intersección del 20-30 por ciento. Y cada uno de ellos confía en su decisión, muestra límites claros.

Justifica su respuesta. Y nuevamente, el problema es que una persona construye un buen modelo en su cabeza, lo proyecta en una imagen y luego busca confirmación. Pero muy a menudo, esta es la respuesta incorrecta. O poco confiable.

Desafortunadamente, en los últimos siglos, la medicina no se basó más en "la prueba de cada paso mediante estadísticas", sino en una "explicación lógica de cada paso". Se sienta muy profundo en psicología. A veces me parece que un médico homeópata y un terapeuta pobre trabajan con el mismo principio. Hay un conjunto de actitudes básicas y fe en él. Sin análisis, de dónde salió lo que vino. Sin conciencia de lo que puede confiar. Lo más probable es que el conjunto de actitudes del terapeuta esté más cerca de la realidad. Pero a nivel mundial, ni uno ni el otro pueden probar los esquemas que utilizan. Tal vez incluso ambos nombrarán validol o enviarán a beber agripalma.

Una vez me pidieron consultar a un cirujano ... El jefe de un departamento, un destacado especialista con 30 años de práctica. El tío me dijo que con una precisión del 100% según el nivel del cuestionario "fecha de nacimiento, fecha del primer mes, número de hijos, ..." de cada 30 preguntas, puede predecir cuándo habrá cáncer de seno. Bueno, eso es, por supuesto, ridículo. Pero sugiere completar este cuestionario a todos sus pacientes, sacando conclusiones basadas en él.

Ejemplos de lo que nos engañan todos los días.

¿Quieres más? ... ¿Quieres algo que todos sepan? Bueno, toma el gran y terrible auto que todos temen. Polígrafo ¿Aún crees que funciona? El enlace lleva a wikipedia. Ve y mira las críticas. Por qué no funciona y qué certeza hay. Y aún así, muchos los usan. ¿Por qué no eres un dios de un auto?

Diferentes compañías me escriben regularmente para ofrecer reconocimiento facial. Se ofenden mucho cuando les pido que digan de qué tamaño es su base. Dicen que tienen un modelo genial desarrollado por los mejores fisiólogos.

Una empresa con una oficina elegante en el centro de Moscú fue especialmente recordada. Absolutamente inadecuada NDA y locura por la superioridad de su tecnología ... Desde entonces, han pasado casi cinco años. La compañía incluso tenía su propio blog sobre Habré desde entonces. Solo que aquí los productos no tenían nada que ver con el reconocimiento de mentiras, y resuelven tareas mucho más mundanas (según tengo entendido, utilizaron los mismos desarrollos, lo cual es bueno).
Es curioso que más tarde resultó que no solo los envié, sino también a otras compañías involucradas en el desarrollo de la visión artificial. Quizás esto les permitió repensar lo que estaban haciendo y comenzar a hacer negocios ^ _ ^

Finalmente, no puedo evitar dar un enlace al anuncio del portal Superjob que fue hace unos días. Me gustaría ofrecerles otro método 100% probado para aprender más sobre el candidato.

¿Quizás ha llegado el momento de llegar a algunas conclusiones? Las conclusiones que hice por mí mismo: comenzar y hacer cualquier trabajo solo después de la verificación completa de los datos de entrada y la metodología.

No confíe en nadie hasta que muestre la verificación de su método mediante una investigación estadística abierta / acceso al algoritmo.

Estoy seguro de que estas conclusiones no son ideales. No son aptos para la medicina. Lo más probable es que no haya un estudio verificado de aspirina. Durante miles de años, las personas han sabido que el extracto de corteza de sauce ayuda a bajar la temperatura. ¿Por qué investigar esto?

Y para resumir los hallazgos y comprender la estrategia universal de confianza vs. comprobar - no puedo

Pero probablemente, si comienza a preguntarse "¿es posible confiar en este o aquel método", el artículo ya cumplirá su objetivo.

Descargo de responsabilidad de PS

Intenté deliberadamente no mencionar los nombres de las personas / los nombres de las empresas donde hay al menos alguna posibilidad de que las personas se equivoquen sinceramente. O donde puedo estar equivocado. Probablemente, de acuerdo con lo que está en el texto, se pueden calcular muchos o google. Le pediría que no lo publique en los comentarios. Todos los que lo necesiten, hágalo usted mismo / podrán solicitarlo en PM.

En muchas situaciones, es posible que no conozca los detalles profundos de las soluciones, por lo que no considero necesario calificar a algunas personas. Pero me parece importante mostrar en estos ejemplos que nuestra interacción con el mundo moderno genera un montón de errores de conciencia en las personas.