Un petit guide sur la création d'oracles, de dieux de voiture et d'erreurs de second ordre

Probablement, dans ce texte pour beaucoup, il n'y aura pas de nouveauté. D'autres diront probablement que cela ne se produit pas dans la vraie vie. Mais pas le 1er avril, mais tout ce qui est écrit ici est la pure vérité qui m'est arrivée ou qui est arrivée aux gens autour. Peut-être que certains des éléments ci-dessus vous feront repenser les phénomènes qui vous entourent.

Si nous abordons ces histoires de manière formelle, nous pouvons dire qu'elles sont toutes générées par le fait que les gens ne prennent pas en compte l'erreur du second type. Chez Yudkovsky, avec qui un quart de Habr est familier - cette erreur est généralement appelée " Confirmation de la distorsion ".



Qu'est ce que c'est En un mot - "une personne cherche la confirmation de son modèle, pas sa réfutation." La seule chance d'expliquer mieux est des exemples, des exemples, des exemples et de l'expérience. C'est le seul moyen de développer le sentiment que "quelque chose ne va pas ici".

Il me semble que cette courte histoire vous permettra de regarder les erreurs du second type sous un angle complètement différent. Du côté de la façon dont ils sont déjà entrés dans nos vies, ils affectent presque toutes les décisions. Et ils nous aident à créer des dieux à partir des technologies environnantes. Dans le machine learning, je le rencontre tous les jours.

Présentation

Je vais commencer par les histoires de mon professeur de sciences.

Une fois, à l'époque de l'Union, une réunion du conseil de plusieurs bureaux d'études a eu lieu. L'un des docteurs en science, chef d'un grand département dans l'un des bureaux d'études, a présenté une nouvelle méthode de recherche d'objets volants par radar. Dans le même temps, la précision de la découverte était presque parfaite, dépassant les algorithmes existants par des ordres de grandeur.

Il était basé sur des mathématiques fractales délicates. Personne au tableau ne pouvait la comprendre d'après le rapport / les documents d'accompagnement. Et la personne qui a présenté l'algorithme a donné de plus en plus d'arguments selon lesquels tous les radars devraient être convertis en cet algorithme. Et sa réputation était bien établie. Tout le monde a senti le piège. Mais personne ne pouvait comprendre où était l'erreur en mathématiques.
Et un seul étudiant diplômé du conseil, arrivé par hasard, en remplacement de son patron, après une heure de discussion, a décidé de demander: "Et quelle est la probabilité de fausse détection s'il n'y a pas d'objets?" Il ne comprenait pas les mathématiques, mais sentait clairement qu'il ne pouvait pas sauter d'un ordre de grandeur.

Tout le monde était silencieux. Tout le monde était sûr qu'une chose aussi banale était évidemment vérifiée. Mais le médecin, qui défendait les mathématiques, est devenu pâle, avait l'air hagard et n'a réussi qu'à dire "Nous avons oublié de voir ...".

Les gens, même intelligents et titrés, cherchent d'abord à confirmer leur théorie. Et plus ils ont confiance en elle, plus une blague est mauvaise qu'elle peut jouer avec eux.

Sentez-vous sur vous-même

Si l'article continue plus loin, alors il n'y aura pas de photos! Mais je sais que les articles sur Habré ne sont ouverts que pour les meilleures photos!

Et il y en a beaucoup sur ce sujet. Ils confirment que la caractéristique de faire confiance à la solution la plus simple est inhérente à nous au niveau de la nature. Vous les avez tous vus plusieurs fois. Et, probablement, il n'est pas nécessaire d'expliquer:



Robe jaune classique (bleue?).



Necker Cube , comment faire sans lui


Rotation gauche / droite

La particularité de ces illusions est qu'elles ont une double interprétation. Le cerveau se met en cycles sur un seul point de vue qui résout un problème. Et néglige d'autres points de vue. Et dites-moi simplement que vous pouvez garder à l'esprit deux vues en même temps !!!

C'est comme une religion qui peut expliquer la nature des phénomènes. Comme des horoscopes qui ne parlent de rien, mais une personne cherche une confirmation. Souvent, vous ne pouvez pas déterminer ce qu'un système intelligent a compté pour vous et comment le comparer à la réalité. Ne croyez pas?

Exemple numéro deux, sur les escrocs

Eh bien, comment aimez-vous ce projet ? Utiliser Neurosky pour évaluer les talents d'un enfant? Quiconque est plus ou moins compétent en technologie comprend qu'il s'agit d'un câblage. Le témoignage bruyant de Neurosky permet à peine de distinguer jouer de la guitare de lire un livre.



Et cela sans oublier que tout est 100 fois plus compliqué pour les enfants. Les enfants sont perturbés, ce qui génère un niveau de bruit élevé. Et, bien sûr, les développeurs ne donnent aucune preuve de l'algorithme et de la signification statistique. Cela fonctionnerait - ce serait une percée. Mais ce n'est qu'un moyen de câblage.

Après mon article sur NeuroSky, cinq personnes m'ont écrit avec des idées similaires dans le mail / PM. Quelqu'un était tout simplement fou, et quelqu'un a laissé entendre cyniquement que «eh bien, vous faites le système, car il montrera quelque chose de toute façon, il ne peut pas donner un non-sens complet après la formation». Et le site que j'ai cité un peu plus haut a été cité en exemple.

Et pourquoi n'êtes-vous pas des horoscopes?

Pourquoi est-ce ici? Eh bien, il y a un bureau qui s'occupe du câblage. Eh bien, il y a des scientologues. Après tout, ce n'est pas énorme!

Mais, il me semble que pas un couple. Ces choses remplissent la vie quotidienne. Et la technologie les génère tous les jours. Ci-dessous dans le texte, il y aura quelques exemples plus illustratifs que vous connaissez tous très bien (aurez- vous le temps de vous souvenir avant de le lire? ). Et dans les commentaires, vous pouvez apporter le vôtre.

La clé pour moi dans ce cas est que cela montre que beaucoup de gens veulent croire en la technologie / méthodologie. Et c'est une chose quand les gens qui ne le comprennent pas croient. Et la deuxième chose est l'auto-tromperie des créateurs. La seconde, malheureusement, progresse.

Exemple numéro trois, tous les jours

Il me semble que les histoires ne doivent pas être répétées, que chacune d'elles doit montrer la nature humaine d'un autre côté. Je vais donc passer de l'autre côté.
Numéros de voiture!

Quoi ?? Quelles sont les erreurs du deuxième type!? Quel genre de magie?

Et ils apparaissent ici très cool. Voici ce que vous dites, quel est le numéro de la voiture:





Est-ce «M» ou «H»? La région est-elle «71» ou «21»?

Et, néanmoins, sur la base d'images uniques d'un tel plan, les gens commencent à évaluer la qualité du système. Pourquoi le pensez-vous? Habituellement, parce qu'une personne a vu le nombre d'une telle voiture. Et il lui est difficile d'admettre que sur une telle photo il peut avoir une interprétation différente.

Il y a un effondrement de la conscience en faveur de la décision la plus proche connue. J'ai donné l'exemple le plus révélateur, mais si c'est soudainement intéressant, ici, je vais faire quelques pas de plus.

Et le convaincre que le nombre pourrait être différent est souvent presque impossible. Il est plus facile de dire «cela est inclus dans le pourcentage d'erreurs d'algorithme».

Il s'agit d'un piège de conscience très courant lorsque vous travaillez avec des images et des systèmes de reconnaissance. L'homme attend une solution toute faite. Et tout ce qui est arrivé à une autre décision est faux. Le chemin n'est pas intéressant. Seul le résultat est intéressant. Quelques fois par mois, je dois expliquer qu'un algorithme entraîné n'est pas nécessaire pour travailler sur des images avec du bruit.

J'ai peur de penser à la façon dont certaines entreprises proposent un tel plan. Même dans de très bons clichés, il est difficile de trouver des lunettes / gants et de suivre leur propriétaire. Même si vous n'êtes pas un algorithme, mais une personne vivante.



Dans le même temps, les ingénieurs des entreprises techniques ne sont pas ces personnes auxquelles la tâche philosophique demande "est-il possible de comprendre à partir de cette vidéo si une personne a des lunettes de sécurité ou non".

Et pourtant, beaucoup de gens pensent que les chiffres illisibles sont également bien reconnus. Et la résolution peut être augmentée des centaines de fois. Sur un habr il y avait un merveilleux article sur ce sujet. Et parfois, ils sont très offensés que ce ne soit pas le cas. La magie de la voiture ne fonctionne pas;)

Exemple numéro quatre, ou comment vous pouvez être à l'épicentre

J'ai donné trois options différentes. Et tout peut être répondu avec la norme: "eh bien, ce sont juste des gens incompétents." Ou: "les gens se trompent, avec qui cela n'arrive pas".

Mais, de telles erreurs sont beaucoup plus courantes que vous ne le pensez. Dès que nous traitons des décisions ambiguës, avec des situations où 3-4 résultats sont possibles, il est impossible d'évaluer le niveau de notre compétence. Même si vous êtes un ingénieur très cool.

Je vais vous raconter une histoire épique sur la façon dont les experts peuvent faire des erreurs (ou ne pas faire des erreurs) lorsqu'ils trouvent un dieu dans une voiture.

Une fois, ils m'ont écrit pour me demander d'organiser une consultation sur la reconnaissance de certains tests médicaux. Au téléphone, je ne comprenais pas vraiment l'explication du manager sur ce qui devait être reconnu. De plus, selon lui, l'affaire portait sur une méthodologie «complètement nouvelle». Nous avons donc accepté de rencontrer les médecins qui l'ont développé (Skype pour les médecins est trop compliqué).

Le lendemain, après deux heures de réunion, mon cerveau a commencé à bouillir. Je n'ai pas compris avec qui j'ai parlé pendant deux heures. Avec des escrocs absolus, avec de futurs lauréats du prix Nobel, ou avec des fous.

Un groupe de plusieurs médecins a inventé un test universel qui a révélé des dizaines, voire des centaines de maladies. Par l'urine, le sang, les larmes et la salive.

La méthode était la même: «mélanger le liquide avec le réactif (un seul et même), voir comment il sèche et se fissure». Le diagnostic a été établi en fonction de l'apparence des fissures, de la couleur de l'ensemble, de la forme des cristaux sur une goutte séchée, de l'apparence de tout en lumière polarisée.



Et je dois dire que la première partie, qui était dans l'urine, était raisonnablement bien fondée.

Lorsque, au cours des jours suivants, j'ai essayé de déterrer des informations sur le sujet et d'interroger des médecins - ils ont confirmé que bon nombre de ces tests étaient très fortement déformés et se déroulaient dans la réalité. Bien que quelque part, environ un tiers du livre secoua la tête douteusement.

Mais la deuxième partie, par le sang, était un produit de la folie. Qu'est-ce que Theranos est là! C'était juste qu'il fallait non pas allouer 4,5 milliards à un Américain, mais à ces camarades.

Les chercheurs m'ont expliqué comment, par une goutte de sang, ils peuvent transmettre le cancer à un stade très précoce. À l'aide d'un microscope, quelques gouttes de réactifs de n'importe quel laboratoire (si ma mémoire est bonne, c'était de l'albumine). Et ils ont expliqué comment ils appliquaient avec succès ces méthodologies dans la pratique clinique pour le traitement des patients d'un centre médical (sic!). Voici une courte liste de ce qu'ils ont détecté:



(Cliquable)

Dans mon regard et ma question quelque peu impressionnants sur la base de preuves, ils m'ont parlé de centaines d'articles dans la littérature, de deux départements en Russie travaillant sur cette technique et la développant. Une dizaine de candidats et docteurs en sciences qui se sont défendus sur le sujet. Et en partant, ils ont présenté deux livres sur le sujet où la préface a été écrite par un académicien:



Est-ce que tout cela est vrai? Je ne sais pas. J'ai réalisé que je ne comprenais pas le fonctionnement de la chimie et de la biologie. Aucune compréhension de la façon de trouver ces informations. Et pour des motifs formels. Et bien oui. Il y a un tas de médecins et d'articles connexes. Aucun d'entre eux n'a été publié dans une revue internationale à comité de lecture avec un haut niveau de citation. Il y a des universitaires qui parlent des succès de la méthodologie. Mais ce sont, je m'excuse, des académiciens du RAMS. Il n'y a pas un seul article critiquant, seulement des articles faisant état de succès (Google google en 2016, depuis lors, quelque chose de nouveau pourrait sortir).

Non, bien sûr, j'ai trouvé l'e-mail du président de la commission pseudoscience et de certains de ses adjoints. Et il a écrit sur tout à ce sujet ... Je n'ai pas reçu de réponse :)

Et en personne. Je comprends que ces gens y croient. Merde, la médecine russe n'est pas l'endroit où vous pouvez faire quelque chose dans un canular de ce niveau. Vous devez vraiment croire en votre entreprise.
Mais je comprends qu'avec les bases sur lesquelles ils mesurent, avec les paramètres qui sont là - au moins la moitié de ce qui est dit est douteuse. Mais quelque chose peut vraiment fonctionner.

Ce travail, Dieu merci, je ne suis pas allé. Peut-être parce que j'ai dit que pour reconnaître automatiquement quelque chose, vous devez d'abord collecter une grande base et confirmer avec un balisage indépendant qu'elle existe. Ou peut-être que la vérité est due aux formalités bureaucratiques.

Qui est ici? Des médecins qui proposent une théorie et y croient? Ou suis-je une personne du côté à qui elle semble folle? Je ne sais pas. Si les médecins se trompent, il s'agit alors d'une erreur classique «manque de vérification des contre-arguments». Ou peut-être moi. Et puis c'est presque pareil :)

Mais depuis, j'ai deux livres épiques et une histoire fantosmogorique.

Et quelques exemples sur les médecins ...

Tu sais. Les médecins sont généralement un sujet fertile. Lorsque vous essayez de reconnaître quelque chose par les réseaux de neurones, vous rencontrez constamment cela. J'ai travaillé avec un grand nombre d'examens radiographiques: fluorogrammes, mammographies, parlé et regardé le scanner, vu différentes dents.
Et presque partout (à des degrés divers), il y a un seul et même problème: différents médecins lisent les images de différentes manières. Vous demandez à deux médecins de noter la pathologie sur les images - et ils ont une zone d'intersection de 20 à 30%. Et chacun d'eux est confiant dans sa décision, montre des limites claires.

Justifie sa réponse. Et encore une fois, le problème est qu'une personne construit un bon modèle dans sa tête, le projette sur une image, puis recherche une confirmation. Mais très souvent - ce n'est pas la bonne réponse. Ou peu fiable.

Malheureusement, au cours des siècles passés, la médecine ne reposait plus sur la «preuve de chaque étape par les statistiques», mais sur une «explication logique de chaque étape». Il se situe très profondément dans la psychologie. Parfois, il me semble qu'un médecin homéopathe et un mauvais thérapeute travaillent sur le même principe. Il y a un ensemble d'attitudes de base et de foi en lui. Sans analyse, d'où vient ce qui vient. Sans conscience de ce en quoi vous pouvez avoir confiance. Très probablement, l'ensemble des attitudes du thérapeute est plus proche de la réalité. Mais globalement, ni l'un ni l'autre ne peuvent prouver ces schémas qui utilisent. Peut-être que même les deux nommeront du validol ou enverront boire de l'agripaume.

Une fois, on m'a demandé de consulter un chirurgien ... Le chef d'un département, un éminent spécialiste avec 30 ans de pratique. Mon oncle m'a expliqué comment avec une précision de 100% selon le niveau du questionnaire «date de naissance, date du premier mois, nombre d'enfants, ..» sur 30 questions, vous pouvez prédire quand il y aura un cancer du sein. Eh bien, c'est bien sûr ridicule. Mais il suggère de remplir ce questionnaire à tous ses patients et d'en tirer des conclusions.

Des exemples de ce qu'on nous trompe tous les jours

Vous en voulez plus? .. Vous voulez quelque chose que tout le monde connaît? Eh bien, prenez la grande et terrible voiture dont tout le monde a peur. Polygraphe . Quoi, croyez-vous toujours que cela fonctionne? Le lien mène à wikipedia. Parcourez et regardez les critiques. Pourquoi cela ne fonctionne pas et quelle certitude il y a. Et pourtant, beaucoup les utilisent. Pourquoi n'êtes-vous pas un dieu d'une voiture?

Différentes sociétés m'écrivent régulièrement et proposent une reconnaissance faciale. Ils sont très offensés quand je leur demande de dire quelle est leur taille. Ils disent qu'ils ont un modèle cool développé par les meilleurs physiologistes.

On se souvient surtout d'une entreprise avec un bureau chic dans le centre de Moscou. Un NDA absolument insuffisant et un pathos fou à propos de la supériorité de leur technologie ... Depuis, près de cinq ans se sont écoulés. Depuis, l'entreprise a même son propre blog sur Habré. Seulement ici, les produits n'avaient rien à voir avec la reconnaissance du mensonge, et ils résolvent des tâches beaucoup plus banales (si je comprends bien, ils ont utilisé les mêmes développements, ce qui est bien).
C'est drôle que plus tard, il s'est avéré que non seulement je les ai envoyés, mais aussi d'autres sociétés impliquées dans le développement de la vision industrielle. Peut-être que cela leur a permis de repenser ce qu'ils faisaient - et de commencer à faire des affaires ^ _ ^

Enfin, je ne peux m'empêcher de donner un lien vers l' annonce du portail Superjob qui était il y a quelques jours. Je voudrais leur proposer une autre méthode 100% éprouvée pour en savoir plus sur le candidat.

Peut-être le moment est-il venu de tirer certaines conclusions? Les conclusions que j'ai tirées pour moi - pour commencer et faire n'importe quel travail seulement après une vérification complète des données d'entrée et de la méthodologie.

Ne faites confiance à personne jusqu'à ce qu'il montre la vérification de sa méthode par une recherche statistique ouverte / accès à l'algorithme.

Je suis sûr que ces conclusions ne sont pas idéales. Ils ne conviennent pas à la médecine. Il n'y a probablement aucune étude vérifiée de l'aspirine. Depuis des milliers d'années, les gens savent que l'extrait d'écorce de saule aide à faire baisser la température. Pourquoi rechercher cela?

Et pour résumer les résultats et comprendre la stratégie universelle de confiance vs vérifier - je ne peux pas.

Mais probablement si vous commencez à vous demander «est-il possible de faire confiance à telle ou telle méthode» - l'article atteindra déjà son objectif.

Avis de non-responsabilité PS

J'ai délibérément essayé de ne pas mentionner les noms des personnes / les noms des entreprises où il y a au moins une chance que les gens se trompent honnêtement. Ou où puis-je me tromper. Probablement, selon ce qui est dans le texte, beaucoup peuvent être calculés ou google. Je vous demanderais de ne pas le poster dans les commentaires. Tous ceux qui en ont besoin - faites-le vous-même / pourront demander en PM.

Dans de nombreuses situations, je ne connais pas les détails des solutions, je ne considère donc pas nécessaire de marquer certaines personnes. Mais il me semble important de montrer sur ces exemples que notre interaction avec le monde moderne génère un tas d'erreurs de conscience chez l'homme.