Um pequeno guia sobre a criação de oráculos, deuses dos carros e erros de segunda ordem

Provavelmente, neste texto para muitos, não haverá novidade. Provavelmente outros dirão que isso não acontece na vida real. Mas, não no primeiro dia de abril, mas tudo escrito aqui é a pura verdade que aconteceu comigo ou com as pessoas ao redor. Talvez algumas das opções acima façam você repensar os fenômenos ao seu redor.

Se abordarmos essas histórias formalmente, podemos dizer que todas elas são geradas pelo fato de as pessoas não levarem em conta o erro do segundo tipo. Em Yudkovsky, com quem um quarto de Habr está familiarizado - esse erro geralmente é chamado de " Confirmação de distorção ".



O que é isso Em poucas palavras - "uma pessoa está buscando confirmação de seu modelo, não sua refutação". A única chance de explicar melhor é exemplos, exemplos, exemplos e experiência. Esta é a única maneira de desenvolver a sensação de que "algo está errado aqui".

Parece-me que este conto permitirá que você observe os erros do segundo tipo de uma perspectiva completamente diferente. Do lado de como eles já entraram em nossas vidas, eles afetam quase todas as decisões. E eles nos ajudam a fazer deuses a partir das tecnologias circundantes. No aprendizado de máquina, eu me deparei com isso todos os dias.

1. Introdução

Vou começar com as histórias do meu professor de ciências.

Uma vez, nos dias da União, foi realizada uma reunião do conselho de várias agências de design. Um dos doutores em ciências, chefe de um grande departamento de uma das agências de design, apresentou um novo método para encontrar objetos voadores por radar. Ao mesmo tempo, a precisão da descoberta era quase perfeita, superior aos algoritmos existentes por ordens de magnitude.

Foi baseado em algumas matemáticas fractal complicadas. Ninguém no quadro conseguiu entendê-la a partir do relatório / documentos anexos. E a pessoa que apresentou o algoritmo apresentou mais e mais argumentos de que todos os radares deveriam ser convertidos nesse algoritmo. E sua reputação estava bem estabelecida. Todos sentiram o problema. Mas ninguém conseguia entender onde estava o erro na matemática.
E apenas um estudante de pós-graduação no conselho, que chegou lá por acaso, substituindo seu chefe, após uma hora de discussão, decidiu perguntar: "E qual é a probabilidade de detecção falsa se não houver objetos?" Ele não entendia matemática, mas sentia claramente que não podia pular em uma ordem de precisão de magnitude.

Todo mundo ficou em silêncio. Todo mundo tinha certeza de que uma coisa tão trivial era obviamente verificada. Mas o médico, que defendia a matemática, empalideceu, parecia abatido e só conseguiu dizer: "Esquecemos de ver ...".

As pessoas, mesmo as inteligentes e as que têm título, buscam antes de tudo a confirmação de sua teoria. E quanto mais eles confiam, mais piada de mau gosto pode ser feita com eles.

Sinta-se

Se o artigo continuar, não haverá fotos! Mas eu sei que os artigos sobre Habré são abertos apenas para obter as melhores fotos!

E há muitos deles neste tópico. Eles confirmam que a característica de confiar na solução mais simples é inerente a nós no nível da natureza. Todos vocês já os viram muitas vezes. E, provavelmente, não há necessidade de explicar:



Vestido amarelo (azul?) Clássico.



Necker Cube , como posso passar sem ele


Rotação esquerda / direita

A peculiaridade dessas ilusões é que elas têm uma dupla interpretação. O cérebro entra em ciclos apenas em um ponto de vista que resolve um problema. E tem vista para outros pontos de vista. E me diga que você pode ter em mente duas visões ao mesmo tempo !!!

É como uma religião que pode explicar a natureza dos fenômenos. Como horóscopos que nada têm, mas uma pessoa busca confirmação. Geralmente, você não pode determinar o que um sistema inteligente contou para você e como compará-lo com a realidade. Não acredita?

Exemplo número dois, sobre bandidos

Bem, como você gosta deste projeto ? Usando o Neurosky para avaliar os talentos de uma criança? Qualquer pessoa com mais ou menos conhecimento em tecnologia entende que isso é uma fiação. O testemunho barulhento de Neurosky mal permite distinguir tocar violão e ler um livro.



E isso sem mencionar que tudo é 100 vezes mais complicado para as crianças. As crianças estão preocupadas, o que gera um alto nível de ruído. E, é claro, os desenvolvedores não dão nenhuma evidência do algoritmo e da significância estatística. Daria certo - seria um avanço. Mas esta é apenas uma maneira de conectar.

Depois do meu artigo sobre o NeuroSky, cinco pessoas me escreveram com idéias semelhantes no correio / PM. Alguém estava louco, e alguém cinicamente sugeriu que "bem, você faz o sistema, porque ele mostrará algo de qualquer maneira, não pode dar bobagem completa após o treinamento". E o site que citei um pouco mais alto foi citado como exemplo.

E por que você não é horóscopo?

Por que está aqui? Bem, há um escritório que lida com a fiação. Bem, existem Scientologists. Afinal, isso não é enorme!

Mas, parece-me que não um casal. Tais coisas enchem a vida cotidiana. E a tecnologia os gera todos os dias. Abaixo no texto, haverá alguns exemplos mais ilustrativos sobre os quais todos sabem muito bem ( você terá tempo de lembrar antes de lê-lo? ). E nos comentários você pode trazer o seu próprio.

A chave para mim nesse caso é que isso mostra que muitas pessoas querem acreditar em tecnologia / metodologia. E é uma coisa quando as pessoas que não entendem isso acreditam. E a segunda coisa é a auto-ilusão dos criadores. O segundo, infelizmente, está progredindo.

Exemplo número três, todos os dias

Parece-me que as histórias não devem ser repetidas, que cada uma delas mostre a natureza humana de algum outro lado. Então eu vou para o outro lado.
Números de carro!

O que ?? Quais são os erros do segundo tipo!? Que tipo de magia?

E eles aparecem aqui muito legais. Aqui está o que você diz, qual é o número do carro:





É "M" ou "H"? A região é "71" ou "21"?

E, no entanto, com base em imagens únicas desse plano, as pessoas começam a avaliar a qualidade do sistema. Por que você acha isso? Geralmente porque uma pessoa viu o número desse carro. E é difícil para ele admitir que em tal foto ele pode ter uma interpretação diferente.

Há um colapso da consciência em favor da decisão mais próxima que é conhecida. Dei o exemplo mais revelador, mas se de repente for interessante, darei mais alguns passos.

E convencê-lo de que o número pode ser diferente é quase impossível. É mais fácil dizer "isso está incluído na porcentagem de erros de algoritmo".

Essa é uma armadilha de consciência muito comum ao trabalhar com imagens e sistemas de reconhecimento. O homem está esperando por uma solução pronta. E tudo o que chegou a outra decisão está errado. O caminho não é interessante. Somente o resultado é interessante. Algumas vezes por mês, preciso explicar que não é necessário um algoritmo treinado para trabalhar em quadros com ruído.

Tenho medo de pensar como algumas empresas oferecem esse plano. Mesmo em fotos muito boas, é difícil encontrar óculos / luvas e rastrear o dono. Mesmo se você não for um algoritmo, mas uma pessoa viva.



Ao mesmo tempo, engenheiros de empresas técnicas não são aquelas pessoas que são solicitadas pela tarefa filosófica "é possível entender neste vídeo se uma pessoa tem óculos de segurança ou não".

E, no entanto, muitas pessoas acreditam que números ilegíveis também são bem reconhecidos. E a resolução pode ser aumentada centenas de vezes. Em um habr, havia um artigo maravilhoso sobre esse assunto. E às vezes eles ficam muito ofendidos por não ser assim. Magia do carro não funciona;)

Exemplo número quatro, ou como você pode estar no epicentro

Eu dei três opções diferentes. E tudo pode ser respondido com o padrão: "oh, bem, são apenas pessoas incompetentes". Ou: "as pessoas estão enganadas, com quem isso não acontece".

Mas, esses erros são muito mais comuns do que você pensa. Assim que lidamos com decisões ambíguas, com situações em que 3-4 resultados são possíveis, é impossível avaliar o nível de nossa competência. Mesmo se você for um engenheiro muito legal.

Vou contar uma história épica sobre como os especialistas podem cometer erros (ou não cometer erros) quando encontram um deus em um carro.

Uma vez, eles me escreveram com um pedido para marcar uma consulta sobre o reconhecimento de alguns exames médicos. No telefone, eu realmente não entendi a explicação do gerente sobre o que deveria ser reconhecido. Além disso, segundo ele, o caso era sobre uma metodologia "completamente nova". Por isso, concordamos em nos encontrar com os médicos que o desenvolveram (o Skype para médicos é muito complicado).

No dia seguinte, depois de duas horas de reunião, meu cérebro começou a ferver. Não entendi com quem conversei por duas horas. Com bandidos absolutos, com futuros ganhadores do Nobel ou com pessoas loucas.

Um grupo de vários médicos inventou um teste universal que revelou dezenas, senão centenas de doenças. Pela urina, pelo sangue, pelas lágrimas e pela saliva.

O método foi o mesmo: “misture o líquido com o reagente (um e o mesmo), veja como ele seca e racha”. O diagnóstico foi feito de acordo com a aparência das rachaduras, com a cor dessa coisa toda, com que forma os cristais crescerão em uma gota seca, com a aparência de tudo na luz polarizada.



E devo dizer que a primeira parte, que estava na urina, foi razoavelmente bem fundamentada.

Quando, nos dias seguintes, tentei desenterrar informações sobre o assunto e entrevistar médicos - eles confirmaram que muitos deles são testes padrão muito fortemente distorcidos que ocorrem na realidade. Embora em algum lugar cerca de um terço do livro sacudissem a cabeça duvidosamente.

Mas a segunda parte, pelo sangue, foi um produto da loucura. O que Theranos está lá! Só que era necessário não alocar 4,5 bilhões para um americano de lá, mas para esses camaradas.

Os pesquisadores me disseram como, com uma gota de sangue, eles podem causar câncer nos estágios iniciais. Apenas usando um microscópio, algumas gotas de reagentes de qualquer laboratório (se a memória serve, era albumina). E eles disseram como aplicaram com sucesso essas metodologias na prática clínica para o tratamento de pacientes de um centro médico (sic!). Aqui está uma pequena lista do que eles detectaram:



(Clicável)

Na minha aparência e pergunta um tanto impressionantes sobre a base de evidências, eles me falaram sobre centenas de artigos na literatura, sobre dois departamentos na Rússia trabalhando nessa técnica e desenvolvendo-a. Cerca de uma dúzia de candidatos e doutores da ciência que se defenderam sobre o assunto. E, ao se separarem, eles apresentaram dois livros sobre o tópico em que o prefácio foi escrito por algum acadêmico:



Tudo isso é verdade? Eu não sei Percebi que não tinha uma compreensão de como a química e a biologia funcionam. Nenhuma compreensão de como encontrar essas informações. E por motivos formais. Bem sim. Há muitos médicos e artigos relacionados. Nenhum deles foi publicado em uma revista internacional revisada por pares com um alto nível de citação. Há acadêmicos que falam sobre os sucessos da metodologia. Mas eles, com licença, são acadêmicos do RAMS. Não há um único artigo de crítica, apenas artigos relatando sucessos (Google google em 2016, desde então, algo novo poderia surgir).

Não, bem, é claro, encontrei o e-mail do presidente da comissão de pseudociência e de alguns de seus representantes. E ele escreveu sobre tudo ... eu não recebi uma resposta :)

E pessoalmente. Eu entendo que essas pessoas acreditam nisso. Porra, a medicina russa não é o lugar onde você pode fazer algo em uma farsa desse nível. Você precisa realmente acreditar nos seus negócios.
Mas entendo que, com as bases sobre as quais eles medem, com os parâmetros existentes - pelo menos metade do que é dito é duvidoso. Mas algo pode realmente funcionar.

Esse trabalho, graças a Deus eu não fui. Talvez porque eu tenha dito que, para reconhecer algo automaticamente, você deve primeiro coletar uma base grande e confirmar com uma marcação independente que ela existe. Ou talvez a verdade se deva a formalidades burocráticas.

Quem está bem aqui? Médicos que criam uma teoria e acreditam nela? Ou sou uma pessoa do lado a quem ela parece insanidade? Eu não sei Se os médicos estão enganados, então este é um erro clássico: "falta de verificação de contra-argumentos". Ou talvez eu. E então é quase o mesmo :)

Mas desde então eu tenho dois livros épicos e uma história fantasmogórica.

E alguns exemplos sobre médicos ...

Você sabe. Os médicos geralmente são um tópico fértil. Quando você tenta reconhecer algo pelas redes neurais, constantemente se depara com isso. Trabalhei com um grande número de exames radiográficos: fluorogramas, mamografias, conversei e olhei para a tomografia computadorizada, vi dentes diferentes.
E em quase todos os lugares (em diferentes graus) existe um e o mesmo problema: médicos diferentes leem imagens de maneiras diferentes. Você pede a dois médicos que observem a patologia nas fotos - e eles têm uma área de interseção de 20 a 30%. E cada um deles está confiante em sua decisão, mostra limites claros.

Justifica sua resposta. E, novamente, o problema é que uma pessoa cria um bom modelo em sua cabeça, projeta-o em uma imagem e depois procura por confirmação. Mas muitas vezes - esta é a resposta errada. Ou não confiável.

Infelizmente, nos séculos passados, a medicina não se baseou mais na "prova de cada passo pelas estatísticas", mas em uma "explicação lógica de cada passo". Está muito profundo na psicologia. Às vezes me parece que um médico homeopata e um terapeuta deficiente trabalham com o mesmo princípio. Há um conjunto de atitudes básicas e fé nele. Sem análise, de onde veio o que veio. Sem consciência do que você pode confiar. Muito provavelmente, o conjunto de atitudes do terapeuta está mais próximo da realidade. Mas, globalmente, nem um nem o outro podem provar os esquemas que usam. Talvez até ambos marquem validol ou enviem para beber motherwort.

Uma vez me pediram para consultar um cirurgião ... O chefe de um departamento, um especialista de destaque com 30 anos de prática. O tio me contou como, com precisão de 100%, de acordo com o nível do questionário “data de nascimento, data do primeiro mês, número de filhos, etc.” das 30 perguntas, você pode prever quando haverá câncer de mama. Bem, isso é, é claro, ridículo. Mas ele sugere preencher este questionário para todos os seus pacientes, tirando conclusões com base nele.

Exemplos do que somos enganados todos os dias

Quer mais? .. Quer algo que todo mundo saiba? Bem, pegue o carro grande e terrível que todo mundo tem medo. Polígrafo . Ainda acredita que funciona? O link leva à wikipedia. Siga e assista as críticas. Por que não funciona e que certeza existe. E ainda assim, muitos os usam. Por que você não é um deus de um carro?

Diferentes empresas me escrevem regularmente que oferecem reconhecimento facial. Eles ficam muito ofendidos quando lhes peço que digam qual é o tamanho de sua base. Eles dizem que têm um modelo legal desenvolvido pelos melhores fisiologistas.

Uma empresa com um escritório chique no centro de Moscou foi especialmente lembrada. NDA absolutamente inadequado e sentimento insano sobre a superioridade de sua tecnologia ... Desde então, quase cinco anos se passaram. A empresa ainda teve seu próprio blog sobre Habré desde então. Somente aqui os produtos não têm nada a ver com o reconhecimento de mentiras e resolvem tarefas muito mais mundanas (pelo que entendi, eles usaram os mesmos desenvolvimentos, o que é bom).
É engraçado que, mais tarde, descobrimos que não apenas eu os enviei, mas também outras empresas envolvidas no desenvolvimento da visão de máquina. Talvez isso lhes permitisse repensar o que estavam fazendo - e começar a fazer negócios ^ _ ^

Finalmente, não posso deixar de dar um link para o anúncio do portal Superjob, que foi há alguns dias atrás. Eu gostaria de oferecer a eles outro método 100% comprovado para aprender mais sobre o candidato.

Talvez chegou a hora de chegar a algumas conclusões? As conclusões que tirei para mim - iniciar e executar qualquer trabalho somente após a verificação completa dos dados e da metodologia de entrada.

Não confie em ninguém até que ele mostre a verificação de seu método por meio de pesquisa / acesso estatístico aberto ao algoritmo.

Estou certo de que essas conclusões não são ideais. Eles não são adequados para medicamentos. Provavelmente, não há estudo verificado da aspirina. Por milhares de anos, as pessoas sabem que o extrato da casca de salgueiro ajuda a diminuir a temperatura. Por que pesquisar isso?

E para resumir as descobertas e entender a estratégia universal de confiança vs. cheque - não posso.

Mas provavelmente se você começar a se perguntar "é possível confiar neste ou naquele método" - o artigo já cumprirá seu objetivo.

Isenção de responsabilidade do PS

Eu deliberadamente tentei não mencionar os nomes das pessoas / os nomes das empresas onde há pelo menos alguma chance de as pessoas estarem honestamente enganadas. Ou onde posso estar enganado. Provavelmente, de acordo com o que está no texto, muitos podem ser calculados ou no Google. Eu pediria para você não publicá-lo nos comentários. Todos que precisam - faça você mesmo / será capaz de perguntar no PM.

Em muitas situações, posso não conhecer os detalhes profundos das soluções, por isso não considero necessário marcar algumas pessoas. Mas parece-me importante mostrar nesses exemplos que nossa interação com o mundo moderno gera um monte de erros de consciência nas pessoas.