Se você usa a Internet, deve ter interagido com redes neurais. Essa é uma forma de algoritmo de aprendizado de máquina usado em muitos campos, da tradução de idiomas à modelagem financeira. Uma das especialidades dessa abordagem é o reconhecimento de imagens. Várias empresas - incluindo Google, Microsoft, IBM e Facebook - desenvolveram seus próprios algoritmos de layout de fotos. Mas enquanto esses algoritmos podem cometer erros muito estranhos.
A API do Microsoft Azure para visão computacional adicionou a seguinte legenda a esta imagem: "um rebanho de ovelhas pasta em uma encosta coberta de vegetação exuberante" e as tags: "pastoreio, ovelha, montanha, gado, cavalo". Mas não há ovelhas na foto. Geralmente. Eu estudei todos os lugares.
etiquetas: grama, campo, ovelha, em pé, arco-íris, homemNesta foto, o computador também viu as ovelhas. Por acaso, eu sei que algumas ovelhas realmente pastavam perto deste lugar. Mas eles não são visíveis na foto.
etiquetas: encosta, pastar, ovelha, girafa, rebanhoAqui está outro exemplo. As redes neurais geralmente imaginavam ovelhas toda vez que via essas imagens. O que está havendo?
As redes neurais são treinadas processando muitos exemplos. Nesse caso, ela recebeu muitas imagens marcadas manualmente pelas pessoas - e havia ovelhas em muitas delas. Começando com uma completa falta de conhecimento sobre o que você viu, as redes neurais precisam criar regras segundo as quais as imagens devem ser rotuladas de "ovelhas". Aparentemente, ela não entendeu que a palavra "ovelha" significa um animal, e não apenas grama sem árvores. De maneira semelhante à segunda foto, ela deu o rótulo "arco-íris", porque essa paisagem é úmida e chuvosa, sem perceber que um arco-íris precisa de uma faixa multicolorida.
Talvez as redes neurais sejam excessivamente sensíveis e vejam ovelhas por toda parte? Acontece que não. Eles vêem ovelhas somente quando esperam vê-las. Eles encontram facilmente ovelhas nos campos e nas montanhas, mas assim que as ovelhas começam a aparecer em locais inesperados, fica óbvio o quanto esses algoritmos se apóiam em suposições e probabilidades.
Leve as ovelhas para o quarto, e ela será designada como um gato. Levante uma ovelha ou cabra em seus braços e eles a marcarão como um cachorro.
“Esquerda: um homem segura um cachorro na mão. Certo: uma mulher segura um cachorro na mão.Pinte-os de laranja e eles se tornarão flores.
"Algumas flores de laranja no campo"Coloque as ovelhas na trela e elas a designarão como um cachorro. Coloque-a no carro e será um cachorro ou um gato. Se eles entrarem na água, podem ser vistos como pássaros ou até ursos polares.
E se as cabras subirem em uma árvore, elas se transformarão em pássaros. Ou girafas (verificou-se que o Microsoft Azure é notório por ver girafas em todos os lugares devido à abundância excessiva de girafas que havia rumores de estar no conjunto de dados inicial).
NeuralTalk2: um bando de pássaros voa no ar
Microsoft Azure: várias girafas ficam ao lado de uma árvoreRedes neurais correlacionam padrões. Eles veem pedaços de textura semelhantes ao pelo, manchas verdes e decidem que há ovelhas na foto. Se eles virem peles e formas semelhantes a uma cozinha, poderão decidir que veem gatos.
Se a vida segue as regras, o reconhecimento de imagem funciona como deveria. Mas assim que as pessoas ou ovelhas fazem algo inesperado, os algoritmos imediatamente mostram fraqueza.
Se você deseja trazer algo despercebido para a rede neural, então você será ajudado em um estilo quase cyberpunk pelo surrealismo. Talvez no futuro, agentes secretos se vistam de galinhas ou conduzam carros manchados como vacas.
Existem muitos exemplos de erros muito engraçados no segmento do Twitter que começaram com uma pergunta simples:
E você mesmo pode testar a operação da API para reconhecimento de padrões do Microsoft Azure e garantir que mesmo os algoritmos mais avançados dependam de sorte e probabilidade. Outro algoritmo, o NeuralTalk2, usado principalmente para processar imagens desse tópico de comentário no Twitter.