Quando meu primeiro filho tinha apenas dois anos, ele já amava carros, conhecia todas as marcas e modelos (até mais do que eu, graças aos meus amigos), podia reconhecê-los por uma pequena parte da imagem. Todo mundo disse: gênio. Embora tenham notado a futilidade completa desse conhecimento. E o filho, enquanto isso, dormiu com eles, rolou-os, arrumou-os exatamente em uma fileira ou um quadrado.
Quando ele tinha 4 anos, aprendeu a contar e, aos 5, já podia multiplicar e somar em 1000. Até jogamos Math Workout (o jogo é assim no Android - eu gostava de calcular no metrô depois do trabalho), e em algum momento ele começou a me faça exatamente isso. E em seu tempo livre, ele contava até um milhão, que congelou. Um gênio! Eles disseram, mas suspeitamos que não fosse.
A propósito, no mercado, ele ajudou bem sua mãe - ele calculou o valor total mais rapidamente do que os vendedores na calculadora.
Além disso, ele nunca brincava na quadra, não se comunicava com colegas, não se dava muito bem com crianças e professores no jardim. Em geral, eu era uma criança reservada.
O próximo estágio foi a geografia - tentamos canalizar o amor pelos números em algum lugar e entregamos a nosso filho um antigo atlas soviético. Ele mergulhou nele por um mês, e depois disso começou a nos fazer perguntas complicadas no estilo de:
- Pai, que país você acha que tem uma grande área: Paquistão ou Moçambique?
"Provavelmente Moçambique", respondi.
Aqui está! A área do Paquistão é de até 2.350 km2 ”, respondeu o filho com alegria.
Ao mesmo tempo, ele não estava completamente interessado nos povos que viviam nesses países, nem em seus idiomas, roupas ou música folclórica. Apenas números simples: área, população, volume de reservas minerais, etc.
Todos admiraram novamente. "Sou inteligente além dos meus anos", disseram eles por aí, mas novamente fiquei preocupado, porque Entendi que esse conhecimento era completamente inútil, não vinculado à experiência de vida e que era difícil continuar desenvolvendo. A melhor aplicação de tudo o que encontrei foi uma proposta para calcular quantos carros cabiam no estacionamento, se um país em particular foi asfaltado (sem levar em conta o terreno montanhoso), mas rapidamente parou, porque cheira a genocídio.
Curiosamente, o tema dos carros nesse momento desapareceu completamente, o filho nem se lembrava do nome de seus carros favoritos de sua enorme coleção, que começamos a distribuir com perda de interesse. E então ele começou a contar lentamente em sua mente e logo esqueceu a área dos países. Ao mesmo tempo, ele começou a se comunicar mais com os colegas, tornou-se mais contato. O gênio passou, os amigos deixaram de admirar, o filho tornou-se apenas um bom aluno com uma inclinação para a matemática e as ciências exatas.
Repetição - a mãe da aprendizagem
Parece, por que tudo isso. Isso é observado em muitas crianças. Seus pais declaram a todos que seus filhos são geniais, as avós estão entusiasmadas e elogiam os filhos por seu "conhecimento". E, em seguida, crianças inteligentes simples e comuns crescem a partir delas, não mais brilhantes que a amiga do filho da mãe.
Estudando redes neurais, deparei-me com um fenômeno semelhante, e parece-me que certas conclusões podem ser tiradas dessa analogia. Eu não sou um biólogo ou um neurocientista. Tudo mais - minhas suposições, sem afirmar ser particularmente científico. Ficarei feliz em comentar sobre os profissionais.
Quando tentei entender como meu filho havia aprendido a contar tão rapidamente mais rapidamente do que eu (ele passou do nível no Math Workout em 20,4 segundos, enquanto meu recorde era 21,9), percebi que ele não contava nada. Ele memorizou que quando 55 + 17 aparecer, você precisará pressionar 72. Em 45 + 38, você precisará clicar em 83 e assim por diante. No começo, ele certamente contou, mas o surto de velocidade ocorreu no momento em que ele conseguiu se lembrar de todas as combinações. E rapidamente, ele começou a lembrar não de inscrições concretas, mas de combinações de símbolos. É exatamente isso que é ensinado na escola, estudando a tabuada de multiplicação - lembre-se da tabuada de correspondência MxN -> P.
Aconteceu que ele percebeu a maioria das informações precisamente como uma relação entre entrada e saída, e que o algoritmo muito geral que usamos para rolar para obter uma resposta não se reduziu apenas a um algoritmo altamente especializado e bem aguçado para calcular números de dois dígitos. Ele fez algumas tarefas excelentes, mas muito mais lentas. I.e. o que parecia super legal para todos foi na verdade apenas simulado por uma rede neural bem treinada para uma tarefa específica.
Conhecimento extra
Por que algumas crianças têm a capacidade de lembrar disso, enquanto outras não?
Imagine o campo de interesses da criança (aqui abordamos a questão qualitativamente, sem nenhuma medida). À esquerda está o campo de interesses de uma criança comum, e à direita está o campo de interesses de uma criança "dotada". Como esperado, o principal interesse está concentrado em áreas para as quais inclinações especiais. Mas nas coisas cotidianas e na comunicação com colegas, o foco não é mais suficiente. Ele considera esse conhecimento supérfluo.
 |  |
| Interesses de uma criança comum de 5 anos | Os interesses da criança "brilhante" de 5 anos |
Nessas crianças, o cérebro analisa e realiza treinamento apenas em tópicos selecionados. Através do treinamento, uma rede neural no cérebro deve aprender a classificar com sucesso os dados recebidos. Mas o cérebro tem muitos, muitos neurônios. Muito mais que o necessário para o trabalho normal com tarefas simples. Geralmente, na vida, as crianças resolvem muitos problemas diferentes, mas aqui todos os mesmos recursos são jogados para uma gama mais estreita de tarefas. E o treinamento nesse modo leva facilmente ao que os profissionais de ML chamam de sobreajuste. A rede, usando uma abundância de coeficientes (neurônios), foi treinada de tal maneira que sempre fornece exatamente as respostas corretas (mas pode fornecer um disparate completo sobre dados de entrada intermediários, mas ninguém vê isso). Assim, o treinamento não levou ao fato de o cérebro destacar as principais características e memorizá-las, mas ao fato de ajustar muitos coeficientes para produzir um resultado exato em dados já conhecidos (como na figura à direita). Além disso, em outros tópicos, o cérebro aprendeu mais ou menos, tendo mal treinado (como na figura à esquerda).
O que é underfitting e overfitting?Para aqueles que não estão no assunto, vou lhe dizer muito brevemente. Ao treinar uma rede neural, a tarefa é selecionar um certo número de parâmetros (pesos de comunicação entre os neurônios) para que a rede, respondendo aos dados de treinamento (amostra de treinamento), responda da maneira mais precisa e precisa possível.
Se houver muito poucos parâmetros, a rede não poderá levar em consideração os detalhes da amostra, o que levará a uma resposta muito grosseira e média que não funciona bem, mesmo na amostra de treinamento. Como na imagem à esquerda acima. Isso é pouco adequado.
Com um número adequado de parâmetros, a rede fornecerá um bom resultado, “engolindo” fortes desvios nos dados de treinamento. Essa rede responderá bem não apenas ao conjunto de treinamento, mas também a outros valores intermediários. Como na foto do meio acima.
Mas se a rede receber muitos parâmetros configuráveis, ela é treinada para reproduzir desvios e flutuações fortes (incluindo os causados por erros), o que pode levar a um lixo completo ao tentar obter uma resposta para os dados de entrada que não são do conjunto de treinamento. Como na foto à direita acima. Isso é super adequado.
Um exemplo ilustrativo simples.
Imagine que você tem vários pontos (círculos azuis). Você precisa desenhar uma curva suave que permita prever a posição de outros pontos. Se tomarmos, por exemplo, um polinômio, e depois em pequenos graus (até 3 ou 4), nossa curva suave será bastante precisa (curva azul). Nesse caso, a curva azul pode não passar pelos pontos de partida (ponto azul).
No entanto, se o número de coeficientes (e, portanto, o grau do polinômio) for aumentado, a precisão da passagem dos pontos azuis aumentará (ou haverá até 100% de acerto), mas o comportamento entre esses pontos se tornará imprevisível (veja como a curva vermelha flutua).
Parece-me que é a inclinação da criança a um tópico específico (fixação) e a completa desconsideração pelos demais tópicos que levam ao fato de que durante o treinamento muitos "fatores" são dados a esses mesmos tópicos.
Considerando que a rede está configurada para dados de entrada específicos e não alocou "recursos", mas estupidamente "lembrou" os dados de entrada, ela não pode ser usada com dados de entrada ligeiramente diferentes. A aplicabilidade dessa rede é muito estreita. Com a idade, o horizonte aumenta, o foco diminui e não há mais nenhuma oportunidade de atribuir tantos neurônios à mesma tarefa - eles passam a ser usados em novas tarefas mais necessárias para a criança. As “configurações” dessa rede sobredimensionada colapsam, a criança se torna “normal”, o gênio desaparece.
Obviamente, se uma criança tem uma habilidade que é útil em si mesma e pode ser desenvolvida (por exemplo, música ou esportes), seu “gênio” pode ser mantido por um longo tempo e até levar essas habilidades a um nível profissional. Mas, na maioria dos casos, isso não funciona, e as habilidades e traços do passado não permanecerão antes dos 8-10 anos.
Conclusões
- você tem um filho brilhante? vai passar;)
- horizontes e “gênios” são coisas relacionadas e estão conectadas precisamente através do mecanismo de aprendizado
- esse "gênio" visível - provavelmente não um gênio, mas o efeito de muito treinamento cerebral em uma tarefa específica sem entendê-la - é apenas que todos os recursos foram dedicados a essa tarefa
- ao corrigir os estreitos interesses da criança, seu gênio desaparece
- se seu filho é "engenhoso" e um pouco mais reservado que os colegas, é necessário desenvolver essas mesmas habilidades com cuidado, desenvolvendo ativamente seus horizontes ao mesmo tempo e não se concentrar nessas habilidades "legais", mas geralmente inúteis