Les ordinateurs ont surpassé les gens dans le test verbal de QI

Il y a plus de cent ans, le psychologue allemand William Stern (William Stern) a proposé un test d'évaluation de l'intelligence humaine, appelé test de QI. Depuis lors, le test de QI est devenu assez répandu comme méthodologie standard pour évaluer l'intelligence des enfants à l'entrée à l'école, ainsi que pour évaluer les candidats adultes.

Les tests de QI contiennent généralement trois types de questions: 1) des questions sur la logique, où vous devez reconnaître un motif dans une séquence d'images; 2) des questions mathématiques, où vous devez définir un modèle dans une séquence de nombres; 3) tâches verbales basées sur des analogies et des classifications en tant que synonymes et antonymes.

Des chercheurs de Microsoft Research à Pékin, ainsi que des collègues de l'Université des sciences et technologies de Chine, ont développé une technologie d'IA qui peut résoudre le troisième type de problèmes énumérés ci-dessus ( article scientifique ).

Les ordinateurs ne pourraient jamais être bien versés et résoudre des tâches formulées sous forme verbale. Au moins, ils l'ont fait bien pire que les humains. Le développement de Microsoft Research change les choses. Leur programme, basé sur le système d'apprentissage en profondeur, a pour la première fois dépassé le résultat moyen montré par les personnes lors de la résolution des tâches verbales du test de QI.

Au cours des années précédentes, les scientifiques ont utilisé la technique de l'exploration de données pour analyser de grands volumes de textes afin de trouver certaines connexions entre les mots. En particulier, cette technique vous permet de compiler un dictionnaire avec des indicateurs statistiques de la fréquence à laquelle certains mots sont localisés à proximité. Cela vous permet de déterminer la relation des mots entre eux.

En conséquence, chaque mot dans un tel système est perçu comme un vecteur dans un espace de paramètres multidimensionnel. Un tel système de vecteurs peut être traité par des méthodes mathématiques: comparer, additionner, soustraire les uns des autres, comme des vecteurs ordinaires. Par exemple, une équation similaire devient possible: «roi - homme + femme = reine».

Cette approche s'est avérée efficace. Par exemple, Google utilise l'exploration de données dans un système de traduction automatique de texte, comparant des vecteurs de mots dans différentes langues.

Mais dans le cas des tests de QI verbaux, la tâche est compliquée, car ici un seul mot peut avoir plusieurs sens. Les compilateurs de tests le font spécifiquement pour compliquer la tâche.

Un groupe de chercheurs de la division Microsoft Research a trouvé une solution à ce problème en utilisant la même exploration de données: leur programme détermine quels mots chaque mot apparaît le plus souvent dans un tableau de textes, puis détermine la signification possible de ce mot, en fonction des informations reçues. Cela se fait en calculant des vecteurs à partir des phrases résultantes. Pour le programme, une matrice de la fréquence d'occurrence des mots est d'abord compilée, puis, sur la base du corpus de textes (articles Wikipedia), pour chaque mot, le vecteur d'occurrence des autres mots est indiqué.



Les scientifiques disent que le programme donne de meilleurs résultats que la plupart des gens. Des personnes ont été interrogées sur le site Web de Mechanical Turk.



Selon le tableau, son résultat se situe approximativement au milieu entre les résultats, qui montrent des résultats moyens pour les célibataires et les maîtres.

Source: https://habr.com/ru/post/fr380839/