Des scientifiques chinois ont appris au réseau neuronal à comprendre ce qu'une personne voit à partir d'analyses de l'activité cérébrale

Voici à quoi ressemble le scanner IRMf

La lecture des pensées est un rêve de longue date pour de nombreuses personnes. Ce rêve se reflète dans un grand nombre d'œuvres de science-fiction, de films et de contes de fées. Mais en fait, la lecture des pensées est une tâche difficile, pour la solution de laquelle les technologies modernes sont nécessaires. Et non seulement du matériel, c'est-à-dire du matériel, mais aussi des plates-formes logicielles, à savoir les réseaux de neurones.

Relativement récemment, un groupe de scientifiques a appris au réseau neuronal à déterminer ce qu'une personne voit en analysant des images d' IRMf (imagerie par résonance magnétique fonctionnelle). C'est un problème très difficile, mais il semble que les scientifiques chinois ont réussi à le résoudre.

C'est compliqué car il est nécessaire d'apprendre des images IRMf, qui ont beaucoup de bruit, pour déterminer quelles parties du cerveau fonctionnent et comprendre ce qui se cache derrière. Les images elles-mêmes, lors de l'utilisation de l'équipement de numérisation approprié, sont tridimensionnelles. Et cette image en trois dimensions de l'activité de certaines parties du cerveau doit être traduite en images en deux dimensions - celles qu'une personne a vues avant ou pendant une numérisation.

Pour obtenir des images IRMf, il est généralement nécessaire de prendre en compte le fait que l'activité d'un voxel (volume actif) du cerveau est causée par l'activité d'autres voxels. Par conséquent, un ordinateur doit ignorer une série de voxels actifs pour afficher une image relativement claire. Tout cela complique la tâche de reconstruire ce que voit une personne. En général, ce problème a été résolu, les médecins ont appris à "séparer le grain de l'ivraie", oui, mais le processus décrit ci-dessus réduit la qualité de reconnaissance de l'image vue par un volontaire dont le cerveau est scanné.

Aujourd'hui, l'imagerie par résonance magnétique fonctionnelle est l'un des types de neuroimagerie qui se développent le plus activement. Depuis le début des années 1990, l'IRM fonctionnelle est devenue populaire dans des domaines tels que la visualisation des processus cérébraux en raison de son caractère invasif relativement faible, de son manque d'exposition aux rayonnements et de sa disponibilité relativement large. La méthode elle-même est basée sur le fait que le flux sanguin cérébral et l'activité neuronale sont interconnectés. Lorsqu'une zone du cerveau est active, le flux sanguin vers cette zone augmente également.

Les scientifiques chinois qui ont travaillé sur ce projet ont décidé de trouver de nouvelles façons d'analyser les données des images IRMf. Les spécialistes du Centre de recherche de Pékin ont également commencé à utiliser les réseaux de neurones, qui ont commencé à être régulièrement formés pour déterminer la relation entre ce qu'une personne voit et l'activité de son cerveau enregistrée avec l'IRMf.

Initialement, les volontaires ont été invités à regarder un objet simple, au cours duquel une IRMf cérébrale a été réalisée. Un objet simple fait référence à l'image d'un chiffre ou d'une lettre sur la figure. En conséquence, les scientifiques ont reçu un ensemble de données sous la forme d'une numérisation cérébrale et de l'image d'origine. Progressivement, la tâche s'est compliquée, le réseau de neurones a été formé sur une variété d'images. Au total, environ 1800 images originales et images de l'activité cérébrale ont été incluses dans la base d'entraînement. La plupart du temps, les scientifiques l'ont consacré à la formation du réseau neuronal et non à autre chose.


Les résultats présentés en utilisant la nouvelle méthodologie d'experts chinois et diverses autres méthodes créées par d'autres équipes de scientifiques à différents moments

De plus, le réseau neuronal a progressivement appris à restaurer l'image d'origine, qui ne lui a pas été montrée, selon une analyse du cerveau humain. Pour améliorer les résultats, le réseau neuronal a été formé pour distinguer le bruit des données utiles dans les images. En conséquence, les images restaurées par ordinateur qu'une personne a vues sont devenues plus claires et plus précises. De plus, les scientifiques ont donné aux réseaux de neurones une comparaison de l'image originale qu'une personne a vue et de l'image qu'un ordinateur a reproduite.

Les résultats ont été très intéressants. Le réseau neuronal a appris à reproduire l'image d'origine avec un haut degré de précision. Dans de nombreux cas, ces images étaient plus nettes que l’utilisation d’autres techniques créées précédemment.

«Les comparaisons expérimentales d'images à grande échelle nous montrent que nous pouvons en effet reconstruire des images visibles par l'homme à partir d'images IRMf, et le faire avec plus de précision qu'auparavant», explique le chef de projet Changde Du.

Selon les experts, cette technologie vous permet de vous rapprocher du moment de la création d'interfaces neuronales pour travailler avec des machines sans étapes intermédiaires. Peut-être que dans un avenir pas trop lointain, une personne pourra connecter son système nerveux à des réseaux informatiques, transmettre des données et percevoir des images visuelles. Ce ne sera pas possible demain, mais peut-être plus vite que prévu.

arXiv: 1704.07575