Chinesische Wissenschaftler haben dem neuronalen Netzwerk beigebracht, zu verstehen, was eine Person aus Scans der Gehirnaktivität sieht

So sieht das fMRI-Scan-Gerät aus

Gedanken lesen ist ein langjähriger Traum vieler Menschen. Dieser Traum spiegelt sich in einer Vielzahl von Science-Fiction-Werken wider, in Filmen und Märchen. Tatsächlich ist das Lesen von Gedanken eine schwierige Aufgabe, für deren Lösung moderne Technologien benötigt werden. Und nicht nur Hardware, dh Hardware, sondern auch Softwareplattformen, nämlich neuronale Netze.

Vor relativ kurzer Zeit hat eine Gruppe von Wissenschaftlern dem neuronalen Netzwerk beigebracht, durch Analyse von fMRI- Bildern (Functional Magnetic Resonance Imaging) zu bestimmen, was eine Person sieht. Dies ist ein sehr schwieriges Problem, aber es scheint, dass Wissenschaftler aus China es erfolgreich gelöst haben.

Es ist kompliziert, weil es notwendig ist, aus den fMRT-Bildern zu lernen, die viel Rauschen aufweisen, um festzustellen, welche Teile des Gehirns funktionieren, und um zu verstehen, was dahinter steckt. Die Bilder selbst sind bei Verwendung der entsprechenden Scanausrüstung dreidimensional. Und dieses dreidimensionale Bild der Aktivität bestimmter Teile des Gehirns muss in zweidimensionale Bilder übersetzt werden - jene, die eine Person vor oder während eines Scans gesehen hat.

Um fMRI-Bilder zu erhalten, ist es normalerweise notwendig zu berücksichtigen, dass die Aktivität eines Voxels (aktives Volumen) des Gehirns durch die Aktivität anderer Voxel verursacht wird. Infolgedessen muss ein Computer eine Reihe aktiver Voxel ignorieren, um ein relativ klares Bild anzuzeigen. All dies erschwert die Aufgabe, das zu rekonstruieren, was eine Person sieht. Im Allgemeinen wurde dieses Problem gelöst, Ärzte haben gelernt, "das Getreide von der Spreu zu trennen", ja, aber der oben beschriebene Prozess verringert die Qualität der Erkennung des Bildes, das von einem Freiwilligen gesehen wird, dessen Gehirn gescannt wird.

Die funktionelle Magnetresonanztomographie ist heute eine der am aktivsten entwickelten Arten der Bildgebung. Seit den frühen neunziger Jahren ist die funktionelle MRT in Bereichen wie der Visualisierung von Gehirnprozessen aufgrund ihrer relativ geringen Invasivität, mangelnden Strahlenexposition und relativ breiten Verfügbarkeit populär geworden. Die Methode selbst basiert auf der Tatsache, dass der zerebrale Blutfluss und die neuronale Aktivität miteinander verbunden sind. Wenn ein Bereich des Gehirns aktiv ist, steigt auch der Blutfluss in diesen Bereich.

Wissenschaftler aus China, die an diesem Projekt gearbeitet haben, haben beschlossen, neue Wege zu finden, um Daten aus fMRI-Bildern zu analysieren. Spezialisten des Pekinger Forschungszentrums begannen auch, neuronale Netze zu verwenden, die konsequent geschult wurden, um die Beziehung zwischen dem, was eine Person sieht, und der mit fMRT aufgezeichneten Aktivität ihres Gehirns zu bestimmen.

Zunächst wurden die Freiwilligen gebeten, sich ein einfaches Objekt anzusehen, bei dem ein fMRT-Scan des Gehirns durchgeführt wurde. Ein einfaches Objekt bezieht sich auf das Bild einer Zahl oder eines Buchstabens in der Abbildung. Als Ergebnis erhielten die Wissenschaftler einen Datensatz in Form eines Gehirnscans und des Originalbildes. Allmählich wurde die Aufgabe kompliziert, das neuronale Netzwerk wurde auf einer Vielzahl von Bildern trainiert. Insgesamt wurden etwa 1800 Originalbilder und Bilder der Gehirnaktivität in die Trainingsbasis aufgenommen. Die meiste Zeit haben Wissenschaftler damit verbracht, das neuronale Netz zu trainieren, und nicht für irgendetwas anderes.


Die Ergebnisse wurden unter Verwendung der neuen Methodik chinesischer Experten und verschiedener anderer Methoden gezeigt, die von anderen Wissenschaftlerteams zu unterschiedlichen Zeiten erstellt wurden

Ferner lernte das neuronale Netzwerk nach und nach, das ursprüngliche Bild wiederherzustellen, das ihr nach einem Scan des menschlichen Gehirns nicht gezeigt wurde. Um die Ergebnisse zu verbessern, wurde das neuronale Netzwerk trainiert, um zwischen Rauschen und nützlichen Daten in Bildern zu unterscheiden. Infolgedessen wurden computerwiederhergestellte Bilder, die eine Person sah, klarer und genauer. Außerdem gaben Wissenschaftler neuronalen Netzen einen Vergleich des Originalbildes, das eine Person sah, und des Bildes, das ein Computer reproduzierte.

Die Ergebnisse waren sehr interessant. Das neuronale Netzwerk hat gelernt, das Originalbild mit einem hohen Maß an Genauigkeit zu reproduzieren. In vielen Fällen waren diese Bilder schärfer als bei Verwendung anderer zuvor erstellter Techniken.

„Experimentelle Vergleiche von Bildern in großem Maßstab zeigen, dass wir Bilder, die eine Person mit fMRI-Bildern sieht, tatsächlich wiederherstellen können und dies genauer als zuvor“, sagt Projektmanager Changde Du.

Laut Experten können Sie mit dieser Technologie dem Moment der Erstellung neuronaler Schnittstellen für die Arbeit mit Maschinen ohne Zwischenschritte näher kommen. Vielleicht wird eine Person in nicht allzu ferner Zukunft in der Lage sein, ihr Nervensystem mit Computernetzwerken zu verbinden, Daten zu übertragen und visuelle Bilder wahrzunehmen. Dies wird morgen nicht möglich sein, aber vielleicht schneller als gedacht.

arXiv: 1704,07575