Seit der Erfindung der Maus ist ein halbes Jahrhundert vergangen, und dies ist immer noch eine der Hauptmethoden, mit denen eine Person mit einem Computer interagiert. Ich habe eine Konferenz am HSE-Institut für kognitive Neurowissenschaften besucht, um mich über die neuesten Entwicklungen im BCI-Bereich zu informieren, der jenseits des Horizonts liegt und daher so interessant ist.
Ich habe den Konferenzbericht in einen Artikel für eine verwandte Geschichte überarbeitet. Ich vereinfache und lasse einige Momente aus und ergänze einige meiner Beobachtungen und Berichte von anderen Ereignissen. Ich hoffe, dass Sie nach dem Lesen ein gemeinsames Verständnis der Ansätze für BCI und des aktuellen Zustands in diesem Bereich haben. Für Originalinterpretationen ist es besser, auf die Originalartikel zu verweisen, zum Glück ist fast alles gemeinfrei.
Die Geschichte
Die Geschichte von BCI begann 1973 mit der Veröffentlichung von Toward Direct Brain-Computer Communication [1], in der Jacques Vidal Ideen für die Mensch-Maschine-Kommunikation vorstellte und ein Labor für die EEG-Signalanalyse für solche Zwecke beschrieb. Ein Jahrzehnt später konzentrierte sich Wolpaw auf die Verwendung von BCI, um gelähmten Menschen zu helfen, und beschrieb das Konzept von BCI [2]:
Die wichtigsten BCI-Implementierungen ermöglichten es Menschen mit Isolationssyndrom , Text einzugeben. Es war schwierig, das System zu verwenden, da der Benutzer eine lange Schulung durchlaufen musste [3]. Im Gegensatz dazu gab es "Rechtschreibprüfer", die auf der Erkennung des P300 basierten - eine Komponente, die auftritt, wenn eine Person eine Wahl trifft, was die Anforderungen an den Benutzer verringert [4]. .
In den 90er Jahren wurde das Thema immer bekannter, insbesondere mit dem Aufkommen maschineller Lerntechniken [5]. Mit der erhöhten Zuverlässigkeit von BCI sind die Menschen daran interessiert, ihre Anwendungen auf neue Bereiche auszudehnen.
Thorsten Zander schlug die folgende BCI-Klassifizierung vor [6]:
- Active BCI - Benutzer initiiert den Befehl bedingungslos
- Reaktives BCI - Der Benutzer leitet den Befehl als Reaktion auf die Systembelastung ein
- Passives BCI - Der Benutzer gibt keinen Befehl, aber das System liest und analysiert seinen Status
Unabhängig davon lohnt es sich, die Frage der Hirnstimulation zu betrachten. Obwohl dieses Thema nicht direkt mit BCI zusammenhängt, handelt es sich um eine verwandte Technologie, die die Kontrollmöglichkeiten von BCI erweitert.
BCI kann auch nach der Methode des Signalempfangs klassifiziert werden:
- Invasiv (implantierte Elektroden, EKG und andere)
- Nicht invasiv ( EEG , NIRS und andere)
EEG ist die häufigste Art, ein Signal zu empfangen. Sofern nicht anders angegeben, meine ich dies standardmäßig.
Aktiver BCI
Basketparadigm
Dies ist ein Symbol für die Möglichkeit der Kontrolle durch Aktivierung imaginärer Bewegungen. Tatsache ist, dass sich der motorische Kortex kompakt in der Mitte des Kopfes befindet, sodass die imaginären Bewegungen verschiedener Körperteile gut klassifiziert und zum Aufbau von BCI verwendet werden. Um mit einem solchen BCI arbeiten zu können, muss sich der Benutzer mental vorstellen, wie er Bewegungen in verschiedenen Körperteilen ausführt.
Um Experimente zu erleichtern, entwickeln Wissenschaftler ihre eigenen Frameworks, zum Beispiel BCILAB . Mit seiner Hilfe wurde ein Experiment durchgeführt, um die Fähigkeit des Skeptikers zu demonstrieren, mit imaginären Bewegungen zu kontrollieren. Das Ergebnis lag bei 80% - das Ergebnis ist unter Bedingungen, unter denen eine Person die üblichen Alternativen hat, mittelmäßig, aber besonders für einen unvorbereiteten Befragten lobenswert [7].
Der gleiche Ansatz wurde verwendet, um den Horizont für einen Flugzeugsimulator zu steuern. Die Ergebnisse sind gemischt, für 3 Befragte gelang es ihnen, ein Ergebnis von 94% zu erzielen, für 4 weitere 64% und weniger als 60% für drei weitere. Der Erfolg liegt in der Tatsache, dass die erste Dreifaltigkeit das Flugzeug genauso flog wie das Ruder. Die übrigen Piloten waren nicht ausreichend auf den inneren Zustand fokussiert und machten Muskelbewegungen, was einen negativen Beitrag zur Kontrolle leistete.
Rehabilitationssysteme
Die BCIs, die motorische Befehle erkennen, sind gut untersucht und werden bereits zur Rehabilitation von Schlaganfallpatienten eingesetzt: zur Wiederherstellung unterbrochener Verbindungen, die zur Kontrolle gelähmter Gliedmaßen erforderlich sind. Pavel Bobrov demonstrierte die Ergebnisse klinischer Studien eines Rehabilitationskomplexes zur Wiederherstellung der motorischen Funktionen der Hände, die die Wirksamkeit der Anwendung bewiesen. Darüber hinaus gibt es einen signifikanten Unterschied bei Patienten, die einen Monat später und 6 Monate nach einem Schlaganfall mit der Rehabilitation begonnen haben. Je früher die Rehabilitation beginnt, desto besser ist die Wirkung. [11]
Der Leiter von g.tec Gunter Edlinger sprach über die Arbeit spezieller Fitnessstudios. Ein interessanter Punkt ist, dass dem Rehabilitationsprozess eine elektrische Stimulation der Extremitäten hinzugefügt wurde. Wenn oben eine elektromechanische Installation verwendet wurde, gibt es eine elektrische Stimulation, die die Kosten des Komplexes senkt.
Wenn Sie dem Prozess Spiel- und Wettbewerbselemente hinzufügen, ist die Beteiligung höher, was bedeutet, dass der Patient die Rehabilitation besser durchläuft. Im HSE Bioelectric Interface Center wurden unter der Leitung von Alexei Osadchy Prototypen entwickelt, um den Rehabilitationsprozess zu verbessern. Das Video zeigt ein Prototypsystem für zwei Personen, bei dem sie das Schiff steuern, imaginäre Motorbefehle ausführen und versuchen, das Schiff in ihre Richtung zu neigen:
Einzelspieler-Spiel:
Oder der Algorithmus zum Erkennen der Handschrift anhand der Muskelaktivität mithilfe einer kompakten Anordnung von Elektroden ermöglicht es Ihnen, das Geschriebene zu rekonstruieren: [12]
Der Höhepunkt ihrer Arbeit ist die Arbeit an BCI im ExoAtlet- Projekt, die es Menschen mit Behinderungen ermöglicht, sich unabhängig zu bewegen oder sie für die Rehabilitation zu verwenden.
Invasive BCIs sind ein komplexeres Thema, und es werden derzeit Experimente an Tieren oder Menschen durchgeführt, bei denen aus medizinischen Gründen Elektroden installiert sind. Es wurde eine Reihe von Studien hervorgehoben, die zeigten, dass es möglich ist, nicht nur einzelne Komponenten (dh alle gleichen fiktiven Bewegungen) zu bestimmen, sondern auch Bewegung, Aufmerksamkeit und Blickrichtung untereinander zu teilen. Eine Aufzeichnung eines ähnlichen Berichts von der Konferenz in Samara ist verfügbar.
Reaktiver BCI
Ein klassisches Beispiel für einen reaktiven BCI ist der "Rechtschreibfehler", der auf dem P300-Effekt basiert. Dies ist die "Welle", die als Reaktion auf die Auswahl des angezeigten Stimulus auftritt. Im "Rechtschreibfehler" werden solche Zeichen des Alphabets oder Befehls auf bestimmte Weise codiert. Der Benutzer muss mental mit den Reizen interagieren, die das System anzeigt - zählen Sie die Anzahl der Blitze des ausgewählten Zeichens.
Es ist unmöglich, das Neurochat- Projekt nicht zu erwähnen, das es Menschen mit Behinderungen ermöglicht, zu kommunizieren:
Passives BCI
Die Grundidee des passiven BCI ist eine Beurteilung des Zustands einer Person, beispielsweise eine Beurteilung der kognitiven Belastung (Arbeitsbelastung). Sie kann in Trainingssystemen angewendet werden. Eine Studie wurde durchgeführt, um dieses Problem zu lösen.
Der Klassifikator wurde auf folgende Aufgaben geschult:
- Bei einer hohen Belastung subtrahierte der Befragte 1-2 Stellen von 3-4 Stellen, ausgenommen einfache Optionen mit Dutzenden.
- Für eine leichte Belastung baten sie den Befragten, sich auf eine angenehme Erinnerung zu konzentrieren.
Die Genauigkeit des Algorithmus betrug 70%. Der Klassifikator wurde an anderen Aufgaben (Multiplikation, Scramble-Spiel) getestet und erhielt eine ähnliche Genauigkeit, wodurch die Tatsache bestätigt wurde, dass der Klassifikator unabhängig von der Person und den Aufgaben gemacht werden kann. [13]
Diese Idee kann angewendet werden, um den Chirurgen während der Operation zu kontrollieren [14]. Die Aufgabe, die Belastung des Chirurgen während der Ausführung von Manipulationen unterschiedlicher Komplexität auf dem Simulator zu bestimmen, wurde gelöst. Das System hat gelernt zu bestimmen, wie der Chirurg die Operation mit hoher Genauigkeit ausführt.
Eine andere Möglichkeit besteht darin, den Grad der Entspannung zu messen. Basierend auf dem Zustand der interaktiven Installation durch den Besucher schuf das Museum of Silence ein lebendiges Bild, das seinen inneren Zustand widerspiegelte. [15]
Passive BCIs können auch für Steuerungsaufgaben verwendet werden. Dies ist ein ziemlich origineller Ansatz, um einer Person nicht die direkte Kontrolle über den Cursor zu geben, sondern nur das Recht zu beurteilen, ob sich der Cursor auf dem richtigen Weg zum Ziel bewegt. Das Experiment wurde an kleinen 4 × 4 - und 6 × 6-Punktmatrizen durchgeführt. Zuerst wurde das System auf die willkürliche Bewegung des Punktes trainiert, und die Aufgabe der Person bestand darin, festzustellen, ob sich der Punkt in die richtige Richtung bewegt. Dann haben wir ihn im Live-Modus getestet und festgestellt, dass das Ergebnis nahe am optimalen Pfad liegt. [16] Sie können die Demonstration sehen .
Midas Touch-Problem und E-BCI-Schnittstellen
Das Steuern des Cursors mit Hilfe des Blicks ist eine einfache Aufgabe, die mit Hilfe des Eye-Trackers (auch bekannt als Videookulographie) gelöst werden kann. Aber es gibt Probleme in diesen Schnittstellen, zum Beispiel unwillkürliche Augenbewegungen und das Problem der Wahl. Übrigens wird es sehr symbolisch das Berührungsproblem von Midas, dem phrygischen König, genannt, dessen Berührung den Gegenstand in Gold verwandelte. Die Verwendung von passivem BCI löst diese Probleme.
Der Ansatz, bei dem der aktive BCI verwendet wurde, um Entscheidungen bei der Steuerung mit dem Eye-Tracker zu treffen, ist seit langem bekannt, unterscheidet sich jedoch nicht in der Geschwindigkeit. Eine Studie, in der die Befragten verschiedene Auswahlmethoden anhand der NASA-TLX- Skala bewerteten, zeigte, dass die BCI-Option nicht zeitlich schneller ist als die Long-Fix-Option für die Auswahl eines Objekts, BCI jedoch weniger frustriert [10].
Weitere Arbeiten des Torsten Zander-Teams zeigten, dass mit einer Genauigkeit von 90% zwischen bewusster Fixierung auf dem Objekt und unbewusstem unterschieden werden kann [17]. Für das Experiment wurde das Oddball-Paradigma verwendet - der Befragte sah sich eine Reihe von Figuren an, die die Figur enthielten, die er in Kombination mit ablenkenden Figuren auswählen wollte.
Sergey Shishkin sprach über die Verbesserung des obigen Ansatzes [8]. Ein wesentliches Plus ihrer Lösungen ist eine Reduzierung der Selektionsrate auf 300 ms - 500 ms, was eine sehr schnelle Klassifizierung erfordert, für die EEGNet verwendet wurde [9].
Aufmerksamkeitsmechanismen - Dies ist ein separates Thema, das den Umfang von BCI erweitern und Systeme für die Rehabilitation von Patienten mit ADHS schaffen kann. Mehdi Ordikhani spricht in seinem Tedtalk über die Grundidee
Stimulation
Die Frage nach der Ethik von Experimenten ist für die Neurowissenschaften sehr akut, und Tiere tragen die Hauptlast der Forschung über die Grenzen hinaus. Was ist, wenn wir an einem bestimmten Bereich tief im Gehirn arbeiten wollen? Dies ist jetzt nur mit implantierten Elektroden möglich. In der Natur gibt es beispielsweise Kreaturen, die für das Magnetfeld empfindlich sind. Das Galit Pelled- Team der Universität von Michigan isolierte dieses Gen aus Fischen, stellte sie Ratten vor und lernte, ihr Verhalten durch die Wirkung des Magnetfelds zu kontrollieren [18]. So ist es möglich, gezielte Wirkungen auf die gewünschten Bereiche zu erzielen, beispielsweise epileptische Anfälle zu stoppen.
Und eine ganze Gruppe von Studien über invasive Schnittstellen von Mikhail Lebedev an Rhesusaffen: Es wurde eine Gehirn-Computer-Gehirn-Schnittstelle erstellt, die es durch die Steuerung virtueller Gliedmaßen ermöglichte, taktiles Feedback zu erhalten. Sie können einen Auszug aus der Vorlesung " Schnittstelle zwischen Gehirn und Computer " genauer sehen.
Das Königreich des tiefen Lernens
Neben der Tatsache, dass die Algorithmen des "Deep Learning" es ermöglichen, die bereits hohe Genauigkeit des "maschinellen Lernens" zu erreichen, kann festgestellt werden, dass Menschen an dem "inversen Problem" arbeiten. Basierend auf den schnellen EEG- und MEG-Daten können Sie versuchen, die tatsächliche Aktivierung von Neuronen im Gehirn wiederherzustellen, die jetzt beispielsweise mit der fMRI-Methode gezeigt wird, jedoch mit einer sehr geringen zeitlichen Auflösung. Man kann sich nur über Optimismus freuen und an den bevorstehenden Erfolg dieser Arbeit glauben.
Ein weiteres Problem von BCI basierend auf EEG oder MEG besteht darin, dass die Ergebnisse der Aktivität in verschiedenen Bereichen des Gehirns für dieselben Komponenten zwischen den Benutzern unterschiedlich sind. Sie müssen das neuronale Netzwerk für jeden Benutzer und jede Aufgabe lernen, was die Arbeit mit dem System erschwert und es teurer macht. Es kann jedoch Änderungen beim „Lerntransfer“ geben, wenn das neuronale Netzwerk Daten von verschiedenen Benutzern / in verschiedenen Aufgaben verwendet und online umschult. Infolgedessen kann der Kalibrierungsschritt übersprungen werden. [19]
Hardware
Endlich sind wir bei den Drüsen!
Hier ist es wichtig, über 2 Punkte zu sagen, einerseits ist die Ausrüstung für BCI ziemlich umständlich, die Person darin macht auf sich aufmerksam, in einer der Aufführungen wurden Miniaturelektroden demonstriert, so dass die Person in nichts auffällt. [20]
Leider gibt es keine Möglichkeit, ein größeres Foto einzufügen, aber Sie können das Google-Foto durchsehen .
Trotz aller Miniaturgrößen ist es nicht bequem, diese Elektroden zu installieren. Sie müssen jede einzelne Elektrode kleben. Verwenden Sie zum Beschleunigen verschiedene Geräte:
- EEG-Kappen, in denen Löcher für Elektroden markiert sind
- Reifen und Helme in verschiedenen Designs, bei denen die Position der Elektroden grundsätzlich festgelegt ist, sticht nur OpenBCI mit Ultracortex hervor, bei dem die Elektroden je nach Aufgabe neu angeordnet werden können.
Eine relativ neue Idee sind Arrays von CeeGrid- Elektroden für die Montage im Ohrbereich, die sowohl unsichtbar als auch einfach zu installieren sind. Ein deutliches Minus ist jedoch die begrenzte Verwendung, obwohl es Arbeiten gibt, die zeigen, dass es realistisch ist, diese Option für ERP BCI zu verwenden [21]. .
Und das zweite Problem ist die Notwendigkeit eines leitfähigen Gels für ein qualitativ hochwertiges Signal. Hier wird gezeigt, dass die Unterschiede akzeptabel sind und die Verwendung trockener Elektroden gerechtfertigt ist [22], aber alles hängt von der Haarmenge ab. Zum Beispiel hat Florida Research Instruments kürzlich damit begonnen, eine längliche Trockenelektrode (links unten im Bild unten) zu verkaufen, die sich von der Originalversion durch die größere Rundheit der Stifte unterscheidet und, wie Sie wissen, weniger negative Gefühle für die Benutzer hervorruft. Noch weiter fortgeschrittene Optionen sind, wenn die Stifte an den Elektroden selbst dank des Materials oder mit Hilfe von Federn mit einer Dämpfung ausgestattet sind (im Bild unten befinden sie sich in der Mitte und rechts).
Fazit
Die Ausbreitung von BCI auf die Massen wird nicht schnell und einfach sein, sehr begrenzte Möglichkeiten zum Verständnis der Gehirnbedingungen sind jetzt offen, aber Fortschritte in diesem Bereich können nicht ignoriert werden. Die Hauptsache ist, dass es einen korrekten Trend gibt, die Kosten für Geräte / die Bereitstellung von Geräten durch Abonnement zu senken und Projekte zu entwickeln, die sich an Enthusiasten richten.
Persönlich freue ich mich sehr, dass unter den beworbenen Projekten Emotive, MUSE, OpenBCI und Russland allmählich Projekte auftauchen. Auf dem kürzlich in St. Petersburg abgehaltenen Neuroforum wurde Folgendes demonstriert:
Die Erweiterung der verfügbaren Geräte macht den Schnittstellenbereich für Studien und Experimente attraktiv. Die Einstiegsschwelle ist niedrig, Sie können immer eine angemessene Aufgabe finden und Sie können Algorithmen vollständig verbessern und neue Kenntnisse und Fähigkeiten erwerben. Was ich dir wünsche
Also habe ich den BCI-Bereich gesehen, mal sehen, was nächstes Jahr interessant sein wird.
UPD-korrigierte Beschreibung von EBCI-Schnittstellen, versehentlich wurden sie aktivem BCI zugewiesen, was nicht stimmt