Experimente mit neuronalen JavaScript-Schnittstellen

Der Autor des Materials, dessen Übersetzung wir heute veröffentlichen, sagt, dass er in den letzten Jahren ein stetiges Interesse an Neurotechnologien festgestellt hat. In diesem Artikel möchte sie über ihre Experimente mit verschiedenen Hardware- und Softwaresystemen sprechen, mit denen Sie die Kommunikation zwischen Gehirn und Computer herstellen können.

Hintergrund

Ich habe keine Computergrundausbildung (ich habe Werbung und Marketing studiert). Ich beherrschte das Programmieren in Kursen in der Generalversammlung.

Als ich nach dem ersten Job suchte, begann ich mit JavaScript und mit verschiedenen Geräten zu experimentieren. Mein erstes Projekt war insbesondere die Organisation der Sphero- Roboterballsteuerung mittels Armbewegung mit Leap Motion .


Sphero Ball angetrieben von Leap Motion

Dies war meine erste Erfahrung mit JavaScript, um etwas außerhalb des Browsers zu verwalten. Es rief sofort an, was mich "süchtig" machte.

Seitdem habe ich viel Zeit mit interaktiven Projekten verbracht. Jedes Mal, wenn ich ein neues Projekt übernahm, versuchte ich, immer komplexere Aufgaben für mich zu finden. Also habe ich mich ständig weiterentwickelt und etwas Neues gelernt.

Nachdem ich mit verschiedenen Geräten experimentiert hatte, stieß ich auf der Suche nach einer weiteren interessanten Aufgabe auf NeuroSky- Gehirnaktivitätssensoren.

Die ersten Experimente mit einem Neuro-Headset

Als ich an Experimenten mit Gehirnaktivitätssensoren interessiert war, entschied ich mich für ein NeuroSky-Neuro-Headset. Sie war viel billiger als andere ähnliche Angebote.


NeuroSky Neuro Headset

Ich wusste nicht, ob meine Qualifikationen ausreichen würden, um zumindest etwas für ein solches Gerät zu schreiben (ich habe gerade die Programmierkurse abgeschlossen), also habe ich mich für etwas Billigeres entschieden, falls sich die Aufgabe herausstellen sollte Für mich ist es unerschwinglich schwierig, nicht zu viel Geld zu verschwenden. Glücklicherweise wurde bereits ein JavaScript-Framework für die Verwendung mit dem Headset erstellt, sodass das Experimentieren recht einfach war. Insbesondere habe ich meine Aufmerksamkeitsbewertung verwendet, um den Sphero-Ball und den Parrot AR.Drone-Quadrocopter zu steuern.

Während der Experimente wurde mir schnell klar, dass dieses Neuro-Headset nicht besonders genau ist. Sie hat nur drei Sensoren, so dass sie ziemlich grobe Daten über die Gehirnaktivität erhalten kann. Das Gerät bietet Zugriff auf Rohdaten von jedem Sensor, wodurch beispielsweise diese Daten visualisiert werden können. Die Tatsache, dass das Headset nur drei Elektroden hat, erlaubt es uns jedoch nicht, ernsthafte Schlussfolgerungen auf der Grundlage der von ihm erhaltenen Daten darüber zu ziehen, was im menschlichen Gehirn geschieht.

Als ich mich entschied, nach anderen Geräten zum Lesen von Indikatoren für die Gehirnaktivität zu suchen, fand ich das Emotiv Epoc Neuro-Headset . Ich hatte das Gefühl, dass dieses Ding im Vergleich zum NeuroSky-Headset ernstere Fähigkeiten hat, deshalb habe ich beschlossen, es zu kaufen, um meine Experimente fortzusetzen.

Bevor ich über die Funktionsweise von Emotiv Epoc spreche, schlage ich kurz vor, über die Funktionsweise des menschlichen Gehirns zu sprechen.

Wie das Gehirn funktioniert

Ich kann mich nicht als großen Kenner der Neurowissenschaften bezeichnen, daher wird meine Geschichte über das Gehirn ziemlich oberflächlich sein. Ich möchte nämlich über einige grundlegende Dinge sprechen, die Sie für diejenigen wissen müssen, die besser verstehen möchten, wie Neuro-Headsets funktionieren.
Das Gehirn besteht aus vielen Milliarden Neuronen - spezialisierten Zellen, die Informationen verarbeiten, speichern und übertragen. Verschiedene Teile des Gehirns, bestehend aus Neuronen, sind für verschiedene physiologische Funktionen verantwortlich.


Verschiedene Teile des Gehirns (Quelle - macmillan.org.uk)

Lassen Sie uns zum Beispiel darüber sprechen, wie das Gehirn Bewegungen steuert. Teile des Gehirns wie der primäre motorische Kortex und das Kleinhirn sind für Bewegung und Koordination verantwortlich. Die Signale der entsprechenden Neuronen beeinflussen die Muskeln, was zu Bewegungen führt.


Neuronenanatomie

Wie ich bereits sagte, ist hier eine äußerst einfache Beschreibung des Gehirns, aber für uns ist das Wichtigste, dass die Aktivität von Neuronen durch Elektroenzephalographie (EEG) verfolgt werden kann, indem die Indikatoren der elektrischen Aktivität des Gehirns von der Oberfläche der Kopfhaut abgelesen werden.

Andere Technologien können verwendet werden, um die Gehirnaktivität zu überwachen, aber ihre Verwendung beinhaltet eine Operation. Insbesondere handelt es sich um Elektrokortographie - bei diesem Ansatz werden Elektroden direkt auf die Großhirnrinde aufgebracht.

Nachdem wir festgestellt haben, dass das Gehirn während der Arbeit elektrische Signale erzeugt, die gelesen werden können, sprechen wir über das Emotiv Epoc-Headset.

Wie funktioniert ein Neuro-Headset?

Das Unternehmen Emotiv stellt verschiedene Arten von Neuro-Headsets her:

• Emotionale Einsicht
• Emotiv Epoc Flex Kit
• Emotiv epoc

Das Epoc-Headset verfügt über 14 Sensoren (sie werden auch als „Kanäle“ bezeichnet), die sich an verschiedenen Stellen am Kopf befinden.

Die folgende Abbildung links zeigt ein von der Internationalen Föderation für Elektroenzephalographie und klinische Neurophysiologie empfohlenes 10-20-Elektroden-Platzierungsmuster. Jede Elektrode entspricht einem bestimmten Bereich des Gehirns. Die Verwendung des 10-20-Systems ermöglicht es Ihnen, einen bestimmten Standard zu befolgen, wenn Sie verschiedene Geräte erstellen und wissenschaftliche Untersuchungen am Gehirn durchführen.
Die Abbildung rechts zeigt die Anordnung der Elektroden des Emotiv Epoc-Headsets. Um es mit dem 10-20-System zu vergleichen, ist das Highlight grün und orange.


Vergleich des internationalen 10-20-Elektrodenplatzierungssystems und des Emotiv Epoc-Headsets

14 Epoc-Kanäle - das ist nicht so viel, aber die Elektroden werden ziemlich gleichmäßig auf der Kopfhaut platziert. Dies lässt uns hoffen, dass Sie mit Hilfe von Epoc ziemlich genaue Informationen über die Gehirnaktivität erhalten können.

Das Headset liest Sensoren mit 2048 Abtastungen pro Sekunde (SPS). Gleichzeitig hat der Benutzer Zugriff auf eine Signalabtastfrequenz von 128 oder 256 SPS. Das Gerät kann Gehirnwellen mit einer Frequenz von 0,16 bis 43 Hz erfassen. Es gibt verschiedene Rhythmen des Gehirns, deren kurze Eigenschaften in der folgenden Abbildung dargestellt sind.


Arten von Gehirnwellen

Warum ist das wichtig? Tatsache ist, dass wir abhängig von der Anwendung, die auf der Basis eines Elektroenzephalographen erstellt werden muss, möglicherweise Gehirnwellen einer bestimmten Frequenz besondere Aufmerksamkeit schenken müssen. Wenn wir zum Beispiel ein Programm erstellen müssen, um Meditierenden zu helfen, werden wir wahrscheinlich nur an Theta-Wellen interessiert sein, deren Frequenz 4-8 Hz beträgt.

Nachdem Sie die Prinzipien der Elektroenzephalographie verstanden haben, sprechen wir über die Funktionen von Emotiv Epoc und verwandter Software.

Emotiv Epoc Features

Emotiv-Software ist keine Open Source-Software. Für den Zugriff auf das Rohsensorsignal ist eine spezielle Lizenz erforderlich. Unter normalen Bedingungen stehen bei der Arbeit mit Emotiv Epoc folgende Optionen zur Verfügung:

• Messung von Indikatoren, die die Position des Kopfes des Benutzers im Raum charakterisieren, unter Verwendung eines Beschleunigungsmessers und eines Gyroskops.
• Messung des Erregungsgrades, der Beteiligung, der Entspannung, des Interesses, des Stresses und der Konzentration.
• Erkennen von Gesichtsmuskelbewegungen, um eine Vorstellung vom Gesichtsausdruck des Benutzers zu bekommen. Zum Beispiel sprechen wir über Blinzeln und Lächeln.
• Erkennen von mentalen Befehlen (Bewegungen und Wendungen).

Um die Erkennung von mentalen Befehlen nutzen zu können, muss der Benutzer zuerst das System trainieren. Trainingsdaten werden als Datei gespeichert.

Wenn Sie Ihre eigenen Programme für Emotiv Epoc entwickeln möchten, können Sie die Cortex-API und das entsprechende SDK verwenden (die Unterstützung wurde nach der Veröffentlichung von Version 3.5 eingestellt). Wenn Sie JavaScript verwenden möchten, können Sie sich meine Entwicklung ansehen - die Epoc.js- Bibliothek.

Epoc.js Bibliothek

Epoc.js ist ein Framework zum Organisieren der Interaktion mit Emotiv Epoc- und Insight-Geräten mithilfe von JavaScript. Dieses Framework ermöglicht dem Entwickler den Zugriff auf die oben beschriebenen Funktionen von Emotiv-Systemen und ermöglicht die Interaktion mit dem Emulator .
Hier ist das einfachste Projekt, das auf Epoc.js basiert:

const epoc = require('epocjs')(); epoc.connectToLiveData('path/to/profile/file', function(event){  var action = event.blink === 1 ? 'blinking' : 'not blinking';  console.log(action); }); 

In diesem Codebeispiel schließen wir das epocjs Modul Node.js epocjs und instanziieren das entsprechende Objekt. Anschließend rufen wir die connectToLiveData Methode dieses Objekts auf und übergeben ihm den Pfad zur Datei mit den nach dem Training des Systems erhaltenen Benutzerdaten und einer Rückruffunktion. An diese Funktion wird ein Ereignisobjekt übergeben, das verschiedene Eigenschaften enthält, die verfolgt werden können. Wenn das Programm beispielsweise auf das Blinken reagieren soll, wird die Eigenschaft event.blink .

Jede ähnliche Eigenschaft kann entweder auf 0 oder 1 gesetzt werden. Eine Einheit im Wert der Eigenschaft bedeutet, dass das System das entsprechende Ereignis aufgezeichnet hat. Eine vollständige Liste dieser Eigenschaften finden Sie hier .

Die beschriebene Bibliothek wurde mit dem Emotiv C ++ SDK, Node.js und drei Modulen für Node.js erstellt: Node-gyp, Bindings und Nan. Während seiner Entwicklung wurde ein Ansatz verwendet, der nun als veraltet angesehen werden kann. Nun die eigentliche Nutzung der N-API .

Nachdem ich die verschiedenen Funktionen von Neuro-Headsets und Möglichkeiten zur programmgesteuerten Arbeit mit ihnen besprochen habe, werde ich über mehrere von mir erstellte Prototypen sprechen, die eine Neuro-Schnittstelle verwenden.

Prototypen

▍1. Tastatur

So sieht eine Tastatur aus, die Augenbewegungen steuert.


Prototyp einer Tastatur, die durch Augenbewegungen gesteuert wird

Dies war mein erstes Projekt mit Emotiv Epoc. Ich war interessiert zu wissen, ob es möglich ist, mit einem Neuro-Headset eine einfache Benutzeroberfläche zu erstellen, mit der eine Person mithilfe von Augenbewegungen mit einem Computer interagieren kann. Wenn Sie beispielsweise nach rechts oder links schauen, werden die entsprechenden Tasten auf der Tastatur hervorgehoben. Um auf die markierte Taste zu "klicken", müssen Sie blinken. Der entsprechende Buchstabe wird im Feld über der Tastatur angezeigt.

Dieses Projekt sieht sehr einfach aus, aber das Wichtigste ist, dass es funktioniert.

▍2. Webvr

In meinem zweiten Projekt habe ich mentale Befehle verwendet. Als ich es schuf, wollte ich verstehen, ob es möglich ist, ein Objekt im dreidimensionalen Raum zu steuern, indem ich nur an etwas denke.


Gedankengesteuertes Webinterface

Um eine einfache dreidimensionale Umgebung zu erstellen, habe ich die Three.js-Bibliothek verwendet, die Epoc.js-Bibliothek wurde verwendet, um mentale Befehle zu erkennen, und Web-Sockets wurden verwendet, um Daten vom Server an den Client zu senden.

▍3. IoT

Mit dem dritten Projekt wollte ich die Möglichkeiten untersuchen, reale Geräte mit mentalen Befehlen zu steuern. Ich habe mich schon seit einiger Zeit für die IoT-Entwicklung mit JavaScript interessiert, daher war ich daran interessiert zu erfahren, was passiert, wenn Sie den Parrot Quadrocopter und ein Neuro-Headset kombinieren.


Quadcopter

Alle oben beschriebenen Projekte, alle erstellten Prototypen sind ziemlich einfache Entwicklungen, die ich erstellt habe, um einige Ideen in der Praxis zu testen und die Möglichkeiten und Grenzen neuronaler Schnittstellen zu bewerten.

Einschränkungen der neuronalen Schnittstelle

Das Wort "Neurointerface" klingt erstaunlich, und wenn sich herausstellt, dass der Computer durch die Kraft des Denkens gesteuert werden kann, scheint es, dass es die Zukunft ist, aber tatsächlich haben Neurocomputertechnologien noch einige Einschränkungen.

▍Notwendig für das Training

Es ist ganz normal, dass Benutzer ein Systemtraining durchführen müssen, bei dem Gehirnwellen aufgezeichnet und mit bestimmten Teams verglichen werden. Für viele ist dieser Schritt jedoch ein Hindernis für die Einführung neuer Technologien. Es fällt mir schwer, mir vorzustellen, dass jemand Zeit damit verbringen wird, Neurocomputersysteme zu trainieren, es sei denn, jemand braucht wirklich ein solches System, und gleichzeitig wird die Genauigkeit, mit der er mentale Befehle erkennt, auf einem sehr hohen Niveau liegen.

▍ Verzögerungen

Als ich meinen Prototyp basierend auf der Wahrnehmung mentaler Befehle durch den Computer entwickelte, stellte ich fest, dass es zwischen dem Moment, in dem ich anfing zu denken, und dem Moment, in dem das Programm auf diesen Gedanken reagierte, eine gewisse Verzögerung gab.

Ich denke, der Punkt hier ist, dass der im Prototyp verwendete Algorithmus für maschinelles Lernen Daten vom Gerät in Echtzeit empfängt. Um den Gedanken zu erkennen, dessen Erkennung er zuvor studiert hatte, benötigt er Indikatoren, die über einen bestimmten Zeitraum gesammelt wurden.

Dies wirkt sich darauf aus, welche Programme auf der Basis der neuronalen Schnittstelle erstellt werden können. Zum Beispiel sieht ein Programm, das beim Meditieren hilft, ziemlich real aus, da Verzögerungen zwischen Änderungen des Gehirnzustands und der Reaktion des Programms die Ergebnisse eines solchen Programms nicht besonders beeinflussen. Wenn man jedoch so etwas wie einen von Gedanken kontrollierten Rollstuhl schaffen will, wird das Problem der Verzögerungen viel akuter und stellt eine solche Entwicklung in Frage.

▍ Nicht-invasive Technologie und Genauigkeit

EEG-Scanner eignen sich hervorragend für den täglichen Gebrauch in alltäglichen Situationen. Es reicht aus, das Headset aufzusetzen, indem Sie ein spezielles Gel auf die Sensoren auftragen, und schon sind Sie fertig. Die Tatsache, dass die vom Gehirn erzeugten Signale von der Kopfhaut und nicht etwa von der Oberfläche des Gehirns selbst gelesen werden, beeinträchtigt jedoch die Genauigkeit solcher Signale.

Wenn wir über die Häufigkeit der Indikatorerfassung sprechen, ist dies bei vorhandenen Geräten sehr gut. Gleiches gilt nicht für die räumlichen Eigenschaften der erhaltenen Daten. EEG-Geräte können nur Signale lesen, die von den Teilen des Gehirns stammen, die sich nahe an der Oberfläche des Kopfes befinden. Mit einem ähnlichen Ansatz ist es unmöglich herauszufinden, was in den tieferen Strukturen des Gehirns geschieht.

▍ Öffentliche Akzeptanz

Ein Neuro-Headset ist nicht das schönste und bekannteste Gerät. Ich denke, solange diese Headsets so aussehen, wie sie jetzt sind, ist es unwahrscheinlich, dass sie an öffentlichen Orten getragen werden. Während sich die Technologie entwickelt, ist es möglich, dass Geräte erstellt werden, die in Zubehör wie Hüten versteckt werden können. Aber auch hier kann ein Problem auftreten, das damit zusammenhängt, dass solche Geräte für einen längeren Gebrauch unpraktisch sind.

EEG-Sensoren sollten sich ziemlich nahe an der Kopfhaut befinden, um qualitative Indikatoren für die Gehirnaktivität zu erhalten. Und wenn ihr Druck unmittelbar nach dem Aufsetzen des Headsets kaum zu spüren ist, verursacht er im Laufe der Zeit Unbehagen. Wenn Sie außerdem Gel auf die Sensoren auftragen müssen, wird dies zu einer zusätzlichen Barriere für die weit verbreitete Verbreitung von Neuro-Headsets.

Wie Sie sehen können, deutet der aktuelle Stand der Dinge auf dem Gebiet der neuronalen Schnittstellen darauf hin, dass es unwahrscheinlich ist, dass sie sich verbreiten. Wenn wir jedoch über die Zukunft sprechen, können wir sagen, dass solche Geräte interessante Perspektiven haben.

Neuronale Schnittstellenfähigkeiten

Wenn Sie den aktuellen Stand der Technik berücksichtigen und darüber nachdenken, wie sie in Zukunft aussehen könnten, finden Sie verschiedene Optionen für ihre Anwendung.

▍Helfen Sie Menschen mit Behinderungen

Ich möchte, dass Neuro-Headsets Menschen mit Behinderungen helfen, ein volleres Leben zu führen und unabhängiger zu sein.

Genau das habe ich mir gedacht, als ich meinen ersten Prototyp erstellt habe - eine Tastatur, die durch Augenbewegungen gesteuert wird. Meine Entwicklung ist weit von der Ebene entfernt, auf der sie in der Praxis eingesetzt werden könnte, aber während ich an diesem Projekt arbeitete, war ich daran interessiert zu verstehen, ob ein völlig erschwingliches Consumer-Gerät wirklich jemandem helfen kann. Nicht jeder hat Zugang zu komplexen medizinischen Systemen, und ich war einfach erfreut darüber, dass das nicht so teure Gizmo, das im Online-Shop frei erhältlich ist, wichtige und notwendige Aufgaben lösen kann.

▍ Mentale Praktiken

Insbesondere mentale Praktiken - Meditation - dies ist der Anwendungsbereich von Neuro-Headsets, der bereits heute einige Aufmerksamkeit auf sich zieht (zum Beispiel hilft das Muse- Headset beim Meditieren). Es geht darum, jemandem zu helfen, der meditieren möchte, alles richtig zu machen.

▍Hilfe bei der Lösung von Gesundheitsproblemen

Wenn neuronale Headsets genauso in unser Leben eindringen würden wie Mobiltelefone, könnten wir möglicherweise Anwendungen erstellen, die auf gesundheitliche Probleme reagieren können. Zum Beispiel wäre es großartig, wenn es Anwendungen gäbe, die auf der Grundlage einer Analyse der Gehirnaktivität helfen würden, Schlaganfälle, Panikattacken und Epilepsie-Attacken zu bekämpfen.

▍ Steigerung der Arbeitsproduktivität

Ein Neuro-Headset kann beim Meditieren helfen, was bedeutet, dass Sie damit wirklich herausfinden können, zu welcher Tageszeit sich eine Person am besten konzentriert. Diese Informationen, die Sie durch regelmäßiges Tragen des Headsets erhalten, können Ihnen helfen, zu verstehen, wann es am besten ist, eine Aktivität auszuführen. Sie können sich sogar vorstellen, dass der Arbeitsplan nach den individuellen Merkmalen der Person organisiert wird, was ihre Produktivität erhöht.

TArt

Ich mag es, aus eigener Initiative außerhalb der Geschäftszeiten die Phänomene zu erforschen, die sich an der Schnittstelle von Kunst und Technologie befinden. Ich glaube, dass man die Arbeit in dieser Richtung in Bezug auf neuronale Schnittstellen nicht unterschätzen sollte, da sie, obwohl sie „frivol“ erscheinen mögen, dazu beitragen, die Technologien besser zu verstehen, die in „ernsteren“ Fällen ihrer Anwendung nützlich sein werden.

Kombination von elektrischen Aktivitätssensoren des Gehirns mit anderen Sensoren

Vor kurzem hatte ich die Idee, dass EEG-Sensoren nicht als etwas völlig Unabhängiges betrachtet werden sollten. Unser Gehirn nimmt die Welt durch die Sinne wahr. Er kann nicht ohne Augen sehen und ohne Ohren hören. Wenn wir also die Daten zur elektrischen Aktivität des Gehirns optimal nutzen möchten, müssen wir möglicherweise andere Vitalfunktionen verfolgen.

Das Hauptproblem dabei ist, dass all dies dazu führen kann, dass Menschen buchstäblich mit verschiedenen Sensoren aufgehängt werden.


Gibt es hier zu viele Sensoren? (Quelle der Illustration - cognionics.net)

Vielleicht trägt niemand ständig die in der vorherigen Abbildung dargestellten Sensoren.

Openbci

Vor einigen Wochen habe ich etwas Neues erworben - das OpenBCI-Paket . Mein nächster Schritt besteht darin, die von EEG-Sensoren erhaltenen Rohdaten zu untersuchen und auf diese Daten Methoden des maschinellen Lernens anzuwenden. OpenBCI ist ein Open-Source-Projekt, daher scheint mir ihre Entwicklung für diesen Zweck perfekt geeignet zu sein. Ich habe immer noch nicht viel mit ihrem Headset gearbeitet. Im Moment habe ich nur genug Zeit, um es an einen Computer anzuschließen und zu konfigurieren. So sieht alles aus.


Openbci

Zusammenfassung

Der Autor dieses Materials sagt, dass er weiterhin neuronale Schnittstellen untersucht. Wir hoffen, dass ihre Geschichte denjenigen hilft, die sich für dieses Thema interessieren, sich aber nicht trauen, praktische Maßnahmen zu ergreifen, und die ersten Schritte bei der Anwendung von Neuro-Headsets unternehmen. Wenn Sie an all dem interessiert sind, finden Sie hier eine weitere unserer Veröffentlichungen zu Neuro-Headsets und JavaScript, die Muse gewidmet sind.

Liebe Leser! Planen Sie mit Neuro-Headsets zu experimentieren?