Experimentos de interfaz neuronal de JavaScript

El autor del material, cuya traducción publicamos hoy, dice que en los últimos años ha notado un interés constante en las neurotecnologías. En este artículo, quiere hablar sobre sus experimentos con varios sistemas de hardware y software que le permiten establecer comunicación entre el cerebro y la computadora.

Antecedentes

No tengo educación básica en informática (estudié publicidad y marketing). Dominé la programación en cursos en la Asamblea General.

Cuando estaba buscando el primer trabajo, comencé a experimentar con JavaScript y con diferentes dispositivos. En particular, mi primer proyecto fue la organización del control de la pelota robótica Sphero mediante el movimiento del brazo utilizando Leap Motion .


Sphero Ball impulsado por Leap Motion

Esta fue mi primera experiencia usando JavaScript para administrar cualquier cosa fuera del navegador. Inmediatamente llamó lo que me "enganchó".

Desde entonces, he pasado mucho tiempo trabajando en proyectos interactivos. Cada vez, al asumir un nuevo proyecto, trataba de encontrarme tareas cada vez más complejas. Así que estaba constantemente evolucionando y aprendiendo algo nuevo.

Después de experimentar con varios dispositivos, en busca de otra tarea interesante, me encontré con sensores de actividad cerebral NeuroSky .

Los primeros experimentos con un auricular neuro

Cuando estaba interesado en experimentos con sensores de actividad cerebral, decidí comprar un auricular neuro NeuroSky. Ella era mucho más barata que otras ofertas similares.


Auriculares NeuroSky Neuro

No sabía si mis calificaciones serían suficientes para escribir al menos algo para tal dispositivo (acabo de terminar los cursos de programación en ese momento), así que decidí elegir algo más barato para que, en caso de que la tarea resultara ser Para mí es prohibitivamente difícil no desperdiciar demasiado dinero. Afortunadamente, ya se ha creado un marco de JavaScript para trabajar con los auriculares, por lo que fue bastante fácil comenzar a experimentar. En particular, utilicé mi evaluación del nivel de atención para controlar la bola Sphero y el quadrocopter Parrot AR.Drone.

Durante los experimentos, rápidamente me di cuenta de que este neuroauricular no es particularmente preciso. Ella tiene solo tres sensores, por lo que puede obtener datos bastante aproximados sobre la actividad cerebral. El dispositivo proporciona acceso a datos sin procesar de cada sensor, lo que permite, por ejemplo, visualizar estos datos. Pero el hecho de que el auricular tenga solo tres electrodos no nos permite sacar conclusiones serias basadas en los datos recibidos sobre lo que está sucediendo en el cerebro humano.

Cuando decidí buscar otros dispositivos para leer los indicadores de actividad cerebral, encontré los auriculares neuro de Emotiv Epoc . Tenía la sensación de que esta cosa tiene capacidades más serias en comparación con el auricular NeuroSky, así que decidí comprarlo para continuar mis experimentos.

Antes de hablar sobre cómo funciona Emotiv Epoc, sugiero en pocas palabras hablar sobre cómo funciona el cerebro humano.

Como funciona el cerebro

No puedo llamarme un gran conocedor de la neurociencia, por lo que mi historia sobre el cerebro será bastante superficial. Es decir, quiero hablar sobre algunas cosas básicas que debe saber para aquellos que desean comprender mejor cómo funcionan los auriculares neuro.
El cerebro consta de miles de millones de neuronas, células especializadas que procesan, almacenan y transmiten información. Las diferentes partes del cerebro, que consisten en neuronas, son responsables de diversas funciones fisiológicas.


Diferentes partes del cerebro (fuente - macmillan.org.uk)

Por ejemplo, hablemos sobre cómo el cerebro controla los movimientos. Partes del cerebro, como la corteza motora primaria y el cerebelo, son responsables del movimiento y la coordinación. Las señales de las neuronas correspondientes afectan los músculos, lo que conduce a movimientos.


Anatomía de la neurona

Como dije, aquí hay una descripción extremadamente simple del cerebro, pero para nosotros lo más importante es que la actividad de las neuronas se puede rastrear mediante electroencefalografía (EEG) leyendo los indicadores de la actividad eléctrica del cerebro desde la superficie del cuero cabelludo.

Se pueden usar otras tecnologías para controlar la actividad cerebral, pero su uso implica cirugía. En particular, estamos hablando de electrocortografía: con este enfoque, los electrodos se aplican directamente a la corteza cerebral.

Ahora que hemos descubierto que el cerebro, durante el trabajo, genera señales eléctricas que se pueden leer, hablemos de los auriculares Emotiv Epoc.

¿Cómo funciona un auricular neuro?

La compañía Emotiv produce varios tipos de auriculares neuro:

• Percepción emocional
• Emotiv Epoc Flex Kit
• Emotiv epoc

El auricular Epoc tiene 14 sensores (también llamados "canales") ubicados en diferentes lugares de la cabeza.

La siguiente figura, a la izquierda, muestra un patrón de colocación de electrodos 10-20 recomendado por la Federación Internacional de Electroencefalografía y Neurofisiología Clínica. Cada electrodo corresponde a un área específica del cerebro. El uso del sistema 10-20 le permite seguir un cierto estándar al crear varios dispositivos y al realizar investigaciones científicas en el cerebro.
La figura de la derecha muestra el diseño de los electrodos del auricular Emotiv Epoc. Para compararlo con el sistema 10-20, el resaltado es verde y naranja.


Comparación del sistema internacional de colocación de electrodos 10-20 y los auriculares Emotiv Epoc

14 canales Epoc: esto no es tanto, pero los electrodos se colocan en el cuero cabelludo de manera bastante uniforme. Esto nos permite esperar que con la ayuda de Epoc pueda obtener información bastante precisa sobre la actividad cerebral.

El auricular lee sensores a 2048 muestras por segundo (SPS). Al mismo tiempo, el usuario tiene acceso a una frecuencia de muestreo de señal de 128 o 256 SPS. El dispositivo puede capturar ondas cerebrales con una frecuencia de 0,16 a 43 Hz. Hay varios ritmos del cerebro, sus breves características se muestran en la siguiente figura.


Tipos de ondas cerebrales

¿Por qué es esto importante? El hecho es que, dependiendo de la aplicación que deba construirse sobre la base de un electroencefalograma, es posible que debamos prestar especial atención a las ondas cerebrales de cierta frecuencia. Por ejemplo, si necesitamos crear un programa para ayudar a los meditadores, entonces, probablemente, solo nos interesarán las ondas theta, cuya frecuencia es de 4-8 Hz.

Después de comprender los principios subyacentes a la electroencefalografía, hablemos sobre las capacidades de Emotiv Epoc y el software relacionado.

Características de Emotiv Epoc

El software Emotiv no es de código abierto; se requiere una licencia especial para acceder a la señal sin procesar del sensor. En condiciones normales, cuando se trabaja con Emotiv Epoc, están disponibles las siguientes opciones:

• Medición de indicadores que caracterizan la posición de la cabeza del usuario en el espacio utilizando un acelerómetro y un giroscopio.
• Medición del nivel de excitación, implicación, relajación, interés, estrés, concentración.
• Reconocimiento de movimientos musculares faciales, dando una idea de la expresión facial del usuario. Por ejemplo, estamos hablando de parpadear y sonreír.
• Reconocimiento de comandos mentales (movimientos y giros).

Para utilizar el reconocimiento de comandos mentales, el usuario primero debe entrenar el sistema . Los datos de entrenamiento se guardan como un archivo.

Si desea desarrollar sus propios programas para Emotiv Epoc, puede usar la API Cortex y el SDK correspondiente (se suspendió después del lanzamiento de la versión 3.5). Si desea utilizar JavaScript, puede echar un vistazo a mi desarrollo: la biblioteca Epoc.js.

Biblioteca Epoc.js

Epoc.js es un marco diseñado para organizar la interacción con los dispositivos Emotiv Epoc e Insight utilizando JavaScript. Este marco brinda al desarrollador acceso a las capacidades descritas anteriormente de los sistemas Emotiv y permite interactuar con el emulador .
Aquí está el proyecto más simple basado en Epoc.js:

const epoc = require('epocjs')(); epoc.connectToLiveData('path/to/profile/file', function(event){  var action = event.blink === 1 ? 'blinking' : 'not blinking';  console.log(action); }); 

En este ejemplo de código, conectamos el módulo Node.js epocjs e instanciamos el objeto correspondiente. Luego llamamos al método connectToLiveData de este objeto, pasándole la ruta al archivo con los datos del usuario obtenidos después de entrenar el sistema y una función de devolución de llamada. Se pasa un objeto de evento a esta función que contiene varias propiedades que se pueden rastrear. Por ejemplo, si queremos que el programa responda al parpadeo, se event.blink propiedad event.blink .

Cada propiedad similar se puede establecer en 0 o 1. Una unidad en el valor de la propiedad significa que el sistema registró el evento correspondiente. Puede encontrar una lista completa de estas propiedades aquí .

La biblioteca descrita se creó utilizando el SDK de Emotiv C ++, Node.js y tres módulos para Node.js: Node-gyp, Bindings y Nan. Durante su desarrollo, se utilizó un enfoque que ahora puede considerarse obsoleto. Ahora el uso real de la N-API .

Habiendo discutido las diversas capacidades de los neuroauriculares y las formas de trabajar programáticamente con ellos, hablaré sobre varios prototipos que creé que usan una neurointerfaz.

Prototipos

▍1. Teclado

Así es como se ve un teclado que controla los movimientos oculares.


Teclado prototipo controlado por movimientos oculares

Este fue mi primer proyecto con Emotiv Epoc. Me interesaba saber si es posible crear una interfaz simple usando un auricular neuro que permita a una persona interactuar con una computadora usando movimientos oculares. Por ejemplo, cuando mira a la derecha o izquierda, las teclas correspondientes se resaltan en el teclado. Para "hacer clic" en la tecla resaltada, debe parpadear. La letra correspondiente aparece en el campo ubicado encima del teclado.

Este proyecto parece muy simple, pero lo más importante es que funciona.

▍2. Webvr

En mi segundo proyecto, usé comandos mentales. Creándolo, quería entender si es posible controlar un objeto ubicado en un espacio tridimensional, solo pensando en algo.


Interfaz web impulsada por el pensamiento

Aquí, para crear un entorno tridimensional simple, utilicé la biblioteca Three.js, la biblioteca Epoc.js se utilizó para reconocer comandos mentales y se utilizaron sockets web para enviar datos desde el servidor al cliente.

▍3. IoT

Al comenzar el tercer proyecto, quería explorar las posibilidades de controlar dispositivos reales utilizando comandos mentales. He estado interesado en el desarrollo de IoT usando JavaScript desde hace bastante tiempo, así que estaba interesado en aprender qué sucede si combina el quadrocopter Parrot y un auricular neuro.


Quadcopter

Todos los proyectos descritos anteriormente, todos los prototipos creados, son desarrollos bastante simples que creé para probar algunas ideas en la práctica y evaluar las posibilidades y limitaciones de las interfaces neuronales.

Limitaciones de la interfaz neuronal

La palabra "neurointerfaz" suena increíble, y cuando resulta que la computadora puede ser controlada por el poder del pensamiento, puede parecer que es el futuro, pero, de hecho, las tecnologías de neurocomputadoras todavía tienen bastantes limitaciones.

▍Necesidad de entrenamiento

Es bastante normal que los usuarios tengan que realizar un entrenamiento del sistema, durante el cual se registran las ondas cerebrales y se comparan con ciertos equipos, pero para muchos, este paso es un obstáculo para adoptar una nueva tecnología. Es difícil para mí imaginar que alguien pasará tiempo entrenando sistemas de neurocomputadoras, a menos que alguien realmente necesite dicho sistema y, al mismo tiempo, la precisión con la que reconoce los comandos mentales estará en un nivel muy alto.

▍ Retrasos

Cuando desarrollé mi prototipo basado en la percepción de la computadora de los comandos mentales, descubrí que había un retraso entre el momento en que comencé a pensar y el momento en que el programa reaccionó a este pensamiento.

Creo que el punto aquí es que el algoritmo de aprendizaje automático utilizado en el prototipo recibe datos del dispositivo en tiempo real. Para reconocer el pensamiento, cuyo reconocimiento había estudiado anteriormente, necesita indicadores recopilados durante un cierto período de tiempo.

Esto afecta qué programas se pueden construir sobre la base de la interfaz neuronal. Por ejemplo, un programa que ayuda a meditar parece bastante real, ya que los retrasos entre los cambios en el estado del cerebro y la reacción del programa no afectarán particularmente los resultados de dicho programa. Sin embargo, si uno se propone crear algo así como una silla de ruedas controlada por pensamientos, el problema de los retrasos se vuelve mucho más agudo, lo que pone en tela de juicio tal desarrollo.

▍ Tecnología no invasiva y precisión

Los escáneres EEG son excelentes para el uso diario en situaciones cotidianas. Es suficiente ponerse los auriculares aplicando un gel especial a los sensores, y ya está. Sin embargo, el hecho de que las señales generadas por el cerebro se lean desde el cuero cabelludo y no, digamos, desde la superficie del cerebro en sí, perjudica la precisión de tales señales.

Si hablamos de la frecuencia de tomar indicadores, entonces es muy bueno en los dispositivos existentes. No se puede decir lo mismo sobre las características espaciales de los datos obtenidos. Los dispositivos de EEG solo pueden leer señales que se originan en aquellas partes del cerebro que están cerca de la superficie de la cabeza. Es imposible averiguar qué está sucediendo en las estructuras más profundas del cerebro utilizando un enfoque similar.

▍ Aceptación pública

Un auricular neuro no es el dispositivo más bonito y familiar. Creo que mientras estos auriculares se vean como son ahora, es poco probable que se usen en lugares públicos. Con el desarrollo de la tecnología, es posible que se creen dispositivos que puedan estar ocultos en accesorios como sombreros, pero incluso aquí puede encontrar un problema asociado con el hecho de que dichos dispositivos serán inconvenientes cuando se usen durante mucho tiempo.

Los sensores de EEG deben estar bastante cerca del cuero cabelludo para tomar indicadores cualitativos de la actividad cerebral. Y si su presión inmediatamente después de ponerse los auriculares apenas se puede sentir, con el tiempo comienza a causar molestias. Además, si también necesita aplicar gel a los sensores, esto se convierte en una barrera adicional para la distribución generalizada de auriculares neuro.

Como puede ver, el estado actual de las cosas en el campo de las interfaces neuronales sugiere que es poco probable que se generalicen. Sin embargo, si hablamos sobre el futuro, entonces podemos decir que tales dispositivos tienen perspectivas interesantes.

Capacidades de interfaz neuronal

Si tiene en cuenta el estado actual de la tecnología y piensa en lo que pueden llegar a ser en el futuro, puede encontrar varias opciones para su aplicación.

▍ Ayudar a las personas con discapacidad

Me gustaría que los auriculares neuronales ayuden a las personas con discapacidad a vivir una vida más plena y a ser más independientes.

Esto es exactamente lo que estaba pensando cuando creé mi primer prototipo: un teclado controlado por movimientos oculares. Este desarrollo mío está lejos del nivel en el que podría usarse en la práctica, pero mientras trabajaba en este proyecto, estaba interesado en comprender si un dispositivo de consumo completamente asequible realmente podría ayudar a alguien. No todos tienen acceso a sistemas médicos complejos, y simplemente me encantó el hecho de que el no tan costoso artilugio, que se puede comprar libremente en la tienda en línea, es capaz de resolver tareas importantes y necesarias.

▍ Prácticas mentales

Las prácticas mentales, en particular, la meditación, es el ámbito de aplicación de los auriculares neuronales, que hoy en día atrae cierta atención (por ejemplo, los auriculares Muse ayudan a meditar). Se trata de ayudar a alguien que quiere meditar, hacer todo bien.

▍ Ayuda para resolver problemas de salud

Si los auriculares neuronales penetraran nuestras vidas tanto como los teléfonos móviles, podríamos crear aplicaciones que sean capaces de responder a problemas de salud. Por ejemplo, sería genial si hubiera aplicaciones que, basadas en un análisis de la actividad cerebral, ayudarían a combatir derrames cerebrales, ataques de pánico y ataques de epilepsia.

▍ Incremento de la productividad laboral

Un auricular neuro puede ayudar a meditar, lo que significa que con él realmente puedes descubrir a qué hora del día se enfoca mejor una persona. Esta información, obtenida al usar los auriculares con regularidad, puede ayudarlo a comprender cuándo es mejor hacer alguna actividad. Incluso puede imaginar que el horario de trabajo se organizará de acuerdo con las características individuales de la persona, lo que aumentará su productividad.

▍Arte

Me gusta, por iniciativa propia, durante las horas libres, explorar los fenómenos que se encuentran en la intersección del arte y la tecnología. Creo que no se debe subestimar el trabajo en esta dirección relacionado con las interfaces neuronales, ya que, aunque puedan parecer "frívolas", ayudan a comprender mejor las tecnologías, que serán útiles en casos más "serios" de su aplicación.

Combinación de sensores de actividad eléctrica cerebral con otros sensores.

Recientemente, tuve la idea de que los sensores de EEG no deberían considerarse como algo completamente independiente. Nuestro cerebro percibe el mundo a través de los sentidos. No puede ver sin ojos y oír sin oídos. Por lo tanto, si queremos aprovechar al máximo los datos sobre la actividad eléctrica del cerebro, es posible que necesitemos rastrear otros signos vitales.

El principal problema aquí es que todo esto puede llevar al hecho de que las personas serán colgadas literalmente con varios sensores.


¿Hay demasiados sensores aquí? (fuente de la ilustración - cognionics.net)

Quizás nadie usará constantemente los sensores representados en la figura anterior.

Openbci

Hace unas semanas adquirí algo nuevo: el paquete OpenBCI . Mi próximo paso es estudiar los datos brutos obtenidos de los sensores EEG y aplicar métodos de aprendizaje automático a estos datos. OpenBCI es un proyecto de código abierto, por lo que su desarrollo me parece perfectamente adecuado para este propósito. Todavía no he trabajado mucho con sus auriculares, por ahora solo tengo tiempo suficiente para conectarlo a una computadora y configurarlo. Así es como se ve todo.


Openbci

Resumen

El autor de este material dice que continúa estudiando interfaces neuronales. Esperamos que su historia ayude a aquellos que estén interesados ​​en este tema, pero no se atrevan a proceder con acciones prácticas, den los primeros pasos en la aplicación de los auriculares con micrófono. Si está interesado en todo esto, aquí hay otra de nuestras publicaciones sobre auriculares neuro y JavaScript dedicados a Muse.

Estimados lectores! ¿Planeas experimentar con auriculares neuro?