Ha pasado medio siglo desde la invención del mouse, y esta sigue siendo una de las principales formas en que una persona interactúa con una computadora. Fui a una conferencia en el Instituto HSE de Neurociencia Cognitiva para conocer los últimos desarrollos en el campo BCI, que está más allá del horizonte y, por lo tanto, es muy interesante.
Revisé el informe de la conferencia en un artículo para una historia relacionada. Simplifico y omito algunos momentos, y complemente algunas de mis observaciones e informes de otros eventos. Después de leerlo, espero que tenga una comprensión común de los enfoques de BCI y el estado actual en esta área. Para interpretaciones originales, es mejor referirse a los artículos originales, afortunadamente, casi todo es de dominio público.
La historia
La historia de BCI comenzó en 1973 con la publicación de Toward direct brain-computer communication [1], donde Jacques Vidal presentó ideas para la comunicación hombre-máquina y describió un laboratorio para el análisis de señales EEG para tales fines. Una década más tarde, Wolpaw se centró en el uso de BCI para ayudar a las personas paralizadas y describió el concepto de BCI [2]:
Las principales implementaciones de BCI hicieron posible que las personas con síndrome de aislamiento ingresen texto. Era difícil usar el sistema, porque el usuario tenía que pasar por un largo entrenamiento [3], en contraste, había "deletreos" basados en el reconocimiento del P300 , un componente que ocurre cuando una persona toma una decisión, lo que reduce los requisitos para el usuario [4] .
En los años 90, el tema se hizo cada vez más conocido, especialmente con el advenimiento de las técnicas de aprendizaje automático [5]. Con la mayor confiabilidad de BCI, las personas están interesadas en expandir sus aplicaciones a nuevas áreas.
Thorsten Zander propuso la siguiente clasificación BCI [6]:
- BCI activo: el usuario inicia el comando incondicionalmente
- BCI reactiva: el usuario inicia el comando en respuesta a la exposición del sistema
- BCI pasiva: el usuario no da un comando, pero el sistema lee y analiza su estado
Por separado, vale la pena considerar la cuestión de la estimulación cerebral, este tema, aunque no está directamente relacionado con BCI, es una tecnología relacionada que amplía las capacidades de control de BCI.
BCI también se puede clasificar por el método de recepción de la señal:
- Invasivo (electrodos implantados, ECoG y otros)
- No invasivo ( EEG , NIRS y otros)
EEG es la forma más común de recibir una señal, por lo tanto, a menos que se indique lo contrario, lo digo por defecto.
BCI activo
Basketparadigm
Este es un símbolo de la posibilidad de control mediante la activación de movimientos imaginarios. El hecho es que la corteza motora está ubicada de manera compacta en el centro de la cabeza, por lo que los movimientos imaginarios de diferentes partes del cuerpo están bien clasificados y se utilizan para construir BCI. Para trabajar con dicha BCI, el usuario necesita imaginar mentalmente cómo hace movimientos en diferentes partes del cuerpo.
Para facilitar los experimentos, los científicos están desarrollando sus propios marcos, por ejemplo, BCILAB . Con su ayuda, se realizó un experimento para demostrar la capacidad del escéptico para controlar el uso de movimientos imaginarios. El resultado fue del 80%; el resultado es regular en condiciones en que una persona tiene las alternativas habituales, pero es encomiable, especialmente para un encuestado no preparado [7].
Se utilizó el mismo enfoque para controlar el horizonte de un simulador de avión. Los resultados son mixtos, para 3 encuestados lograron un resultado del 94%, para 4 más, 64% y menos del 60% para tres más. El éxito radica en el hecho de que la primera trinidad voló el avión de la misma manera que el timón. Los pilotos restantes no estaban lo suficientemente enfocados en el estado interno e hicieron movimientos musculares, lo que hizo una contribución negativa al control.
Sistemas de rehabilitación
Los BCI que reconocen los comandos motores han sido bien estudiados y ya se están utilizando para rehabilitar a pacientes con accidente cerebrovascular: para restablecer las conexiones rotas necesarias para controlar las extremidades paralizadas. Pavel Bobrov demostró los resultados de los ensayos clínicos de un complejo de rehabilitación para la restauración de las funciones motoras de las manos, lo que demostró la efectividad del uso. Además, existe una diferencia significativa para los pacientes que comenzaron la rehabilitación un mes más tarde y 6 meses después de un accidente cerebrovascular, cuanto antes comience la rehabilitación, mejor será el efecto. [11]
El jefe de g.tec Gunter Edlinger habló sobre el trabajo de gimnasios especiales para rehabilitación, un punto interesante es que la estimulación eléctrica de las extremidades se agregó al proceso de rehabilitación, y si se usó una instalación electromecánica anteriormente, entonces hay estimulación eléctrica, lo que reduce el costo del complejo.
Si agrega elementos del juego y la competencia al proceso, la participación será mayor, lo que significa que el paciente pasará mejor por la rehabilitación. En el HSE Bioelectric Interface Center, bajo el liderazgo de Alexei Osadchy , se desarrollaron prototipos para mejorar el proceso de rehabilitación. El video muestra un prototipo de sistema para dos personas, donde controlan la embarcación, ejecutan comandos motores imaginarios e intentan inclinar la embarcación en su dirección:
Juego para un jugador:
O, por ejemplo, el algoritmo para reconocer la escritura a mano por la actividad muscular usando una matriz compacta de electrodos le permite reconstruir lo que está escrito: [12]
El pináculo de su trabajo es el trabajo sobre BCI en el proyecto ExoAtlet , que permite a las personas con discapacidad moverse de forma independiente o usarlo para rehabilitación.
Los BCI invasivos son un tema más complejo, y ahora se están realizando experimentos en animales o personas que tienen electrodos instalados por razones médicas. Se destacó una serie de estudios que mostraron que es posible determinar no solo los componentes individuales (es decir, los mismos movimientos ficticios), sino también compartir el movimiento, la atención y la dirección de la mirada entre ellos. Una grabación de un informe similar de la conferencia en Samara está disponible.
BCI reactivo
Un ejemplo clásico de un BCI reactivo es el "deletreador" basado en el efecto P300, esta es la "onda" que aparece en respuesta a la elección del estímulo mostrado, pero en el "deletreador", dicho estímulo está codificado en caracteres del alfabeto o comando de cierta manera. El usuario debe interactuar mentalmente con los estímulos que muestra el sistema: cuente el número de destellos del personaje seleccionado.
Es imposible no mencionar el proyecto Neurochat , que permite a las personas con discapacidad comunicarse:
BCI pasivo
La idea básica de BCI pasivo es una evaluación del estado de una persona, por ejemplo, evaluación de la carga cognitiva (carga de trabajo), se puede aplicar en sistemas de entrenamiento, se realizó un estudio para resolver este problema.
El clasificador recibió capacitación en las siguientes tareas:
- Para una carga alta, el encuestado restaba 1-2 dígitos de 3-4 dígitos, excluyendo opciones simples con docenas.
- Para una carga ligera, le pidieron al entrevistado que se concentrara en un recuerdo agradable.
La precisión del algoritmo fue del 70%. El clasificador se probó en otras tareas (multiplicación, juego de codificación) y recibió una precisión similar, lo que confirma el hecho de que el clasificador puede hacerse independiente de la persona y las tareas. [13]
Esta idea se puede aplicar para controlar al cirujano durante la cirugía [14]. Se resolvió la tarea de determinar la carga sobre el cirujano durante la ejecución de manipulaciones de diversa complejidad en el simulador. El sistema ha aprendido a determinar cómo el cirujano realiza la operación con alta precisión.
Otra opción es medir el grado de relajación. Basado en el estado de la instalación interactiva del visitante, el Museo del Silencio creó una imagen animada que reflejaba su estado interior. [15]
Los BCI pasivos también se pueden usar para tareas de control, un enfoque bastante original para dar a una persona un control directo sobre el cursor, sino solo el derecho de juzgar si el cursor se mueve a lo largo del camino correcto hacia el objetivo. El experimento se realizó en pequeñas matrices de puntos 4x4 y 6x6. Al principio, el sistema fue entrenado en el movimiento arbitrario del punto, y la tarea de la persona era determinar si el punto se movía en la dirección correcta, luego lo probamos en modo en vivo y descubrimos que el resultado está cerca del camino óptimo. [16] Puedes ver la demostración .
Problema táctil de Midas e interfaces E-BCI
Controlar el cursor con la ayuda de la mirada es una tarea simple que se puede resolver con la ayuda del rastreador de ojos (también conocido como videooculografía). Pero hay problemas en estas interfaces, por ejemplo, movimientos oculares involuntarios y el problema de elección, por cierto, se llama simbólicamente el problema táctil de Midas, el rey frigio, cualquier toque que convirtió el artículo en oro. El uso de BCI pasivo resuelve estos problemas.
El enfoque en el que se usó el BCI activo para tomar decisiones al controlar el uso del rastreador ocular se conoce desde hace mucho tiempo, pero no difiere en velocidad. El estudio, donde los encuestados calificaron diferentes métodos de selección utilizando la escala TLX de la NASA , mostró que la opción BCI no es más rápida en el tiempo que la opción de solución larga para seleccionar un objeto, pero la BCI causa menos frustración [10].
El trabajo posterior del equipo de Torsten Zander demostró que es posible distinguir entre la fijación consciente en el objeto y el inconsciente con una precisión del 90% [17]. Para el experimento, se utilizó el paradigma "Oddball": el encuestado examinó una serie de figuras que contenían la figura que desea elegir en combinación con figuras que distraen.
Sergey Shishkin habló sobre la mejora del enfoque anterior [8]. Una ventaja significativa de sus soluciones es una reducción en la tasa de selección a 300ms - 500ms, lo que requiere una clasificación muy rápida, para esto, se utilizó EEGNet [9].
Mecanismos de atención: este es un tema separado que puede ampliar el alcance de BCI y crear sistemas para la rehabilitación de pacientes con TDAH, Mehdi Ordikhani habla sobre la idea básica en su Tedtalk
Estimulación
La cuestión de la ética de los experimentos es muy aguda para la neurociencia, y los animales llevan la peor parte de la investigación más allá de las fronteras. ¿Qué pasa si queremos trabajar en un área específica profunda en el cerebro? Ahora esto solo es posible con electrodos implantados. Pero, por ejemplo, en la naturaleza hay criaturas que son sensibles al campo magnético, el equipo de Galit Pelled de la Universidad de Michigan aisló este gen de los peces, les presentó a las ratas y aprendió a controlar su comportamiento mediante la acción del campo magnético [18]. Por lo tanto, es posible tener efectos específicos en las áreas deseadas, por ejemplo, detener las convulsiones epilépticas.
Y todo un grupo de estudios de interfaces invasivas de Mikhail Lebedev en monos rhesus: se construyó una interfaz cerebro-computadora-cerebro, que permitió, mediante el control de miembros virtuales, recibir retroalimentación táctil. Puede ver con más detalle un extracto de la conferencia " Interfaz entre el cerebro y la computadora ".
El reino del aprendizaje profundo
Además del hecho de que los algoritmos de "aprendizaje profundo" permiten lograr la ya alta precisión del "aprendizaje automático", se puede observar que las personas están trabajando en el "problema inverso". Basado en datos rápidos de EEG y MEG, puede intentar restaurar la activación real de las neuronas en el cerebro, que ahora se muestra, por ejemplo, mediante el método fMRI, pero con una resolución temporal muy baja. Uno solo puede alegrarse del optimismo y creer en el éxito inminente de este trabajo.
Otro problema de BCI basado en EEG o MEG es que los resultados de la actividad en diferentes áreas del cerebro para los mismos componentes difieren entre los usuarios, hay que aprender la red neuronal para cada usuario y tarea, lo que complica el trabajo con el sistema y lo hace más costoso. Sin embargo, puede haber cambios con la "transferencia de aprendizaje", cuando la red neuronal utiliza datos de diferentes usuarios / en diferentes tareas y se vuelve a capacitar en línea, como resultado, se puede omitir el paso de calibración. [19]
Hardware
¡Finalmente, llegamos a las glándulas!
Aquí es importante decir acerca de 2 puntos, por un lado, el equipo para BCI es bastante engorroso, la persona en él llama la atención, en uno de los espectáculos se demostraron electrodos en miniatura, de modo que la persona no se destaque en nada. [20]
Desafortunadamente, no hay posibilidad de insertar una foto más grande, pero puede mirar a través de Google photo .
A pesar de todo el tamaño en miniatura, no es conveniente instalar estos electrodos; tendrá que pegar cada electrodo individual. Para acelerar, use varios dispositivos:
- Tapones EEG en los que se marcan los orificios para electrodos
- Aros y cascos de varios diseños, donde la posición de los electrodos es básicamente fija, solo OpenBCI se destaca con Ultracortex, en el que los electrodos se pueden reorganizar según las tareas.
Una idea relativamente nueva son las matrices de electrodos CeeGrid , para montar en la región del oído, que son invisibles y fáciles de instalar, pero un inconveniente significativo es el uso limitado, aunque hay trabajos que muestran que es realista usar esta opción para ERP BCI [21] .
Y el segundo problema es la necesidad de un gel conductor para una señal de alta calidad, se muestra aquí que las diferencias son aceptables y el uso de electrodos secos está justificado [22], pero todo depende de la cantidad de cabello. Por ejemplo, recientemente Florida Research Instruments comenzó a vender un electrodo seco alargado (a la izquierda a continuación en la imagen a continuación), que difiere de la versión original por la mayor redondez de los pines y, como saben, causa menos sentimientos negativos para los usuarios. Las opciones aún más avanzadas son cuando los pines de los electrodos están equipados con amortiguación, gracias al material o con la ayuda de resortes (en la imagen a continuación están en el centro y a la derecha).
Conclusión
La propagación de BCI a las masas no será rápida y fácil; las posibilidades muy limitadas para comprender las condiciones cerebrales ahora están abiertas, pero no se puede ignorar el progreso en esta área. Lo principal es que existe una tendencia correcta hacia la reducción del costo de los dispositivos / la provisión de dispositivos por suscripción y la aparición de proyectos destinados a los entusiastas.
Personalmente, estoy muy contento de que entre los proyectos promocionales de Emotive, MUSE, OpenBCI, Rusia estén comenzando a aparecer. En el reciente Neuroforum, que se celebró en San Petersburgo, se demostraron:
La expansión de los dispositivos disponibles hace que el área de la interfaz sea atractiva para el estudio y la experimentación. El umbral de entrada es bajo, siempre puede encontrar una tarea adecuada y puede mejorar los algoritmos hasta el final, obteniendo nuevos conocimientos y habilidades. Lo que te deseo
Entonces vi el área BCI, veamos qué será interesante el próximo año.
Descripción corregida por UPD de las interfaces EBCI, por error se asignaron a BCI activo, lo cual no es cierto