Un demi-siècle s'est écoulé depuis l'invention de la souris, et c'est toujours l'une des principales façons dont une personne interagit avec un ordinateur. Je suis allé à une conférence au HSE Institute for Cognitive Neuroscience pour en savoir plus sur les derniers développements dans le domaine BCI, qui est au-delà de l'horizon, et est donc si intéressant.
J'ai révisé le rapport de la conférence en un article pour une histoire connexe. Je simplifie et omet certains moments, et je complète certaines de mes observations et rapports d'autres événements. Après l'avoir lu, j'espère que vous aurez une compréhension commune des approches de BCI et de l'état actuel dans ce domaine. Pour les interprétations originales, il est préférable de se référer aux articles originaux, heureusement, presque tout est dans le domaine public.
L'histoire
L'histoire de BCI a commencé en 1973 avec la publication de Vers une communication directe cerveau-ordinateur [1], où Jacques Vidal a présenté des idées pour la communication homme-machine et décrit un laboratoire pour l'analyse du signal EEG à ces fins. Une décennie plus tard, Wolpaw s'est concentré sur l'utilisation du BCI pour aider les personnes paralysées et a décrit le concept du BCI [2]:
Les principales implémentations BCI ont permis aux personnes atteintes du syndrome d'isolement de saisir du texte. Il était difficile d'utiliser le système, car l'utilisateur devait suivre une longue formation [3], en revanche, il y avait des «orthographes» basés sur la reconnaissance du P300 - un composant qui se produit lorsqu'une personne fait un choix, ce qui réduit les exigences pour l'utilisateur [4] .
Dans les années 90, le sujet est devenu de plus en plus connu, notamment avec l'avènement des techniques d'apprentissage automatique [5]. Avec la fiabilité accrue de BCI, les gens sont intéressés à étendre leurs applications à de nouveaux domaines.
Thorsten Zander a proposé la classification BCI suivante [6]:
- BCI actif - l'utilisateur lance la commande sans condition
- BCI réactif - l'utilisateur lance une commande en réponse à l'exposition du système
- BCI passif - l'utilisateur ne donne pas de commande, mais le système lit et analyse son état
Séparément, il convient de considérer la question de la stimulation cérébrale, ce sujet, bien qu'il ne soit pas directement lié au BCI, est une technologie connexe qui étend les capacités de contrôle du BCI.
BCI peut également être classé par la méthode de réception du signal:
- Invasive (électrodes implantées, ECoG et autres)
- Non invasif ( EEG , NIRS et autres)
L'EEG est le moyen le plus courant de recevoir un signal, donc, sauf indication contraire, je le veux par défaut.
BCI actif
Basketparadigm
C'est un symbole de la possibilité de contrôle en activant des mouvements imaginaires. Le fait est que le cortex moteur est situé de manière compacte au centre de la tête, de sorte que les mouvements imaginaires des différentes parties du corps sont bien classés et utilisés pour construire le BCI. Pour travailler avec un tel BCI, l'utilisateur doit imaginer mentalement comment il effectue des mouvements dans différentes parties du corps.
Pour faciliter les expériences, les scientifiques développent leurs propres cadres, par exemple, BCILAB . Avec son aide, une expérience a été menée pour démontrer la capacité du sceptique à contrôler à l'aide de mouvements imaginaires. Le résultat était de 80% - le résultat est moyen dans les conditions où une personne a les alternatives habituelles, mais est louable, en particulier pour un répondant non préparé [7].
La même approche a été utilisée pour contrôler l'horizon d'un simulateur d'avion. Les résultats sont mitigés, pour 3 répondants ils ont réussi à obtenir un résultat de 94%, pour 4 de plus 64% et moins de 60% pour trois de plus. Le succès réside dans le fait que la première trinité a piloté l'avion de la même manière que la barre. Les pilotes restants n'étaient pas suffisamment concentrés sur l'état interne et effectuaient des mouvements musculaires, ce qui apportait une contribution négative au contrôle.
Systèmes de réadaptation
Les BCI qui reconnaissent les commandes motrices ont été bien étudiés et sont déjà utilisés pour réhabiliter les patients ayant subi un AVC: pour restaurer les connexions rompues nécessaires pour contrôler les membres paralysés. Pavel Bobrov a démontré les résultats des essais cliniques d'un complexe de réadaptation pour la restauration des fonctions motrices des mains, qui ont prouvé l'efficacité de l'utilisation. De plus, il existe une différence significative pour les patients qui ont commencé la rééducation un mois plus tard et 6 mois après un AVC, plus la rééducation commence tôt, meilleur est l'effet. [11]
Le chef de g.tec Gunter Edlinger a parlé du travail des gymnases spéciaux pour la rééducation, un point intéressant est que la stimulation électrique des membres a été ajoutée au processus de rééducation, et si une installation électromécanique a été utilisée ci-dessus, il y a une stimulation électrique, ce qui réduit le coût du complexe.
Si vous ajoutez des éléments du jeu et de la compétition au processus, la participation sera plus élevée, ce qui signifie que le patient passera mieux par la rééducation. Au HSE Bioelectric Interface Center, sous la direction d' Alexei Osadchy , des prototypes ont été développés pour améliorer le processus de réhabilitation. La vidéo montre un système prototype pour deux personnes, où ils contrôlent le navire, exécutant des commandes de moteur imaginaires, essayant d'incliner le navire dans leur direction:
Jeu solo:
Ou, par exemple, l'algorithme de reconnaissance de l'écriture manuscrite par l'activité musculaire à l'aide d'un réseau compact d'électrodes vous permet de reconstruire ce qui est écrit: [12]
Le point culminant de leur travail est le travail sur BCI dans le projet ExoAtlet , qui permet aux personnes handicapées de se déplacer de façon autonome ou de l'utiliser pour la réadaptation.
Les BCI invasifs sont un sujet plus complexe, et des expériences sont en cours sur des animaux ou des personnes qui ont des électrodes installées pour des raisons médicales. Une série d'études a été mise en évidence, qui a montré qu'il est possible de déterminer non seulement des composants individuels (signifiant les mêmes mouvements fictifs), mais aussi de partager le mouvement, l'attention et la direction du regard entre eux. Un enregistrement d'un rapport similaire de la conférence de Samara est disponible.
BCI réactif
Un exemple classique d'un BCI réactif est le «correcteur» basé sur l'effet P300, c'est la «vague» qui apparaît en réponse au choix du stimulus affiché, mais dans le «correcteur», un tel stimulus est des caractères codés de l'alphabet ou de la commande d'une certaine manière. L'utilisateur doit interagir mentalement avec les stimuli que le système affiche - compter le nombre de flashs du personnage sélectionné.
Il est impossible de ne pas mentionner le projet Neurochat , qui permet aux personnes handicapées de communiquer:
BCI passif
L'idée de base du BCI passif est une évaluation de l'état d'une personne, par exemple, une évaluation de la charge cognitive (charge de travail), elle peut être appliquée dans des systèmes de formation, une étude a été menée pour résoudre ce problème.
Le classificateur a été formé aux tâches suivantes:
- Pour une charge élevée, le répondant a soustrait 1 à 2 chiffres de 3 à 4 chiffres, excluant les options simples avec des dizaines.
- Pour une charge légère, ils ont demandé au répondant de se concentrer sur un souvenir agréable.
La précision de l'algorithme était de 70%. Le classificateur a été testé sur d'autres tâches (multiplication, jeu de brouillage) et a reçu une précision similaire, confirmant ainsi le fait que le classificateur peut être rendu indépendant de la personne et des tâches. [13]
Cette idée peut être appliquée pour contrôler le chirurgien pendant la chirurgie [14]. La tâche de déterminer la charge imposée au chirurgien lors de l'exécution de manipulations de complexité variable sur le simulateur a été résolue. Le système a appris à déterminer comment le chirurgien effectue l'opération avec une grande précision.
Une autre option consiste à mesurer le degré de relaxation. Basé sur l'état du visiteur de l'installation interactive, le Musée du Silence a créé une image vivante qui reflète son état intérieur. [15]
Les BCI passifs peuvent également être utilisés pour des tâches de contrôle, une approche plutôt originale pour donner à une personne non pas un contrôle direct sur le curseur, mais seulement le droit de juger si le curseur se déplace le long du chemin correct vers la cible. L'expérience a été réalisée sur de petites matrices 4x4 et 6x6 points. Au début, le système a été formé sur le mouvement arbitraire du point, et la tâche de la personne était de déterminer si le point se déplace dans la bonne direction, puis nous l'avons testé en mode direct et avons constaté que le résultat était proche de la trajectoire optimale. [16] Vous pouvez regarder la démonstration .
Problème tactile Midas et interfaces E-BCI
Contrôler le curseur à l'aide du regard est une tâche simple qui peut être résolue à l'aide d'un eye-tracker (alias vidéooculographie). Mais il y a des problèmes dans ces interfaces, par exemple, les mouvements oculaires involontaires et le problème de choix, soit dit en passant, il est très symboliquement appelé le problème tactile de Midas, le roi phrygien, dont toute touche a transformé l'objet en or. L'utilisation du BCI passif résout ces problèmes.
L'approche où le BCI actif a été utilisé pour faire des choix lors du contrôle à l'aide de l'eye-tracker est connue depuis longtemps, mais sa vitesse ne diffère pas. L'étude, où les répondants ont évalué différentes méthodes de sélection à l'aide de l'échelle NASA TLX , a montré que l'option BCI n'est pas plus rapide dans le temps que l'option de correction longue pour sélectionner un objet, mais la BCI provoque moins de frustration [10].
D'autres travaux de l'équipe Torsten Zander ont montré qu'il est possible de distinguer entre la fixation consciente sur l'objet et l'inconscient avec une précision de 90% [17]. Pour l'expérience, le paradigme "Oddball" a été utilisé - le répondant a parcouru une série de figures contenant la figure qu'il veut choisir en combinaison avec des figures distrayantes.
Sergey Shishkin a parlé de l'amélioration de l'approche ci-dessus [8]. Un avantage significatif de leurs solutions est une réduction du taux de sélection à 300 ms - 500 ms, ce qui nécessite une classification très rapide, pour cela, EEGNet a été utilisé [9].
Mécanismes d'attention - c'est un sujet distinct qui peut étendre la portée du BCI et créer des systèmes pour la réadaptation des patients atteints de TDAH, Mehdi Ordikhani parle de l'idée de base dans son Tedtalk
La stimulation
La question de l'éthique des expériences est très aiguë pour les neurosciences et les animaux prennent le poids de la recherche au-delà des frontières. Et si nous voulons travailler sur une zone spécifique au plus profond du cerveau? Maintenant, cela n'est possible qu'avec des électrodes implantées. Mais, par exemple, dans la nature, il existe des créatures sensibles au champ magnétique, l'équipe Galit Pelled de l'Université du Michigan a isolé ce gène du poisson, l'a présenté aux rats et a appris à contrôler leur comportement par l'action du champ magnétique [18]. Ainsi, il est possible d'avoir des effets ciblés sur les zones désirées, par exemple, arrêter les crises d'épilepsie.
Et tout un groupe d'études sur les interfaces invasives de Mikhail Lebedev sur des singes rhésus: une interface cerveau-ordinateur-cerveau a été construite, qui a permis, en contrôlant les membres virtuels, de recevoir un retour tactile. Vous pouvez voir plus en détail un extrait de la conférence " Interface entre le cerveau et l'ordinateur ".
Le Royaume du Deep Learning
Outre le fait que les algorithmes de «deep learning» permettent d'atteindre la précision déjà élevée du «machine learning», on peut noter que les gens travaillent sur le «problème inverse». Sur la base de données EEG et MEG rapides, vous pouvez essayer de restaurer l'activation réelle des neurones dans le cerveau, ce qui est maintenant montré, par exemple, par la méthode IRMf, mais avec une très faible résolution temporelle. On ne peut que se réjouir de l'optimisme et croire au succès imminent de ce travail.
Un autre problème de BCI basé sur EEG ou MEG est que les résultats de l'activité dans différentes zones du cerveau pour les mêmes composants diffèrent selon les utilisateurs, vous devez apprendre le réseau neuronal pour chaque utilisateur et tâche, ce qui complique le travail avec le système et le rend plus cher. Cependant, il peut y avoir des changements avec le «transfert d'apprentissage», lorsque le réseau de neurones utilise des données de différents utilisateurs / dans différentes tâches et se réentraîne en ligne, par conséquent, l'étape d'étalonnage peut être ignorée. [19]
Matériel informatique
Enfin, nous sommes arrivés aux glandes!
Ici, il est important de dire environ 2 points, d'une part, l'équipement pour BCI est plutôt encombrant, la personne en elle attire l'attention, dans l'une des performances des électrodes miniatures ont été démontrées, de sorte que la personne ne se démarque en rien. [20]
Malheureusement, il n'est pas possible d'insérer une photo plus grande, mais vous pouvez regarder à travers Google photo .
Malgré toute la taille miniature, il n'est pas pratique d'installer ces électrodes; vous devrez coller chaque électrode individuelle. Pour accélérer, utilisez différents appareils:
- Bouchons EEG dans lesquels les trous pour les électrodes sont marqués
- Cerceaux et casques de différentes conceptions, où la position des électrodes est fondamentalement fixe, seul OpenBCI se distingue par Ultracortex, dans lequel les électrodes peuvent être réorganisées en fonction des tâches.
Une idée relativement nouvelle est constituée par des tableaux d'électrodes CeeGrid , à monter dans la région de l'oreille, qui sont à la fois invisibles et faciles à installer, mais un inconvénient important est l'utilisation limitée, bien qu'il existe des travaux qui montrent qu'il est réaliste d'utiliser cette option pour l'ERP BCI [21] .
Et le deuxième problème est la nécessité d'un gel conducteur pour un signal de haute qualité, on montre ici que les différences sont acceptables, et l'utilisation d'électrodes sèches est justifiée [22], mais tout dépend de la quantité de cheveux. Par exemple, Florida Research Instruments a récemment commencé à vendre une électrode sèche allongée (à gauche, dans l'image ci-dessous), qui diffère de la version originale par la plus grande rondeur des broches et, comme vous le savez, provoque moins de sentiments négatifs pour les utilisateurs. Des options encore plus avancées sont lorsque les broches sur les électrodes elles-mêmes sont équipées d'un amortissement, grâce au matériau ou à l'aide de ressorts (dans l'image ci-dessous, elles sont au centre et à droite).
Conclusion
La propagation du BCI aux masses ne sera pas rapide et facile; des possibilités très limitées de compréhension des conditions cérébrales sont désormais ouvertes, mais les progrès dans ce domaine ne peuvent être ignorés. L'essentiel est qu'il y ait une tendance correcte à réduire le coût des appareils / à fournir des appareils par abonnement et à l'émergence de projets destinés aux passionnés.
Personnellement, je suis très heureux que parmi les projets promus Emotive, MUSE, OpenBCI russes commencent à apparaître. Lors du récent Neuroforum, qui s'est tenu à Saint-Pétersbourg, ont été démontrés:
L'expansion des appareils disponibles rend la zone d'interface attrayante pour l'étude et l'expérimentation. Le seuil d'entrée est bas, vous pouvez toujours trouver une tâche adéquate et vous pouvez améliorer les algorithmes tout au long, en acquérant de nouvelles connaissances et compétences. Ce que je te souhaite.
J'ai donc vu la zone BCI, voyons ce qui sera intéressant l'année prochaine.
UPD a corrigé la description des interfaces EBCI, par erreur, elles ont été affectées à BCI actif, ce qui n'est pas vrai