Meio século se passou desde a invenção do mouse, e essa ainda é uma das principais maneiras pelas quais uma pessoa interage com um computador. Fui a uma conferência no Instituto de SMS para Neurociência Cognitiva para aprender sobre os últimos desenvolvimentos no campo da BCI, que estão além do horizonte e, portanto, são muito interessantes.
Revisei o relatório da conferência em um artigo para uma história relacionada. Simplifico e omito alguns momentos e complemento algumas de minhas observações e relatórios de outros eventos. Depois de ler, espero que você tenha um entendimento comum das abordagens da BCI e do estado atual nessa área. Para interpretações originais, é melhor consultar os artigos originais, felizmente, quase tudo está em domínio público.
A história
A história da BCI começou em 1973 com a publicação de Toward communication cérebro-computador direta [1], onde Jacques Vidal apresentou idéias para a comunicação homem-máquina e descreveu um laboratório para análise de sinais de EEG para tais propósitos. Uma década depois, Wolpaw se concentrou no uso de BCI para ajudar pessoas paralisadas e descreveu o conceito de BCI [2]:
As principais implementações do BCI permitiram que pessoas com síndrome de isolamento inserissem texto. Foi difícil usar o sistema, porque o usuário teve que fazer um longo treinamento [3], ao contrário, havia "ortografia" baseada no reconhecimento do P300 - um componente que ocorre quando uma pessoa faz uma escolha, o que reduz os requisitos para o usuário [4] .
Nos anos 90, o tópico se tornou cada vez mais conhecido, especialmente com o advento das técnicas de aprendizado de máquina [5]. Com o aumento da confiabilidade da BCI, as pessoas estão interessadas em expandir seus aplicativos para novas áreas.
Thorsten Zander propôs a seguinte classificação BCI [6]:
- BCI ativo - o usuário inicia o comando incondicionalmente
- BCI reativo - o usuário inicia o comando em resposta à exposição do sistema
- BCI passivo - o usuário não dá um comando, mas o sistema lê e analisa seu status
Separadamente, vale a pena considerar a questão da estimulação cerebral, esse tópico, embora não esteja diretamente relacionado ao BCI, é uma tecnologia relacionada que expande as capacidades de controle do BCI.
O BCI também pode ser classificado pelo método de recebimento do sinal:
- Invasivo (eletrodos implantados, ECoG e outros)
- Não invasivo ( EEG , NIRS e outros)
O EEG é a maneira mais comum de receber um sinal; portanto, a menos que seja indicado de outra forma, quero dizer isso por padrão.
BCI ativo
Basketparadigm
Este é um símbolo da possibilidade de controle ativando movimentos imaginários. O fato é que o córtex motor está localizado de maneira compacta no centro da cabeça, de modo que os movimentos imaginários de diferentes partes do corpo são bem classificados e usados para construir o ICB. Para trabalhar com esse ICB, o usuário precisa imaginar mentalmente como ele faz movimentos em diferentes partes do corpo.
Para facilitar experimentos, os cientistas estão desenvolvendo suas próprias estruturas, por exemplo, BCILAB . Com sua ajuda, um experimento foi realizado para demonstrar a capacidade do cético de controlar usando movimentos imaginários. O resultado foi de 80% - o resultado é mais ou menos nas condições em que uma pessoa tem as alternativas usuais, mas é louvável, especialmente para um respondente despreparado [7].
A mesma abordagem foi usada para controlar o horizonte de um simulador de aeronave. Os resultados são variados; para três respondentes, eles conseguiram obter um resultado de 94%, para mais 4% e menos de 60% para mais três. O sucesso está no fato de a primeira trindade ter voado a aeronave da mesma maneira que o leme. Os demais pilotos não estavam suficientemente focados no estado interno e fizeram movimentos musculares, o que deu uma contribuição negativa ao controle.
Sistemas de reabilitação
Os BCIs que reconhecem comandos motores têm sido bem estudados e já estão sendo usados para reabilitar pacientes com AVC: para restaurar conexões quebradas necessárias para controlar membros paralisados. Pavel Bobrov demonstrou os resultados de ensaios clínicos de um complexo de reabilitação para a restauração das funções motoras das mãos, o que comprovou a eficácia do uso. Além disso, há uma diferença significativa para os pacientes que iniciaram a reabilitação um mês depois e 6 meses após um derrame, quanto mais cedo a reabilitação começar, melhor será o efeito. [11]
O chefe do g.tec Gunter Edlinger falou sobre o trabalho de academias especiais para reabilitação, um ponto interessante é que a estimulação elétrica das extremidades foi adicionada ao processo de reabilitação, e se uma instalação eletromecânica foi usada acima, existe a estimulação elétrica, que reduz o custo do complexo.
Se você adicionar elementos do jogo e da competição ao processo, o envolvimento será maior, o que significa que o paciente passará por uma reabilitação melhor. No HSE Bioelectric Interface Center, sob a liderança de Alexei Osadchy , foram desenvolvidos protótipos para melhorar o processo de reabilitação. O vídeo demonstra um sistema de protótipo para duas pessoas, onde elas controlam a embarcação, executando comandos motores imaginários, tentando inclinar a embarcação em sua direção:
Jogo para um jogador:
Ou, por exemplo, o algoritmo para reconhecer a caligrafia pela atividade muscular usando uma matriz compacta de eletrodos permite reconstruir o que está escrito: [12]
O ponto alto de seu trabalho é o trabalho da BCI no projeto ExoAtlet , que permite que as pessoas com deficiência se movam independentemente ou o usem para reabilitação.
BCIs invasivos são um tópico mais complexo e agora estão sendo realizados experimentos em animais ou pessoas que possuem eletrodos instalados por razões médicas. Uma série de estudos foi destacada, mostrando que é possível determinar não apenas os componentes individuais (significando os mesmos movimentos ficcionais), mas também compartilhar o movimento, a atenção e a direção do olhar entre si. Está disponível uma gravação de um relatório semelhante da conferência em Samara.
BCI reativo
Um exemplo clássico de um BCI reativo é o "ortográfico" baseado no efeito P300, esta é a "onda" que aparece em resposta à escolha do estímulo exibido, mas no "orador", esse estímulo é codificado de uma certa maneira para caracteres codificados do alfabeto ou comando. O usuário deve interagir mentalmente com os estímulos que o sistema mostra - conte o número de flashes do personagem selecionado.
É impossível não mencionar o projeto Neurochat , que permite que as pessoas com deficiência se comuniquem:
BCI passivo
A ideia básica do ICB passivo é uma avaliação do estado de uma pessoa, por exemplo, avaliação da carga cognitiva (carga de trabalho), pode ser aplicada em sistemas de treinamento, foi realizado um estudo para resolver esse problema.
O classificador foi treinado nas seguintes tarefas:
- Para uma carga alta, o entrevistado subtraiu 1-2 dígitos de 3-4 dígitos, excluindo opções simples com dezenas.
- Para uma carga leve, pediram ao entrevistado que se concentrasse em uma memória agradável.
A precisão do algoritmo foi de 70%. O classificador foi testado em outras tarefas (multiplicação, jogo de corrida) e recebeu precisão semelhante, confirmando assim o fato de que o classificador pode ser feito independente da pessoa e das tarefas. [13]
Essa ideia pode ser aplicada para controlar o cirurgião durante a cirurgia [14]. Foi resolvida a tarefa de determinar a carga no cirurgião durante a execução de manipulações de complexidade variada no simulador. O sistema aprendeu a determinar como o cirurgião realiza a operação com alta precisão.
Outra opção é medir o grau de relaxamento. Com base no estado da instalação interativa do visitante, o Museu do Silêncio criou uma imagem animada que refletia seu estado interno. [15]
Os BCIs passivos também podem ser usados para tarefas de controle, uma abordagem bastante original para dar a uma pessoa não controle direto sobre o cursor, mas apenas o direito de julgar se o cursor está se movendo no caminho correto para o destino. O experimento foi realizado em pequenas matrizes de pontos 4x4 e 6x6. No início, o sistema foi treinado no movimento arbitrário do ponto, e a tarefa da pessoa era determinar se o ponto está se movendo na direção certa, depois o testamos no modo ao vivo e descobrimos que o resultado está próximo do caminho ideal. [16] Você pode assistir à demonstração .
Problema de toque da Midas e interfaces E-BCI
Controlar o cursor com a ajuda do olhar é uma tarefa simples que pode ser resolvida com a ajuda do eye-tracker (também conhecido como videooculografia). Mas existem problemas nessas interfaces, por exemplo, movimentos involuntários dos olhos e o problema de escolha, a propósito, é muito simbolicamente chamado de problema de toque de Midas, o rei frígio, cujo toque transformou o item em ouro. O uso de BCI passivo resolve esses problemas.
A abordagem em que o BCI ativo foi usado para fazer escolhas ao controlar o uso do rastreador ocular é conhecida há muito tempo, mas não difere em velocidade. O estudo, onde os entrevistados avaliaram diferentes métodos de seleção usando a escala TLX da NASA , mostrou que a opção BCI não é mais rápida no tempo do que a opção de longo prazo para selecionar um objeto, mas o BCI causa menos frustração [10].
Trabalhos posteriores da equipe de Torsten Zander mostraram que é possível distinguir entre fixação consciente no objeto e inconsciente com uma precisão de 90% [17]. Para o experimento, o paradigma "Oddball" foi usado - o entrevistado examinou uma série de figuras contendo a figura que ele deseja escolher em combinação com figuras que distraem.
Sergey Shishkin falou sobre a melhoria da abordagem acima [8]. Uma vantagem significativa de suas soluções é a redução da taxa de seleção para 300ms - 500ms, o que requer uma classificação muito rápida; para isso, foi utilizado o EEGNet [9].
Mecanismos de atenção - este é um tópico separado que pode expandir o escopo do BCI e criar sistemas para a reabilitação de pacientes com TDAH, Mehdi Ordikhani fala sobre a ideia básica em seu Tedtalk
Estimulação
A questão da ética dos experimentos é muito aguda para a neurociência, e os animais levam o peso da pesquisa além das fronteiras. E se quisermos trabalhar em uma área específica no fundo do cérebro? Agora isso só é possível com eletrodos implantados. Mas, por exemplo, na natureza existem criaturas sensíveis ao campo magnético, a equipe Galit Pelled da Universidade de Michigan isolou esse gene dos peixes, apresentou-os aos ratos e aprendeu a controlar seu comportamento pela ação do campo magnético [18]. Assim, é possível ter efeitos direcionados nas áreas desejadas, por exemplo, interromper as crises epilépticas.
E todo um grupo de estudos de interfaces invasivas de Mikhail Lebedev em macacos rhesus: foi construída uma interface cérebro-computador-cérebro, que permitia, ao controlar membros virtuais, receber feedback tátil. Você pode ver com mais detalhes um trecho da palestra " Interface entre o cérebro e o computador ".
O Reino da Aprendizagem Profunda
Além do fato de que os algoritmos de "aprendizado profundo" permitem alcançar a já alta precisão do "aprendizado de máquina", pode-se notar que as pessoas estão trabalhando no "problema inverso". Com base em dados rápidos de EEG e MEG, você pode tentar restaurar a ativação real dos neurônios no cérebro, que agora é mostrada, por exemplo, pelo método fMRI, mas com uma resolução temporal muito baixa. Só podemos nos alegrar com o otimismo e acreditar no sucesso iminente deste trabalho.
Outro problema do BCI baseado em EEG ou MEG é que os resultados da atividade em diferentes áreas do cérebro para os mesmos componentes diferem entre os usuários; você precisa aprender a rede neural para cada usuário e tarefa, o que complica o trabalho com o sistema e o torna mais caro. No entanto, pode haver alterações com a “transferência de aprendizado”, quando a rede neural usa dados de diferentes usuários / em diferentes tarefas e retreinam online, como resultado, a etapa de calibração pode ser ignorada. [19]
Hardware
Finalmente, chegamos às glândulas!
Aqui é importante dizer cerca de 2 pontos, por um lado, o equipamento para BCI é bastante pesado, a pessoa nele chama atenção, em uma das performances foram demonstrados eletrodos em miniatura, de modo que a pessoa não se destaca em nada. [20]
Infelizmente, não há possibilidade de inserir uma foto maior, mas você pode ver a foto do Google .
Apesar de todo o tamanho miniatura, não é conveniente instalar esses eletrodos; você precisará colar cada eletrodo individualmente. Para acelerar, use vários dispositivos:
- Tampas de EEG nas quais os orifícios dos eletrodos são marcados
- Aros e capacetes de vários modelos, onde a posição dos eletrodos é basicamente fixa, apenas o OpenBCI se destaca com o Ultracortex, no qual os eletrodos podem ser rearranjados dependendo das tarefas.
Uma idéia relativamente nova são as matrizes de eletrodos CeeGrid , para montagem na região do ouvido, que são invisíveis e fáceis de instalar, mas um ponto negativo significativo é o uso limitado, embora existam trabalhos que mostram que é realista usar essa opção para ERP BCI [21] .
E o segundo problema é a necessidade de um gel condutor para um sinal de alta qualidade, é mostrado aqui que as diferenças são aceitáveis e o uso de eletrodos secos é justificado [22], mas tudo depende da quantidade de cabelo. Por exemplo, recentemente a Florida Research Instruments começou a vender um eletrodo seco alongado (à esquerda, na imagem abaixo), que difere da versão original pela maior redondeza dos pinos e, como você sabe, causa menos sentimentos negativos aos usuários. Opções ainda mais avançadas são quando os pinos dos eletrodos são equipados com amortecimento, graças ao material ou com a ajuda de molas (na figura abaixo, eles estão no centro e à direita).
Conclusão
A disseminação do BCI para as massas não será rápida e fácil; possibilidades muito limitadas para entender as condições do cérebro estão agora abertas, mas o progresso nessa área não pode ser ignorado. O principal é que existe uma tendência correta para reduzir o custo dos dispositivos / fornecer dispositivos por assinatura e o surgimento de projetos voltados para entusiastas.
Pessoalmente, estou muito satisfeito que, entre os projetos russos Emotive, MUSE, OpenBCI, promovidos, estejam começando a aparecer. No recente Neuroforum, realizado em São Petersburgo, foram demonstrados:
A expansão dos dispositivos disponíveis torna a área da interface atraente para estudo e experimentação. O limite de entrada é baixo, você sempre pode encontrar uma tarefa adequada e melhorar os algoritmos até o fim, adquirindo novos conhecimentos e habilidades. O que eu te desejo.
Então, eu vi a área da BCI, vamos ver o que será interessante no próximo ano.
UPD corrigiu a descrição das interfaces EBCI, por engano, elas foram atribuídas ao BCI ativo, o que não é verdade