Controlando pensamentos de robô com o Emotiv Insight

Controlar pensamentos com algo diferente de seus próprios membros é uma área fascinante. É sempre interessante imaginar um futuro em que possamos interagir com a Internet, não apenas com nossos dedos, boca, olhos e ouvidos.

Se você pensar bem, o computador e o telefone são interfaces terrivelmente ineficientes para obter as informações necessárias. Você sabe exatamente o que deseja saber: por exemplo, a taxa de câmbio atual do rublo em relação ao dólar. Use os dedos para clicar em determinadas áreas da tela do telefone com letras, sempre apontando os pontos certos e, em seguida, veja a resposta.

Seria muito mais bonito dizer mentalmente "Olá Igor!". Formule uma pergunta mentalmente e obtenha uma resposta com uma orelha / olho / outra maneira. Ou da mesma maneira rápida para enviar uma mensagem a um amigo. Em geral, conecte a Internet ao cérebro.

Como isso pode ser tentado na prática agora, vale a pena gerenciar algo, ver como é conveniente e tirar conclusões. Um vídeo com os resultados está no final do artigo.

1. Ideia de entrada
2. O que é necessário
3. Juntando
4. Tentamos uma vez
5. Tente dois
6. Três
7. Pensamentos de fim de semana

Idéia

O plano saiu simples:

Etapa 1. Pegue um dispositivo EEG que leia a atividade cerebral.
Etapa 2. Treinamos algum algoritmo que nos permite determinar comandos mentais com precisão suficiente. Tentamos vários tipos de comandos mentais (mais sobre isso mais tarde).
Etapa 3. Conecte-se a qualquer coisa em movimento.
Etapa 4. Tentamos executar uma tarefa simples, por exemplo, dirigir do ponto A ao ponto B.
Etapa 5. Tiramos conclusões de tudo isso, se for a hora. Caso contrário, repita as etapas 2 e 4.

Sim, experimentos semelhantes foram realizados anteriormente por vários especialistas: existem muitos testes da abordagem P300 , que permitem digitar pensamentos (que são produzidos com muita precisão, mas por um longo tempo ), controlam várias próteses e outros dispositivos. Nada de novo do ponto de vista científico está acontecendo no experimento atual, o objetivo é experimentar o controle do cérebro pessoalmente e tirar algumas conclusões dos sentimentos e pensamentos sobre a BCI (interface cérebro-computador).

O que é necessário

Tomamos o Emotiv Insight como um dispositivo de EEG. Longe do dispositivo mais preciso, com baixa resolução de um cartão eletromagnético montado, mas suficiente para nossos propósitos. Custa US $ 299 , quase sempre há descontos nesse modelo, mas o problema está na entrega para a Rússia: não é. Isso se explica não tanto pelos problemas logísticos, como também legislativos: os dispositivos de EEG são dispositivos médicos do ponto de vista das regras alfandegárias da Federação Russa (com conseqüências correspondentes).

Também é impossível ir buscar em algum lugar do mundo, então resta apenas pedir aos países próximos à Rússia que tenham a opção de entrega: Polônia, Israel ou algo assim. Há rumores de que ele está sendo vendido em Moscou sob o piso, mas com margens apropriadas.



Os dispositivos Emotiv também são bons do ponto de vista do software: ele é proprietário, mas pode fazer bastante e, o que é importante para os propósitos de nosso experimento, possui ferramentas integradas para trabalhar com comandos mentais.

Como robô, adotamos a plataforma Hicat.Livera . Construído com base no Arduino. De fato, é isso, apenas com uma câmera, rodas, um laser e pequenas modificações no software. Custa entre US $ 100 e US $ 150 , provavelmente é mais conveniente fazer o pedido via AliExpress, mas solicitamos diretamente pelo site, embora não houvesse problemas de entrega.

Juntando

Em alguns pontos, o processo de conectar tudo a uma bancada de testes ficou assim:

1. Instale o software necessário para o Emotiv a partir daqui . De todo o conjunto, precisamos de um conector e Emotiv BCI .

2. Conecte o Insight ao computador e teste a conexão.

3. Instale o Node-RED . Isso é algo maravilhoso que permite processar dados e sinais de maneira conveniente. Com a ajuda de um grande número de módulos, você pode compilar algum tipo de utilidade em alguns minutos: envie a si mesmo um alerta da chuva que está por vir nos telegramas, processe um monte de dados brutos e tudo mais.

4. Adicione à caixa de ferramentas Node-RED Emotiv como um módulo. Aqui está descrito o que é. Coloque alguns cliques.

5. Coletamos o Hicat.Livera. Está tudo certo: se tudo for feito de acordo com as instruções, a bateria cairá constantemente, um dos parafusos autoatarraxantes bloqueia as rotações da câmera e assim por diante. Aqui você precisa de um pouco de criatividade.

6. Conecte o robô ao computador. Para isso, você não precisa de nenhum software adicional, ele é controlado via WebSocket, basta estar na mesma rede Wi-Fi. É verdade que aqui também não é tão simples: nem todos os arquivos foram gravados no cartão de memória pelo fabricante, então tive que desmontar, baixar do repositório e sobrescrever. Em geral, o esplendor clássico e a pobreza dos projetos do kickstarter .

7. Fluxo mestre em Node-RED. Recebemos sinais das equipes treinadas no Emotiv BCI, eliminamos os ruídos no limiar e enviamos o valor da potência recebida ao robô. Um terço de segundo após cada sinal, redefinimos a tensão nos motores. Aconteceu assim:



O cartão em si para o Node-RED pode ser baixado aqui e importado para o seu Flow.

Além disso, resta apenas praticar e tentar.

Tente uma vez

O robô pode avançar / retroceder, girar separadamente cada roda, levantar / abaixar a câmera e ligar / desligar o laser. É difícil treinar ao mesmo tempo para 6-8 ações; portanto, a primeira tentativa envolveu três ações: vá em frente, vire à esquerda e vire à direita.

Qualidade de conexão Cerebras pode ser vista em um monitor conveniente. No caso do Insight, é importante que o sensor principal atrás da orelha seja muito apertado contra o couro cabeludo: se houver interferência, não haverá sinal dos outros seis sensores.



O próximo é o treinamento. Primeiro, o mais difícil é registrar um estado de consciência calmo e normal, sem estímulos e pensamentos externos. Quem sabe as práticas meditativas ainda não importa onde, mas, assim, não é nada fácil pensar em nada. O algoritmo terá esse registro como pano de fundo e procurará diferenças entre os estados de comando e os padrão.

Depois disso - treinamento de cada equipe. As duas ou três primeiras entradas são percebidas incondicionalmente como a base do treinamento. Em seguida, o algoritmo determina cada vez que o seu registro é semelhante ao anterior. Se a diferença for muito grande, é recomendável não considerar esta sessão no treinamento. Obviamente, com estados de consciência de muitos lados, o treinamento é inútil.

Cada sessão de treinamento subsequente esclarece o estado do modelo, a equipe de rastreamento. No mapa deste modelo, você pode ver o quanto as equipes diferem entre si: se a semelhança for muito grande (os pontos no radar estão próximos), o algoritmo dificilmente entenderá o que você tinha em mente em cada caso.



A principal questão durante o treinamento é o que, de fato, pensar? Com o cérebro, podemos fazer duas coisas: controlar os músculos e pensar. O fato é que o córtex motor, responsável pelos movimentos musculares, produz uma interferência muito forte do ponto de vista do EEG. Ou seja, se, em equipe, você tentar mover seus membros, forçá-los ou imaginar que eles estão funcionando, isso gerará um ruído contínuo e inextricável com uma precisão geral como o modelo Insight.

Resta pensar. Há uma grande extensão: falar mentalmente palavras, pensar em algum tipo de sensação, imaginar-se em algum lugar, imaginar o robô se movendo na direção certa, etc.

Para começar, foi escolhida uma direção verbal: pronunciar uma frase específica para cada equipe com uma voz interna.

Os resultados dessa abordagem foram insatisfatórios: sim, os comandos foram definitivamente executados com diferentes configurações de sensibilidade, mas acabou sendo completamente impossível controlá-los. Há uma clara distinção entre tentar executar comandos e sua ausência: no primeiro caso, o robô faz alguma coisa, no segundo praticamente não há nada, mas não foi possível forçá-lo a ir pelo menos na direção aproximada.

Tente duas

Além disso, surgiu a ideia de tentar as seguintes áreas:

1. Para pensar em algum momento brilhante, por exemplo, você fica na praia e o sol se aquece calorosamente.
2. Ouça diferentes sinais sonoros / trechos de música.
3. Representam frio / calor em certas partes de certos membros.
4. Tente imitar o alto astral e o mau humor.
5. Ouça os comandos de voz de pessoas diferentes de diferentes ângulos (para aumentar a diferenciação de sinais adicionando sensação espacial).

Os resultados foram interessantes: por exemplo, a voz de uma pessoa ao lado do sujeito do experimento levou ao movimento do robô em uma direção e a outra pessoa na outra. Não importava o que essas pessoas diziam.

Mas, em geral, a precisão acabou sendo igualmente triste: gerenciar com uma qualidade que permita executar uma sequência estrita de comandos não funcionou.

Três

Para aumentar a precisão do controle, foi decidido reduzir o número de equipes de três para duas: avançando e girando no lugar em uma direção. Isso é suficiente para avançar no avião, e o reconhecimento de apenas duas equipes deve ser mais fácil.

O resultado é o seguinte:


É muito fácil ir do ponto A ao ponto B, mas após uma série de treinamentos, há um resultado aproximado.

Pensamentos de fim de semana

A BCI, na forma de comandos mentais abstratos, é algo impossível do ponto de vista prático. Sim, você pode implantar eletrodos em uma parte específica do cérebro, treinar por um longo tempo e, como resultado, aprender a controlar o cursor ou um braço robótico, como o seu. Isso é adequado para resolver problemas de incapacidade e outros problemas, mas em cada caso essa solução é individual para uma pessoa em particular, porque o cérebro precisa de um período relativamente longo de construção de novas conexões neurais.

Como interface de massa: comprei, puxei na cabeça e usei - ele não funciona. Alguns de nós imediatamente conseguiram uma implementação clara dos comandos, enquanto outros não conseguiram fazer nada, mesmo após longos treinamentos. O processo é muito individual e muito complicado para explicar nas instruções de uso. Além disso, no dia seguinte, após um gerenciamento bem-sucedido, é difícil repetir a mesma coisa: o estado de consciência já é um pouco diferente.

É muito mais eficaz, na minha opinião, usar dispositivos que leem a voz interior através de mudanças nos potenciais dos músculos da mandíbula e pescoço inferiores para controle "mental". Quando falamos sozinhos, os sinais nervosos são dados aos músculos do aparelho vocal, eles se movem muito levemente . Se eles são monitorados por sensores sensíveis, quase sem treinamento, você pode ditar o texto com sua voz interior.

Existem muitos dispositivos semelhantes, um dos últimos é o projeto AlterEgo , dos pesquisadores do MIT. Enquanto estiver em desenvolvimento, mas nas demonstrações em vídeo, você pode ver que ele ainda funciona relativamente bem.



Em essência, porém, é o mesmo controle de fala, mas sem som. O problema com todas as interfaces de fala é a falta de entendimento da paleta de comandos. Se olharmos para um site ou aplicativo, vemos botões, assinaturas e entendemos onde cutucar. No caso de um assistente de voz, não é possível entender exatamente o que pode ser perguntado; os comandos possíveis devem ser aprendidos de cor ou cada vez que se ouve longas listas de possíveis tópicos para diálogo. Tudo isso, junto com o reconhecimento de fala não ideal, leva ao fato de que agora usamos apenas o conjunto padrão de comandos de assistente de voz: ligue para Sophocles, ajuste um temporizador por quinhentos anos, lembre-se de parar no trabalho.

Portanto, no momento, temos o seguinte: a) se você gerencia algo para que fique legal, mas ao mesmo tempo funciona, ele está apenas lendo a voz interna (será necessário fazer um experimento aqui também) eb) competição pela interface gráfica até agora nem mesmo perto.

Em relação ao segundo ponto, existem tecnologias no campo da estimulação magnética transcraniana . Em resumo: se você focar algo como um microondas no córtex visual, veremos fosfenos - pontos brilhantes e efeitos que o olho não vê. Esses dispositivos podem desenhar caracteres bastante precisos, por exemplo, letras no espaço. Esses procedimentos, em regra, causam fortes dores de cabeça e náusea, não são muito recomendados para experimentos, mas, em teoria, é possível desenhar uma interface na cara de um homem de ferro sem lentes e óculos. É verdade que você pode usar lentes e óculos, mas mais sobre isso, talvez outra hora.

^{Na capa, está uma foto tirada por Road to VR para um artigo sobre os experimentos BCI da Valve.}