Como usar o "Tobii Eye Tracker 4C" para se comunicar com uma criança que não pode falar e se mover (SMA, paralisia cerebral, ELA)

A metodologia é baseada no rastreamento da direção da visão, realizada pelo dispositivo "Tobii Eye Tracker 4C". Uma tabela com várias fotos é exibida na tela do computador. Se você observar uma imagem separada, a frase correspondente será dublada, por exemplo, “beber”, “virar de lado”, “assistir desenhos animados”.

Quando a criança aprende as letras, será possível usar métodos mais complexos, como digitar com os olhos .

O que é necessário (em poucas palavras)?

1. um computador
2. IT Tracker - dispositivo de rastreamento de olhar
3. software livre (do autor do artigo)

Conteúdo

Como isso funciona?

Instruções detalhadas
1. Escolhendo um computador
2. Tobii Eye Tracker 4C
2.1 Montagem do rastreador no monitor
3. Instalação do Software
3.1 (Não é mais necessário) Obtenha a versão do arquivo TobiiGazeCore32.dll 4.1.3.938 ou mais recente
3.2 Instalação e calibração do driver
3.3 (Não é mais necessário) Instalação do "Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4"
3.4 Instalação e configuração de software livre (do autor do artigo)
3.4.1 Configurando o programa para funcionar no modo de tabela
4. Usando o programa
5. Como alterar o conteúdo de uma tabela
6. Chamando programas externos (atualização de novembro de 2018)
7. Gerenciamento de dispositivos externos: eletrodomésticos, carrinhos motorizados, modelos controlados por rádio (atualização de novembro de 2018)
Você pode comprar um sistema pronto de um fabricante conhecido?
Saudações e agradecimentos

Como isso funciona?

Vídeo ilustrativo do programa:


Violetta aprende a trabalhar com o programa:


Violetta é travessa e diz "Não!" usando o programa:


Se você não possui um rastreador de TI, ainda pode avaliar a operação do programa, pois ele também pode funcionar com qualquer dispositivo que mova o cursor do mouse na tela. Mova o mouse pela tela da maneira que moveria seu olhar. Pause o cursor nas imagens (não é necessário clicar em nada). Isso corresponderá à fixação do olhar na imagem ao usar o ititracker.

Para que o programa funcione neste modo, você precisa selecionar o Air Mouse como o dispositivo usado (2 na figura abaixo), mas primeiro não se esqueça de marcar a caixa "Modo de tabela (GRID) - para crianças" (1).

Instruções detalhadas

1. Escolhendo um computador

Qual computador é adequado para isso? Eu diria o seguinte: moderno com características médias e as versões do sistema operacional Windows 7, 8.1, 10 (Windows 10 - apenas 64 bits). Apesar das recomendações para o uso do rastreador de TI Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C), é recomendável usar um computador com um processador Intel i5 ou i7, consegui trabalhar com processadores modernos mais baratos: i3, Pentium, Celeron e até Atom x5, embora o trabalho nos dois últimos possa parecer mais lento.

Em outras palavras, se você já possui um computador e ele não é arcaico, tente trabalhar nele. Se você está pensando em comprar um computador, a principal coisa - não pegue o antigo e não com o processador Atom. Embora, se não houver dinheiro, você pode tentar isso, mas é melhor discutir a possibilidade de retorno.

Um computador deve ter pelo menos uma porta USB versão 2 ou 3. É melhor que haja pelo menos duas portas para que você possa conectar um mouse além de um rastreador de TI. (Os tablets, a propósito, costumam pecar por terem apenas uma porta USB).

2. Tobii Eye Tracker 4C

Este dispositivo é fabricado pela Tobii para jogadores de computador e é vendido a um preço razoável. Para não criar concorrência por seus dispositivos muito mais caros, o "Tobii Eye Tracker 4C" é incompatível com os programas para pessoas com deficiência que são liberadas para ele.

No entanto, as ferramentas de desenvolvimento lançadas pelo Tobii me deixaram uma brecha que me permitiu escrever esses programas. Talvez não seja tão perfeito, mas livre.

Hoje (outono de 2018), este dispositivo pode ser facilmente comprado em várias lojas. Você pode facilmente encontrar a opção mais conveniente para si mesmo. Tomei na primavera de 2018 por 11500 rublos russos.

2.1 Montagem do rastreador no monitor.

Vídeo que ilustra a instalação em um laptop:


O computador pode ser grande com um monitor independente ou móvel (laptop). Talvez até um tablet com Windows. Mas é preciso lembrar que o rastreador de TI precisa ser colocado exatamente embaixo do monitor para que a montagem seja rígida. E se um rastreador de TI estiver conectado a um monitor comum com o ímã autoadesivo que acompanha o kit, você deverá conectá-lo ao tablet de alguma forma com domínio. Na foto abaixo, o tablet e o rastreador de TI são montados em um pedaço da placa, que, por sua vez, é conectada a um suporte que gira no canto da mesa.



Você também precisa se lembrar de que atrás do vidro escuro (transparente apenas na faixa de infravermelho) há uma câmera no centro do rastreador de TI e os LEDs infravermelhos nas bordas. Ao prender com grampos, é importante não bloquear um ou outro.

A linha dos olhos deve coincidir com a linha da localização do rastreador de TI. Se uma pessoa estiver ao seu lado, o monitor deverá estar inclinado para um lado.

A distância dos olhos ao monitor com um rastreador de TI deve ser de cerca de 50 cm (comprimento do braço) ou um pouco mais. Portanto, fixar o rastreador de TI na TV na parede não funcionará - longe demais.

Como já mencionado, há uma câmera no rastreador de TI e ela deve ser direcionada aos olhos. A superfície frontal do rastreador de TI reflete um pouco de luz. Tente ver seus olhos nele, como em um espelho, isso significa que a câmera está olhando para eles. Incline o monitor, se necessário.

3. Instalação do Software

Faça tudo nesta ordem!

3.1 (Não é mais necessário) Obtenha a versão do arquivo TobiiGazeCore32.dll 4.1.3.938 ou mais recente

3.2 Instalação e calibração do driver

Vamos para a página tobiigaming.com/getstarted e clicamos no botão "Tobii Eyetracking":



Em seguida, no botão exibido "Download":



Salvamos o arquivo (para o futuro) e o executamos:



Colocamos uma marca, clique no botão "Avançar":



Estamos esperando ...





Clique no botão "Continuar":



Em seguida, pressione o botão "Introdução":



Em seguida, você precisará arrastar as linhas na tela com o mouse para que coincidam com as faixas no corpo do rastreador de TI:





Quando terminar, pressione o botão "Concluído".

Em seguida, dois círculos aparecerão na tela, que ilustram se o rastreador de TI vê bem seus olhos.



Se os círculos não estiverem localizados no centro da tela (como na figura acima), incline o monitor para movê-los.
Se os círculos forem grandes e nublados, você se aproximou demais do monitor.
Se os círculos forem pequenos e nublados, você estará muito distante do monitor.

Como escrevi acima, a distância ideal entre o monitor e os olhos é de cerca de 50 cm.

Em seguida, a calibração do rastreador de TI começa.

IMPORTANTE !!!

Se a criança usar o rastreador de TI, a calibração precisará ser feita através dos olhos da criança!

Primeiro, você pode calibrar o dispositivo sob seus próprios olhos e depois sob os olhos de uma criança.
Pontos azuis aparecerão na tela, você precisará observar cada um deles.



Depois de fixar o olhar em um dos pontos, ele se desfaz em pedaços, como o ponto superior da figura acima.

Após a calibração, digite o nome da pessoa cujos olhos foram calibrados e clique no botão "Salvar"



Em seguida, um jogo começará, no qual você moverá os olhos da vista da espaçonave e depois atirará nos asteróides com a barra de espaço:



Você pode sair do jogo pressionando a tecla "Escape".

Um ícone aparecerá na barra de tarefas com dois círculos representando os olhos:



Se o dispositivo vir apenas um olho, apenas um círculo será mostrado:



Se o dispositivo não encontrar os olhos, duas cruzes serão traçadas:



IMPORTANTE! Para impedir que os programas interfiram entre si, é necessário desativar as ações padrão que o driver Tobii produz.

Para fazer isso, clique no ícone do círculo (1) e, no menu exibido, vá para a seção Interações (2):



Em cada uma das seções (Touchpad, Mouse, Windows), coloque todos os interruptores na posição “OFF”:







Se você quiser que outra pessoa trabalhe com o dispositivo, também precisará realizar uma calibração para os olhos dele. Para fazer isso, clique novamente no ícone com dois círculos e, em seguida, na seta esquerda:



Em seguida, selecione o item “Criar novo perfil ...” (1) e repita a calibração para uma nova pessoa.

A alternância entre perfis de pessoas diferentes é feita na área abaixo (2). O perfil atual é marcado com um círculo azul:

3.3 (Não é mais necessário) Instalação do "Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4"

3.4 Instalação e configuração de software livre (do autor do artigo)

Nós seguimos o link.

Depois disso, pressionamos o botão "Download" ou "View Raw"



Salve o arquivo.



(se alguém estiver interessado, os códigos-fonte C ++ também estão próximos)

Crie o diretório "C: \ bkb" e copie o conteúdo do arquivo baixado "bkb32c-Russian.zip" lá.

Você deve obter um diretório com esses arquivos e um subdiretório "grid":



De fato, você pode escolher outro diretório para o programa, mas é melhor que este não seja um subdiretório de "Arquivos de Programas ...". O fato é que o programa pode salvar algo (por exemplo, um log de erros) neste diretório e os subdiretórios "Arquivos de Programas ..." são fechados para gravação. (Sim, eu sei o que era necessário escrever em% AppData%, mas isso aconteceu historicamente).

3.4.1 Configurando o programa para funcionar no modo de tabela

O programa foi escrito para que, se você não clicar em nada na primeira janela, ele comece a determinar com qual dispositivo ele deve trabalhar. Isso é feito para que possa ser carregado automaticamente no computador de uma pessoa que não pode pressionar nada.

Portanto, no início do programa, não capturamos o corvo, mas rapidamente colocamos uma marca no campo "Modo de tabela (GRID) - para crianças" (1).



Também recomendo clicar no botão "Todas as configurações" (2) e definir um tempo mais longo para corrigir a aparência das fotos, bem como um tempo de espera para a próxima correção da aparência:



Atualização 03.10.2018: Na versão mais recente do programa, o tempo de consolidação da tabela é obtido das configurações e multiplicado por 3, portanto, talvez você não precise aumentá-lo.

Clique no botão "Salvar" e selecione nosso rastreador de TI, por exemplo, Tobii (3).

Se você não teve tempo de verificar ou inserir as configurações, e o programa foi iniciado, feche-o e tente novamente.

Você pode sair do programa apenas fechando sua janela na barra de tarefas:

4. Uso do programa

Após iniciar no modo de tabela, o programa expandirá a seguinte imagem para tela cheia:



Você pode recolher esta tabela em uma célula, observando a seta esquerda (recolher). Por exemplo, para assistir desenhos animados.

Se você olhar para a tabela recolhida, ela será expandida para tela cheia novamente.

Se você olhar para o círculo verde, a palavra "Sim" será pronunciada.

No vermelho - a palavra "Não"

Na campainha está o som da campainha.

Em uma das imagens - a frase correspondente:

Célula da tabela
0. O estômago dói.
1. Beba.
2. Para comer.
3. Faça o download.
4. Nadar.
5. Assista a desenhos animados.
6. empate.
7. Vire de lado.
8. dormir
9. Olhe pela janela.
um arranhão na testa.
b.Leia um conto de fadas.

Como já mencionado, você pode sair do programa apenas fechando sua janela na barra de tarefas.

5. Como alterar o conteúdo de uma tabela

Você pode alterar o conteúdo da tabela colocando seus próprios arquivos no diretório "grid".

Para fotos, esses são arquivos BMP. (é recomendável salvá-los no Microsoft Paint, caso contrário, o programa poderá não lê-los).

Para sons, esses são arquivos WAV.

O arquivo 0.BMP é exibido na primeira célula da tabela e o som 0.WAV é reproduzido
Na segunda célula - 1.BMP e 1.WAV
No total, em um nível, pode haver até 16 células, elas são numeradas da seguinte maneira:
0,1,2,3,4,5,6,7,8,9, A, B, D, E, F

Ou seja, os arquivos F.BMP e F.WAV serão anexados à 16ª célula

Você pode criar níveis de tabela adicionais.
Por exemplo, quando você seleciona a célula "Comer", pode abrir uma mesa com uma escolha de comida.

Em uma tabela de segundo nível, os arquivos são chamados de valores de dois dígitos.
Por exemplo, "Comer" no primeiro nível é o número 2 e a partir dele entramos em uma tabela com células começando em 2: 20, 21, 22 .......

Tente o seguinte:

Pegue o arquivo 2.BMP e copie-o para o arquivo 20.bmp e também para o arquivo 21.bmp. Em seguida, no editor de gráficos, modifique o arquivo 20.bmp para que uma placa com mingau apareça lá. E edite o arquivo 21.bmp para que haja uma imagem de purê de batatas.

Agora grave dois arquivos de som: 20.wav e 21.wav. Na primeira, escreva como você pronuncia a palavra "mingau" e, na segunda, a palavra "purê de batatas".

Agora reinicie o programa e, quando a criança olhar para a figura com a palavra “comer”, depois de dizer essa palavra, uma nova tabela será aberta com as figuras 20.bmp e 21.bmp. E quando você parar de olhar para essas figuras, as palavras gravadas nos arquivos 20.wav e 21.wav, respectivamente, serão pronunciadas.

Pode haver três níveis no total, como mostrado abaixo:



As células do próximo nível adicionam outro dígito ao nome do arquivo de nível superior:
Mingau de 2 comidas, 20 mingau e 200 sêmolas.

Depois de adicionar novos arquivos ao diretório “grid”, o programa precisa ser reiniciado para poder vê-los.

Grave seus sons, crie suas próprias imagens, combine-as em suas próprias tabelas.

Exemplos de telas criadas por outras pessoas:

6. Chamando programas externos (atualização de novembro de 2018)

Agora você pode chamar programas externos simplesmente adicionando um arquivo com a extensão .cmd e o mesmo nome que o arquivo com a extensão .bmp

Por exemplo, para uma imagem 5.bmp, você pode criar um arquivo 5.cmd e, se você olhar para essa foto em uma tabela, não apenas o som 5.wav será reproduzido, mas também o arquivo 5.cmd será iniciado

Quando você chama um programa externo, a janela com a tabela é minimizada, transformando-se em um pequeno quadrado com uma seta para que você possa ver a janela do programa em execução.

7. Gerenciamento de dispositivos externos: eletrodomésticos, carrinhos motorizados, modelos controlados por rádio (atualização de novembro de 2018)

Um artigo separado é dedicado a isso: habr.com/post/430078
Aqui, darei clipes de vídeo mostrando como isso pode funcionar:

Você pode comprar um sistema pronto de um fabricante conhecido?

Claro que você pode. Mas eles pedem dinheiro por software e esses programas não funcionam com rastreadores de TI de jogos baratos.

Por exemplo, um rastreador com um programa básico por US $ 1.700 .

Mesas de comunicação - grade 3 por £ 480

Tabelas mais simples - Snap + Core First por US $ 180

Eles trabalham com o idioma e o teclado russo - eu não sei.

Saudações e agradecimentos

Eu criei o modo de mesa para a comunicação das crianças com a apresentação de Alexander Makarchuk, chefe da fundação de caridade "Owl" ( sova.by ) da Bielorrússia. Alexander também me ajudou na coleta de requisitos e testes. O Fundo, entre outras coisas, organiza o ensino à distância de pessoas com deficiência com emprego subsequente. Sasha, olá e boa sorte para você!