Cómo usar "Tobii Eye Tracker 4C" para comunicarse con un niño que no puede hablar ni moverse (AME, parálisis cerebral, ELA)

La metodología se basa en el seguimiento de la dirección de la mirada que implementa el dispositivo Tobii Eye Tracker 4C. Se muestra una tabla con varias imágenes en la pantalla de la computadora. Si mantiene sus ojos en una imagen separada, la frase correspondiente se expresará, por ejemplo, "beber", "ponerse de lado", "ver dibujos animados".

Cuando el niño aprende las letras, será posible utilizar métodos más complejos, como escribir con los ojos .

¿Qué se requiere (en pocas palabras)?

1. una computadora
2. IT Tracker - dispositivo de seguimiento de la mirada
3. software libre (del autor del artículo)

Contenido

Como funciona

Instrucción detallada
1. Elegir una computadora
2. Tobii Eye Tracker 4C
2.1 Montaje del rastreador en el monitor
3. Instalación del software
3.1. (Ya no es necesario) Obtener la versión del archivo TobiiGazeCore32.dll 4.1.3.938 o posterior
3.2. Instalación del controlador y calibración
3.3. (Ya no es necesario) Instalación de "Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4"
3.4. Instalación y configuración de software libre (del autor del artículo)
3.4.1. Configurar el programa para trabajar en modo tabla
4. Usando el programa
5. Cómo cambiar el contenido de una tabla
6. Llamada a programas externos (actualización de noviembre de 2018)
7. Gestión de dispositivos externos: electrodomésticos, cochecitos motorizados, modelos controlados por radio (actualización de noviembre de 2018)
¿Puedes comprar un sistema listo de un conocido fabricante en su lugar?
Saludos y gracias

Como funciona

Video que ilustra el programa:


Violetta aprende a trabajar con el programa:


Violetta es traviesa y dice "¡No!" usando el programa:


Si no tiene un rastreador de TI, aún puede evaluar el funcionamiento del programa, ya que también puede funcionar con cualquier dispositivo que mueva el cursor del mouse en la pantalla. Mueva el mouse por la pantalla de la misma manera que movería su mirada. Pause el cursor en las imágenes (no necesita hacer clic en nada): esto corresponderá a fijar la mirada en la imagen cuando use el ititracker.

Para que el programa funcione en este modo, debe seleccionar el Air Mouse como el dispositivo utilizado (2 en la figura siguiente), pero primero no olvide marcar la casilla "Modo de tabla (GRID) - para niños" (1).

Instrucción detallada

1. Elegir una computadora

¿Qué computadora es adecuada para esto? Yo diría esto: moderno con características promedio y el sistema operativo Windows versiones 7, 8.1, 10 (Windows 10 - solo 64 bits). A pesar de que las recomendaciones para usar el rastreador de TI Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) se recomienda usar una computadora Con un procesador Intel i5 o i7, pude trabajar en procesadores modernos más baratos: i3, Pentium, Celeron e incluso Atom x5, aunque el trabajo en los dos últimos puede parecer más lento.

En otras palabras, si ya tiene una computadora y no es arcaica, entonces debería intentar trabajar en ella. Si está pensando en comprar una computadora, lo más importante: no tome la vieja y no la tome con el procesador Atom. Aunque, si no hay absolutamente ningún dinero, puede intentarlo, pero es mejor discutir la posibilidad de un retorno.

Una computadora debe tener al menos un puerto USB versión 2 o 3. Es mejor que haya al menos dos puertos para poder enchufar un mouse además de un rastreador de TI. (Las tabletas, por cierto, a menudo pecan que solo tienen un puerto USB).

2. Tobii Eye Tracker 4C

Este dispositivo es fabricado por Tobii para jugadores de computadora y se vende a un precio razonable. Para no crear competencia por sus dispositivos mucho más caros, "Tobii Eye Tracker 4C" se hace incompatible con los programas para personas con discapacidades que se le ofrecen.

Sin embargo, las herramientas de desarrollo lanzadas por Tobii me dejaron un vacío que me permitió escribir tales programas yo mismo. Quizás no tan perfecto, pero gratis.

Hoy (otoño de 2018) este dispositivo se puede comprar fácilmente en varias tiendas. Puede encontrar fácilmente la opción más conveniente para usted. Tomé en la primavera de 2018 por 11500 rublos rusos.

2.1 Montaje del rastreador en el monitor.

Video que ilustra la instalación en una computadora portátil:


La computadora puede ser grande con un monitor independiente o móvil (computadora portátil). Tal vez incluso una tableta de Windows. Pero debe recordar que el rastreador de TI debe colocarse exactamente BAJO el monitor para que el soporte sea rígido. Y si un rastreador de TI está conectado a un monitor normal con el imán autoadhesivo que viene con el kit, entonces debe conectarlo a la tableta de alguna manera magistral. En la foto a continuación, la tableta y el rastreador de TI están montados en una pieza del tablero, que, a su vez, está conectada a un soporte que gira en la esquina de la mesa.



También debe recordar que detrás del cristal oscuro (transparente solo en el rango infrarrojo) hay una cámara en el centro del rastreador de TI y LED infrarrojos en los bordes. Al sujetar con abrazaderas, es importante no bloquear ni una ni la otra.

La línea de los ojos debe coincidir con la línea de la ubicación del rastreador de TI. Si una persona se acuesta de lado, entonces el monitor debe estar inclinado hacia un lado.

La distancia desde los ojos hasta el monitor con un rastreador de TI debe ser de unos 50 cm (longitud del brazo) o un poco más. Por lo tanto, fijar el rastreador de TI al televisor en la pared no funcionará, demasiado lejos.

Como ya se mencionó, hay una cámara en el rastreador de TI, y debe apuntar a los ojos. La superficie frontal del rastreador de TI refleja un poco de luz. Intente ver sus ojos en él, como en un espejo, esto significará que la cámara los está mirando. Incline el monitor si es necesario.

3. Instalación del software

¡Haz todo en este orden!

3.1. (Ya no es necesario) Obtener la versión del archivo TobiiGazeCore32.dll 4.1.3.938 o posterior

3.2. Instalación del controlador y calibración

Vamos a la página tobiigaming.com/getstarted y hacemos clic en el botón "Tobii Eyetracking":



Luego, en el botón aparecido "Descargar":



Guardamos el archivo (para el futuro) y luego lo ejecutamos:



Ponemos una marca, haga clic en el botón "Siguiente":



Estamos esperando ...





Haga clic en el botón "Continuar":



Luego presione el botón "Comenzar":



A continuación, deberá arrastrar las líneas en la pantalla con el mouse para que coincidan con las rayas en el cuerpo del rastreador de TI:





Cuando termine, presione el botón "Listo".

Luego aparecerán dos círculos en la pantalla, que ilustran si el rastreador de TI ve bien sus ojos.



Si los círculos no se encuentran en el centro de la pantalla (como en la imagen de arriba), incline el monitor para moverlos.
Si los círculos son grandes y nublados, se ha movido demasiado cerca del monitor.
Si los círculos son pequeños y nublados, está demasiado alejado del monitor.

Como escribí anteriormente, la distancia óptima desde el monitor a los ojos es de aproximadamente 50 cm.

A continuación, comienza la calibración del rastreador de TI.

IMPORTANTE !!!

Si el niño usa el rastreador de TI, ¡entonces la calibración deberá hacerse a través de los ojos del niño!

Primero puede calibrar el dispositivo bajo sus propios ojos, y luego bajo los ojos de un niño.
Aparecerán puntos azules en la pantalla, deberá mirar cada uno de ellos por turno.



Después de fijar su mirada en uno de los puntos, se volará en pedazos, como el punto superior en la imagen de arriba.

Después de la calibración, ingrese el nombre de la persona cuyos ojos fueron calibrados y haga clic en el botón "Guardar"



A continuación, comenzará un juego en el que moverás los ojos de la vista de la nave espacial y luego dispararás a los asteroides con la barra espaciadora:



Puedes salir del juego presionando la tecla "Escape".

Aparecerá un icono en la barra de tareas con dos círculos que representan ojos:



Si el dispositivo ve solo un ojo, solo se mostrará un círculo:



Si el dispositivo no encuentra los ojos, se dibujarán dos cruces:



¡IMPORTANTE! Para evitar que los programas interfieran entre sí, debe deshabilitar las acciones estándar que produce el controlador Tobii.

Para hacer esto, haga clic en el ícono del círculo (1) y en el menú que se abre, vaya a la sección Interacciones (2):



En cada una de las secciones (Touchpad, Mouse, Windows), coloque todos los interruptores en la posición "OFF":







Si desea que otra persona trabaje con el dispositivo, también debe realizar una calibración para sus ojos. Para hacer esto, nuevamente haga clic en el icono con dos círculos, y luego en la flecha izquierda:



Luego seleccione el elemento "Crear nuevo perfil ..." (1) y repita la calibración para una nueva persona.

El cambio entre los perfiles de diferentes personas se realiza en el área a continuación (2). El perfil actual está marcado con un círculo azul:

3.3. (Ya no es necesario) Instalación de "Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4"

3.4. Instalación y configuración de software libre (del autor del artículo)

Seguimos el enlace.

Después de eso, presionamos el botón "Descargar" o "Ver sin formato"



Guarda el archivo.



(si alguien está interesado, los códigos fuente de C ++ también están cerca)

Cree el directorio "C: \ bkb" y copie el contenido del archivo descargado "bkb32c-Russian.zip" allí.

Debería obtener un directorio con dichos archivos y un subdirectorio "grid":



De hecho, puede elegir otro directorio para el programa, pero es mejor que este no sea un subdirectorio de "Archivos de programa ...". El hecho es que el programa puede guardar algo (por ejemplo, un registro de errores) en este directorio, y los subdirectorios "Archivos de programa ..." están cerrados para escritura. (Sí, sé lo que era necesario escribir en% AppData%, pero esto sucedió históricamente).

3.4.1. Configurar el programa para trabajar en modo tabla

El programa está escrito de modo que si no hace clic en nada en su primera ventana, comienza a determinar con qué dispositivo debería funcionar. Esto se hace para que pueda cargarse automáticamente en la computadora de una persona que no puede presionar nada.

Por lo tanto, al comienzo del programa, no atrapamos al cuervo, sino que marcamos rápidamente el campo "Modo de tabla (GRID) - para niños" (1).



También recomiendo hacer clic en el botón "Todas las configuraciones" (2) y establecer un tiempo más largo para fijar el aspecto en las imágenes, así como un tiempo de espera para la próxima fijación del aspecto:



Actualización 03.10.2018: en la última versión del programa, el tiempo de confirmación de la tabla se toma de la configuración y se multiplica por 3, por lo que es posible que no necesite aumentarlo.

Haga clic en el botón "Guardar" y seleccione nuestro rastreador de TI, por ejemplo, Tobii (3).

Si no tuvo tiempo de verificar o ingresar la configuración, y el programa comenzó, ciérrelo e intente nuevamente.

Puede salir del programa solo cerrando su ventana en la barra de tareas:

4. Uso del programa.

Después de comenzar en modo tabla, el programa expandirá la siguiente imagen a pantalla completa:



Puede contraer esta tabla en una celda mirando la flecha izquierda (contraer). Por ejemplo, para ver dibujos animados.

Si observa la tabla contraída, se expandirá nuevamente a pantalla completa.

Si observa el círculo verde, se pronunciará la palabra "Sí".

En rojo: la palabra "No"

En la campana está el sonido de la campana.

En una de las imágenes, la frase correspondiente:

Celda de mesa
0. El estómago duele.
1. Beber.
2. Para comer.
3. Descargar.
4. Nadar.
5. Ver dibujos animados.
6. dibujar.
7. Voltear de lado.
8 dormir
9. Mira por la ventana.
a. rascarse la frente.
b. Lee un cuento de hadas.

Como ya se mencionó, puede salir del programa solo cerrando su ventana en la barra de tareas.

5. Cómo cambiar el contenido de una tabla

Puede cambiar el contenido de la tabla colocando sus propios archivos en el directorio "grid".

Para las imágenes, estos son archivos BMP. (es recomendable guardarlos en Microsoft Paint, de lo contrario el programa podría no leerlos).

Para los sonidos, estos son archivos WAV.

El archivo 0.BMP se muestra en la primera celda de la tabla y se reproduce el sonido 0.WAV
En la segunda celda: 1.BMP y 1.WAV
En total, en un nivel puede haber hasta 16 celdas, se numeran de la siguiente manera:
0,1,2,3,4,5,6,7,8,9, A, B, D, E, F

Es decir, los archivos F.BMP y F.WAV se adjuntarán a la celda 16.

Puedes hacer niveles de tabla adicionales.
Por ejemplo, cuando selecciona la celda "Comer", puede abrir una tabla con una selección de alimentos.

En una tabla de segundo nivel, los archivos se denominan valores de dos dígitos.
Por ejemplo, "Comer" en el primer nivel es el número 2, y de allí nos metemos en una tabla con celdas que comienzan en 2: 20, 21, 22 .......

Intenta esto:

Tome el archivo 2.BMP y cópielo en el archivo 20.bmp, y también en el archivo 21.bmp. Luego, en el editor de gráficos, modifique el archivo 20.bmp para que aparezca una placa con gachas de avena. Y edite el archivo 21.bmp para que haya una imagen de puré de papas.

Ahora grabe dos archivos de sonido: 20.wav y 21.wav. En la primera, escriba cómo pronuncia la palabra "gachas" y en la segunda, la palabra "puré de papas".

Ahora reinicie el programa, y ​​cuando el niño mire la imagen con la palabra "comer", después de decir esta palabra, se abrirá una nueva tabla con sus imágenes 20.bmp y 21.bmp. Y cuando deje de mirar estas imágenes, se pronunciarán las palabras grabadas en los archivos 20.wav y 21.wav, respectivamente.

Puede haber tres niveles en total, como se muestra a continuación:



Las celdas del siguiente nivel agregan otro dígito al nombre del archivo de nivel superior:
2 comidas, 20 gachas, 200 gachas de sémola.

Después de agregar nuevos archivos al directorio "grid", el programa debe reiniciarse para que pueda verlos.

Grabe sus sonidos, cree sus propias imágenes, combínelas en sus propias tablas.

Ejemplos de pantallas creadas por otras personas:

6. Llamada a programas externos (actualización de noviembre de 2018)

Ahora puede llamar a programas externos simplemente agregando un archivo con la extensión .cmd y el mismo nombre que el archivo con la extensión .bmp

Por ejemplo, para una imagen 5.bmp, puede crear un archivo 5.cmd , y si mira esta imagen en una tabla, no solo se reproducirá el sonido 5.wav , sino también un archivo 5.cmd

Cuando llama a un programa externo, la ventana con la tabla se minimiza, convirtiéndose en un pequeño cuadrado con una flecha para que pueda ver la ventana del programa en ejecución.

7. Gestión de dispositivos externos: electrodomésticos, cochecitos motorizados, modelos controlados por radio (actualización de noviembre de 2018)

Un artículo separado está dedicado a esto: habr.com/post/430078
Aquí solo daré videoclips que muestran cómo puede funcionar esto:

¿Puedes comprar un sistema listo de un conocido fabricante en su lugar?

Por supuesto que puedes. Pero piden dinero para el software, y estos programas no funcionan con rastreadores de TI de juegos baratos.

Por ejemplo, un rastreador con un programa básico por $ 1,700 .

Tablas de comunicación - Cuadrícula 3 por £ 480

Tablas más simples: Snap + Core primero por $ 180

¿Funcionan con el idioma ruso y el teclado? No lo sé.

Saludos y gracias

Hice el modo de mesa para la comunicación de los niños con la presentación de Alexander Makarchuk, jefe de la fundación benéfica "Owl" ( sova.by ) de Bielorrusia. Alexander también me ayudó a reunir requisitos y pruebas. El Fondo, entre otras cosas, organiza la educación a distancia de personas con discapacidad con empleo posterior. Sasha, ¡hola y buena suerte!