Comment utiliser «Tobii Eye Tracker 4C» pour communiquer avec un enfant qui ne peut ni parler ni bouger (SMA, paralysie cérébrale, SLA)

La méthodologie est basée sur le suivi de la direction de la vue, qui est réalisée par le dispositif «Tobii Eye Tracker 4C». Un tableau avec plusieurs images s'affiche sur l'écran de l'ordinateur. Si vous gardez les yeux sur une image distincte, la phrase correspondante sera exprimée, par exemple, «boire», «tourner sur le côté», «regarder des dessins animés».

Lorsque l'enfant apprend les lettres, il sera possible d'utiliser des méthodes plus complexes, telles que la dactylographie avec les yeux .

Qu'est-ce qui est requis (en bref)?

1. un ordinateur
2. IT Tracker - dispositif de suivi du regard
3. logiciel libre (de l'auteur de l'article)

Table des matières

Comment ça marche?

Instruction détaillée
1. Choisir un ordinateur
2. Tobii Eye Tracker 4C
2.1 Montage du tracker sur le moniteur
3. Installation du logiciel
3.1. (Plus nécessaire) Obtenez la version 4.1.3.938 ou plus récente du fichier TobiiGazeCore32.dll
3.2. Installation et étalonnage du pilote
3.3. (Plus nécessaire) Installation de «Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4»
3.4. Installation et configuration de logiciels libres (de l'auteur de l'article)
3.4.1. Configuration du programme pour fonctionner en mode tableau
4. Utilisation du programme
5. Comment changer le contenu d'une table
6. Appel de programmes externes (mise à jour de novembre 2018)
7. Gestion des appareils externes: appareils électriques, poussettes motorisées, modèles radiocommandés (mise à jour de novembre 2018)
Pouvez-vous plutôt acheter un système prêt à l'emploi auprès d'un fabricant bien connu?
Salutations et remerciements

Comment ça marche?

Vidéo illustrant le programme:


Violetta apprend à travailler avec le programme:


Violetta est méchante et dit "Non!" en utilisant le programme:


Si vous ne disposez pas d'un outil de suivi informatique, vous pouvez toujours évaluer le fonctionnement du programme, car il peut également fonctionner avec n'importe quel appareil qui déplace le curseur de la souris sur l'écran. Déplacez votre souris sur l'écran comme vous déplaceriez votre regard. Arrêtez le curseur sur les images (vous n'avez pas besoin de cliquer sur quoi que ce soit) - cela correspondra à fixer l'apparence de l'image lors de l'utilisation de l'ititracker.

Pour que le programme fonctionne dans ce mode, vous devez sélectionner la souris Air Mouse comme appareil utilisé (2 dans la figure ci-dessous), mais n'oubliez pas d'abord de cocher la case «Mode table (GRID) - pour enfants» (1).

Instruction détaillée

1. Choisir un ordinateur

Quel ordinateur convient à cela? Je dirais ceci: moderne avec des caractéristiques moyennes et les versions du système d'exploitation Windows 7, 8.1, 10 (Windows 10 - seulement 64 bits). Malgré le fait que les recommandations d'utilisation du tracker informatique Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) sont conseillées d'utiliser un ordinateur avec un processeur Intel i5 ou i7, j'ai pu travailler sur des processeurs modernes moins chers: i3, Pentium, Celeron et même Atom x5, bien que le travail sur les deux derniers puisse sembler ralenti.

En d'autres termes, si vous avez déjà un ordinateur et qu'il n'est pas archaïque, vous devriez essayer d'y travailler. Si vous songez à acheter un ordinateur, l'essentiel - ne prenez pas l'ancien et ne le prenez pas avec le processeur Atom. Bien que s'il n'y a absolument pas d'argent, vous pouvez essayer cela, mais il est préférable de discuter de la possibilité d'un retour.

Un ordinateur doit avoir au moins un port USB version 2 ou 3. Il vaut mieux qu'il y ait au moins deux ports pour pouvoir brancher une souris en plus d'un tracker informatique. (Soit dit en passant, les tablettes pèchent souvent qu'elles n'ont qu'un seul port USB).

2. Tobii Eye Tracker 4C

Cet appareil est fabriqué par Tobii pour les joueurs sur ordinateur et est vendu à un prix raisonnable. Afin de ne pas créer de concurrence pour ses appareils beaucoup plus chers, le «Tobii Eye Tracker 4C» a été rendu incompatible avec les programmes destinés aux personnes handicapées qui lui sont proposés.

Cependant, les outils de développement publiés par Tobii m'ont laissé une faille qui m'a permis d'écrire moi-même de tels programmes. Peut-être pas si parfait, mais gratuit.

Aujourd'hui (automne 2018), cet appareil peut être facilement acheté dans plusieurs magasins. Vous pouvez facilement trouver l'option la plus pratique pour vous. J'ai pris au printemps 2018 pour 11500 roubles russes.

2.1 Montage du tracker sur le moniteur.

Vidéo illustrant l'installation sur un ordinateur portable:


L'ordinateur peut être grand avec un moniteur autonome ou mobile (ordinateur portable). Peut-être même une tablette Windows. Mais vous devez vous rappeler que le tracker informatique doit être placé exactement SOUS le moniteur afin que le support soit rigide. Et si un tracker informatique est attaché à un moniteur ordinaire avec l'aimant autocollant fourni avec le kit, vous devez le fixer à la tablette d'une manière ou d'une autre. Sur la photo ci-dessous, la tablette et le tracker informatique sont montés sur un morceau de la carte, qui, à son tour, est connecté à un support qui tourne sur le coin de la table.



Vous devez également vous rappeler que derrière le verre foncé (transparent uniquement dans la plage infrarouge) se trouve une caméra au centre du tracker informatique et des LED infrarouges sur les bords. Lors de la fixation avec des pinces, il est important de ne bloquer ni l'un ni l'autre.

La ligne des yeux doit coïncider avec la ligne de l'emplacement du tracker informatique. Si une personne se trouve sur le côté, le moniteur doit être incliné d'un côté.

La distance des yeux au moniteur avec un tracker informatique doit être d'environ 50 cm (longueur du bras) ou un peu plus loin. Par conséquent, fixer le tracker informatique au téléviseur sur le mur ne fonctionnera pas - trop loin.

Comme déjà mentionné, il y a une caméra dans le tracker informatique, et elle doit être dirigée vers les yeux. La surface avant du tracker informatique réfléchit un peu de lumière. Essayez de voir vos yeux dedans, comme dans un miroir - cela signifie que la caméra les regarde. Inclinez le moniteur si nécessaire.

3. Installation du logiciel

Faites tout dans cet ordre!

3.1. (Plus nécessaire) Obtenez la version 4.1.3.938 ou plus récente du fichier TobiiGazeCore32.dll

3.2. Installation et étalonnage du pilote

Nous allons sur la page tobiigaming.com/getstarted et cliquons sur le bouton "Tobii Eyetracking":



Puis sur le bouton apparu «Télécharger»:



Nous enregistrons le fichier (pour l'avenir), puis l'exécutons:



Nous mettons une coche, cliquez sur le bouton "Suivant":



Nous attendons ...





Cliquez sur le bouton "Continuer":



Appuyez ensuite sur le bouton «Commencer»:



Ensuite, vous devrez faire glisser les lignes sur l'écran avec la souris afin qu'elles coïncident avec les rayures sur le corps du tracker informatique:





Une fois terminé, appuyez sur le bouton «Terminé».

Ensuite, deux cercles apparaîtront à l'écran, qui illustrent si le tracker informatique voit bien vos yeux.



Si les cercles ne sont pas situés au centre de l'écran (comme dans l'image ci-dessus), inclinez le moniteur pour les déplacer.
Si les cercles sont grands et nuageux, vous vous êtes trop rapproché du moniteur.
Si les cercles sont petits et nuageux, vous êtes trop éloigné du moniteur.

Comme je l'ai écrit ci-dessus, la distance optimale entre le moniteur et les yeux est d'environ 50 cm.

Ensuite, l'étalonnage du tracker informatique commence.

IMPORTANT !!!

Si l'enfant utilise le tracker informatique, l'étalonnage devra être effectué à travers les yeux de l'enfant !!

Vous pouvez d'abord calibrer l'appareil sous vos propres yeux, puis sous les yeux d'un enfant.
Des points bleus apparaîtront sur l'écran, vous devrez les regarder tour à tour.



Après avoir fixé votre regard sur l'un des points, il se séparera en morceaux, comme le point supérieur de l'image ci-dessus.

Après l'étalonnage, entrez le nom de la personne dont les yeux ont été étalonnés et cliquez sur le bouton «Enregistrer»



Ensuite, un jeu va commencer dans lequel vous déplacez les yeux de la vue du vaisseau spatial, puis tirez sur les astéroïdes avec la barre d'espace:



Vous pouvez quitter le jeu en appuyant sur la touche "Echap".

Une icône apparaîtra dans la barre des tâches avec deux cercles représentant les yeux:



Si l'appareil ne voit qu'un seul œil, alors un seul cercle sera affiché:



Si l'appareil ne trouve pas du tout les yeux, alors deux croix seront dessinées:



IMPORTANT! Afin d'éviter que les programmes n'interfèrent les uns avec les autres, vous devez désactiver les actions standard produites par le pilote Tobii.

Pour ce faire, cliquez sur l'icône du cercle (1) et dans le menu qui s'ouvre, allez dans la section Interactions (2):



Dans chacune des sections (pavé tactile, souris, Windows), tournez tous les commutateurs sur la position «OFF»:







Si vous souhaitez qu'une autre personne travaille avec l'appareil, vous devez également effectuer un étalonnage pour ses yeux. Pour ce faire, cliquez à nouveau sur l'icône avec deux cercles, puis sur la flèche gauche:



Sélectionnez ensuite l'élément «Créer un nouveau profil ...» (1) et répétez l'étalonnage pour une nouvelle personne.

La commutation entre les profils de différentes personnes se fait dans la zone ci-dessous (2). Le profil actuel est marqué d'un cercle bleu:

3.3. (Plus nécessaire) Installation de «Microsoft Visual C ++ Redistributable for Visual Studio 2012 Update 4»

3.4. Installation et configuration de logiciels libres (de l'auteur de l'article)

Nous suivons le lien.

Après cela, nous appuyons sur le bouton "Télécharger" ou "Afficher Raw"



Enregistrez le fichier.



(si quelqu'un est intéressé, les codes source C ++ sont également à proximité)

Créez le répertoire «C: \ bkb» et copiez-y le contenu de l'archive téléchargée «bkb32c-Russian.zip».

Vous devriez obtenir un répertoire avec de tels fichiers et un sous-répertoire «grille»:



En fait, vous pouvez choisir un autre répertoire pour le programme, mais il vaut mieux que ce ne soit pas un sous-répertoire de "Program Files ...". Le fait est que le programme peut enregistrer quelque chose (par exemple, un journal des erreurs) dans ce répertoire, et les sous-répertoires "Program Files ..." sont fermés pour l'écriture. (Oui, je sais ce qu'il fallait écrire dans% AppData%, mais cela s'est produit historiquement).

3.4.1. Configuration du programme pour fonctionner en mode tableau

Le programme est écrit de sorte que si vous ne cliquez sur rien dans sa première fenêtre, il commence à déterminer avec quel appareil il doit fonctionner. Ceci est fait de manière à ce qu'il puisse être mis en chargement automatique sur l'ordinateur d'une personne qui elle-même ne peut rien appuyer.

Par conséquent, au début du programme, nous n'attrapons pas le corbeau, mais mettons rapidement une coche dans le champ «Mode table (GRID) - pour les enfants» (1).



Je recommande également de cliquer sur le bouton «Tous les paramètres» (2) et de définir un temps plus long pour fixer le look dans les images, ainsi qu'un temps d'attente pour la prochaine fixation du look:



Mise à jour 03.10.2018: dans la dernière version du programme, le temps de validation de la table est extrait des paramètres et multiplié par 3, il n'est donc pas nécessaire de l'augmenter.

Cliquez sur le bouton «Enregistrer» et sélectionnez notre outil de suivi informatique, par exemple, Tobii (3).

Si vous n'avez pas eu le temps de vérifier ou d'entrer les paramètres et que le programme a démarré, fermez-le et réessayez.

Vous ne pouvez quitter le programme qu'en fermant sa fenêtre dans la barre des tâches:

4. Utilisation du programme

Après avoir démarré en mode tableau, le programme étendra l'image suivante en plein écran:



Vous pouvez réduire ce tableau dans une cellule en regardant la flèche gauche (réduire). Par exemple, pour regarder des dessins animés.

Si vous regardez le tableau réduit, il se développera à nouveau en plein écran.

Si vous regardez le cercle vert, le mot "Oui" sera prononcé.

Sur rouge - le mot "Non"

Sur la cloche est le son de la cloche.

Sur l'une des images - la phrase correspondante:

Cellule de tableau
0. L'estomac fait mal.
1. Buvez.
2. Pour manger.
3. Téléchargez.
4. Nagez.
5. Regardez des dessins animés.
6. dessiner.
7. Tournez-vous sur le côté.
8. sommeil
9. Regardez par la fenêtre.
a. gratter le front.
b.Lisez un conte de fées.

Comme déjà mentionné, vous ne pouvez quitter le programme qu'en fermant sa fenêtre dans la barre des tâches.

5. Comment changer le contenu d'une table

Vous pouvez modifier le contenu du tableau en plaçant vos propres fichiers dans le répertoire «grid».

Pour les photos, ce sont des fichiers BMP. (il est conseillé de les enregistrer dans Microsoft Paint, sinon le programme risque de ne pas les lire).

Pour les sons, ce sont des fichiers WAV.

Le fichier 0.BMP est affiché dans la première cellule du tableau et le son 0.WAV est joué
Dans la deuxième cellule - 1.BMP et 1.WAV
Au total, à un niveau il peut y avoir jusqu'à 16 cellules, elles sont numérotées comme suit:
0,1,2,3,4,5,6,7,8,9, A, B, D, E, F

Autrement dit, les fichiers F.BMP et F.WAV seront attachés à la 16e cellule

Vous pouvez créer des niveaux de table supplémentaires.
Par exemple, lorsque vous sélectionnez la cellule "Manger", vous pouvez ouvrir une table avec un choix de nourriture.

Dans un tableau de deuxième niveau, les fichiers sont appelés valeurs à deux chiffres.
Par exemple, "Eat" au premier niveau est le numéro 2, et à partir de là, nous entrons dans un tableau avec des cellules commençant à 2: 20, 21, 22 .......

Essayez ceci:

Prenez le fichier 2.BMP et copiez-le dans le fichier 20.bmp, ainsi que dans le fichier 21.bmp. Ensuite, dans l'éditeur graphique, modifiez le fichier 20.bmp pour qu'une plaque contenant de la bouillie y apparaisse. Et modifiez le fichier 21.bmp pour qu'il y ait une image de purée de pommes de terre.

Enregistrez maintenant deux fichiers audio: 20.wav et 21.wav. Dans le premier, notez comment vous prononcez le mot «bouillie» et dans le second, le mot «purée de pommes de terre».

Maintenant, redémarrez le programme et lorsque l'enfant regarde l'image avec le mot «manger», après avoir prononcé ce mot, un nouveau tableau s'ouvre avec vos images 20.bmp et 21.bmp. Et lorsque vous cessez de regarder ces images, les mots enregistrés dans les fichiers 20.wav et 21.wav, respectivement, seront prononcés.

Il peut y avoir trois niveaux au total, comme indiqué ci-dessous:



Les cellules de niveau suivant ajoutent un autre chiffre au nom de fichier de niveau supérieur:
2 bouillies, 20 bouillies, 200 bouillies de semoule.

Après avoir ajouté de nouveaux fichiers dans le répertoire «grid», le programme doit être redémarré pour qu'il les voie.

Enregistrez vos sons, créez vos propres images, combinez-les dans vos propres tableaux.

Exemples d'écrans créés par d'autres personnes:

6. Appel de programmes externes (mise à jour de novembre 2018)

Vous pouvez maintenant appeler des programmes externes en ajoutant simplement un fichier avec l'extension .cmd et le même nom que le fichier avec l'extension .bmp

Par exemple, pour une image 5.bmp, vous pouvez créer un fichier 5.cmd , et si vous regardez cette image dans un tableau, non seulement le son 5.wav sera joué, mais aussi le fichier 5.cmd sera lancé

Lorsque vous appelez un programme externe, la fenêtre avec la table se réduit, se transformant en un petit carré avec une flèche pour que vous puissiez voir la fenêtre du programme en cours d'exécution.

7. Gestion des appareils externes: appareils électriques, poussettes motorisées, modèles radiocommandés (mise à jour de novembre 2018)

Un article séparé y est dédié: habr.com/post/430078
Ici, je vais juste donner des clips vidéo montrant comment cela peut fonctionner:

Pouvez-vous plutôt acheter un système prêt à l'emploi auprès d'un fabricant bien connu?

Bien sûr que vous le pouvez. Mais ils demandent de l'argent pour les logiciels, et ces programmes ne fonctionnent pas avec les trackers informatiques de jeux bon marché.

Par exemple, un tracker avec un programme de base pour 1700 $ .

Tables de communication - Grille 3 pour £ 480

Tables plus simples - Snap + Core First pour 180 $

Fonctionnent-ils avec la langue russe et le clavier - je ne sais pas.

Salutations et remerciements

J'ai créé le mode table pour la communication des enfants avec la soumission d'Alexander Makarchuk, le chef de la fondation caritative «Owl» ( sova.by ) du Bélarus. Alexander m'a également aidé à collecter les exigences et les tests. Le Fonds, entre autres, organise un enseignement à distance des personnes handicapées avec un emploi ultérieur. Sasha, bonjour et bonne chance à toi!