Verwendung von „Tobii Eye Tracker 4C“ zur Kommunikation mit einem Kind, das nicht sprechen und sich nicht bewegen kann (SMA, Zerebralparese, ALS)

Die Methodik basiert auf der Verfolgung der Blickrichtung, die vom Gerät „Tobii Eye Tracker 4C“ ausgeführt wird. Auf dem Computerbildschirm wird eine Tabelle mit mehreren Bildern angezeigt. Wenn Sie ein separates Bild im Auge behalten, wird die entsprechende Phrase gesprochen, z. B. "Trinken", "Auf die Seite drehen", "Cartoons ansehen".

Wenn das Kind die Buchstaben lernt, können komplexere Methoden angewendet werden, z. B. das Tippen mit den Augen .

Was ist erforderlich (kurz gesagt)?

1. Computer
2. IT Tracker - Blickverfolgungsgerät
3. freie Software (vom Autor des Artikels)

Inhalt

Wie funktioniert es

Detaillierte Anleitung
1. Computer auswählen
2. Tobii Eye Tracker 4C
2.1 Montage des Trackers am Monitor
3. Softwareinstallation
3.1. (Nicht mehr erforderlich) Holen Sie sich die TobiiGazeCore32.dll-Datei Version 4.1.3.938 oder neuer
3.2. Installation und Kalibrierung des Treibers
3.3. (Nicht mehr erforderlich) Installieren von "Microsoft Visual C ++ Redistributable für Visual Studio 2012 Update 4"
3.4. Installation und Konfiguration von freier Software (vom Autor des Artikels)
3.4.1. Einrichten des Programms für den Tabellenmodus
4. Verwenden Sie das Programm
5. So ändern Sie den Inhalt einer Tabelle
6. Aufruf externer Programme (Update November 2018)
7. Verwaltung externer Geräte: Elektrogeräte, motorisierte Kinderwagen, funkgesteuerte Modelle (Update November 2018)
Können Sie stattdessen ein fertiges System von einem bekannten Hersteller kaufen?
Grüße und danke

Wie funktioniert es

Video zur Veranschaulichung des Programms:


Violetta lernt mit dem Programm zu arbeiten:


Violetta ist ungezogen und sagt "Nein!" mit dem Programm:


Wenn Sie keinen IT-Tracker haben, können Sie den Betrieb des Programms dennoch bewerten, da es auch mit jedem Gerät funktioniert, das den Mauszeiger auf dem Bildschirm bewegt. Bewegen Sie die Maus so über den Bildschirm, wie Sie Ihren Blick bewegen würden. Halten Sie den Cursor auf den Bildern an (Sie müssen auf nichts klicken) - dies entspricht dem Fixieren des Blicks auf das Bild, wenn Sie den ititracker verwenden.

Damit das Programm in diesem Modus funktioniert, müssen Sie die Air Mouse als verwendetes Gerät auswählen (2 in der folgenden Abbildung). Vergessen Sie jedoch nicht, zuerst das Kontrollkästchen „Tabellenmodus (GRID) - für Kinder“ (1) zu aktivieren.

Detaillierte Anleitung

1. Computer auswählen

Welcher Computer ist dafür geeignet? Ich würde dies sagen: modern mit durchschnittlichen Eigenschaften und den Windows-Betriebssystemversionen 7, 8.1, 10 (Windows 10 - nur 64 Bit). Trotz der Tatsache, dass den Empfehlungen für die Verwendung des Tobii 4c IT-Trackers (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) empfohlen wird, einen Computer zu verwenden Mit einem Intel i5- oder i7-Prozessor konnte ich auf modernen Prozessoren billiger arbeiten: i3, Pentium, Celeron und sogar Atom x5, obwohl die Arbeit an den letzten beiden möglicherweise langsamer erscheint.

Mit anderen Worten, wenn Sie bereits einen Computer haben und dieser nicht archaisch ist, sollten Sie versuchen, daran zu arbeiten. Wenn Sie daran denken, einen Computer zu kaufen, ist die Hauptsache - nehmen Sie nicht den alten und nehmen Sie ihn nicht mit dem Atom-Prozessor. Wenn es absolut kein Geld gibt, können Sie dies versuchen, aber es ist besser, die Möglichkeit einer Rückgabe zu besprechen.

Ein Computer muss mindestens einen USB-Anschluss der Version 2 oder 3 haben. Es ist besser, dass mindestens zwei Anschlüsse vorhanden sind, damit Sie neben einem IT-Tracker auch eine Maus anschließen können. (Tablets haben übrigens oft die Sünde, dass sie nur einen USB-Anschluss haben).

2. Tobii Eye Tracker 4C

Dieses Gerät wird von Tobii für Computerspieler hergestellt und zu einem angemessenen Preis verkauft. Um keine Konkurrenz für seine viel teureren Geräte zu schaffen, wird „Tobii Eye Tracker 4C“ mit den Programmen für Menschen mit Behinderungen, die für ihn freigegeben wurden, nicht kompatibel gemacht.

Die von Tobii veröffentlichten Entwicklungstools haben mir jedoch eine Lücke hinterlassen, durch die ich solche Programme selbst schreiben konnte. Vielleicht nicht so perfekt, aber kostenlos.

Heute (Herbst 2018) kann dieses Gerät problemlos in mehreren Geschäften gekauft werden. Sie können leicht die bequemste Option für sich selbst finden. Ich habe im Frühjahr 2018 für 11500 russische Rubel genommen.

2.1 Montage des Trackers am Monitor.

Video zur Installation auf einem Laptop:


Der Computer kann mit einem freistehenden Monitor oder einem Mobiltelefon (Laptop) groß sein. Vielleicht sogar ein Windows-Tablet. Beachten Sie jedoch, dass der IT-Tracker genau unter dem Monitor platziert werden muss, damit die Halterung starr ist. Und wenn ein IT-Tracker mit dem im Kit enthaltenen selbstklebenden Magneten an einem normalen Monitor angebracht ist, müssen Sie ihn irgendwie meisterhaft am Tablet befestigen. Auf dem Foto unten sind das Tablet und der IT-Tracker auf einem Stück der Platine montiert, das wiederum mit einer Halterung verbunden ist, die sich an der Ecke des Tisches dreht.



Beachten Sie auch, dass sich hinter dem dunklen Glas (nur im Infrarotbereich transparent) eine Kamera in der Mitte des IT-Trackers und Infrarot-LEDs an den Rändern befinden. Bei der Befestigung mit Klammern ist es wichtig, weder die eine noch die andere zu blockieren.

Die Linie der Augen sollte mit der Linie des Standorts des IT-Trackers übereinstimmen. Wenn eine Person auf der Seite liegt, muss der Monitor zur Seite geneigt werden.

Der Abstand zwischen den Augen und dem Monitor mit einem IT-Tracker sollte etwa 50 cm (Armlänge) oder etwas weiter betragen. Daher funktioniert es nicht, den IT-Tracker am Fernseher an der Wand zu befestigen - zu weit.

Wie bereits erwähnt, befindet sich im IT-Tracker eine Kamera, die auf die Augen gerichtet sein sollte. Die Vorderseite des IT-Trackers reflektiert ein wenig Licht. Versuchen Sie, Ihre Augen darin zu sehen, wie in einem Spiegel. Dies bedeutet, dass die Kamera sie betrachtet. Kippen Sie den Monitor bei Bedarf.

3. Softwareinstallation

Mach alles in dieser Reihenfolge!

3.1. (Nicht mehr erforderlich) Holen Sie sich die TobiiGazeCore32.dll-Datei Version 4.1.3.938 oder neuer

3.2. Installation und Kalibrierung des Treibers

Wir gehen zur Seite tobiigaming.com/getstarted und klicken auf die Schaltfläche "Tobii Eyetracking":



Dann auf der angezeigten Schaltfläche "Download":



Wir speichern die Datei (für die Zukunft) und führen sie dann aus:



Wir setzen ein Häkchen, klicken auf die Schaltfläche "Weiter":



Wir warten ...





Klicken Sie auf die Schaltfläche "Weiter":



Klicken Sie dann auf die Schaltfläche "Erste Schritte":



Als Nächstes müssen Sie die Linien auf dem Bildschirm mit der Maus ziehen, damit sie mit den Streifen auf dem Körper des IT-Trackers übereinstimmen:





Wenn Sie fertig sind, drücken Sie die Taste „Fertig“.

Dann erscheinen zwei Kreise auf dem Bildschirm, die veranschaulichen, ob der IT-Tracker Ihre Augen gut sieht.



Wenn sich die Kreise nicht in der Mitte des Bildschirms befinden (wie im obigen Bild), neigen Sie den Monitor, um sie zu verschieben.
Wenn die Kreise groß und bewölkt sind, haben Sie sich zu nahe an den Monitor bewegt.
Wenn die Kreise klein und bewölkt sind, sind Sie zu weit vom Monitor entfernt.

Wie ich oben geschrieben habe, beträgt der optimale Abstand vom Monitor zu den Augen etwa 50 cm.

Als nächstes beginnt die Kalibrierung des IT-Trackers.

WICHTIG !!!

Wenn das Kind den IT-Tracker verwendet, muss die Kalibrierung mit den Augen des Kindes durchgeführt werden !!

Zuerst können Sie das Gerät unter Ihren eigenen Augen und dann unter den Augen eines Kindes kalibrieren.
Auf dem Bildschirm werden blaue Punkte angezeigt, die Sie nacheinander betrachten müssen.



Nachdem Sie Ihren Blick auf einen der Punkte gerichtet haben, wird er wie der oberste Punkt im obigen Bild in Stücke zerfallen.

Geben Sie nach der Kalibrierung den Namen der Person ein, deren Augen kalibriert wurden, und klicken Sie auf die Schaltfläche „Speichern“



Als nächstes beginnt ein Spiel, in dem Sie die Augen des Raumfahrzeugs bewegen und dann die Asteroiden mit der Leertaste abschießen:



Sie können das Spiel beenden, indem Sie die Taste „Escape“ drücken.

In der Taskleiste wird ein Symbol mit zwei Kreisen angezeigt, die die Augen darstellen:



Wenn das Gerät nur ein Auge sieht, wird nur ein Kreis angezeigt:



Wenn das Gerät die Augen überhaupt nicht findet, werden zwei Kreuze gezeichnet:



WICHTIG! Um zu verhindern, dass sich die Programme gegenseitig stören, müssen Sie die vom Tobii-Treiber erzeugten Standardaktionen deaktivieren.

Klicken Sie dazu auf das Kreissymbol (1) und gehen Sie im sich öffnenden Menü zum Abschnitt Interaktionen (2):



Drehen Sie in jedem Abschnitt (Touchpad, Maus, Windows) alle Schalter auf „OFF“:







Wenn Sie möchten, dass eine andere Person mit dem Gerät arbeitet, müssen Sie auch eine Kalibrierung für ihre Augen durchführen. Klicken Sie dazu erneut auf das Symbol mit zwei Kreisen und dann auf den Pfeil nach links:



Wählen Sie dann den Punkt „Neues Profil erstellen ...“ (1) und wiederholen Sie die Kalibrierung für eine neue Person.

Der Wechsel zwischen Profilen verschiedener Personen erfolgt im folgenden Bereich (2). Das aktuelle Profil ist mit einem blauen Kreis markiert:

3.3. (Nicht mehr erforderlich) Installieren von "Microsoft Visual C ++ Redistributable für Visual Studio 2012 Update 4"

3.4. Installation und Konfiguration von freier Software (vom Autor des Artikels)

Wir folgen dem Link.

Danach drücken wir die Taste "Download" oder "View Raw"



Speichern Sie die Datei.



(Wenn jemand interessiert ist, sind die C ++ - Quellcodes auch in der Nähe)

Erstellen Sie das Verzeichnis „C: \ bkb“ und kopieren Sie dort den Inhalt des heruntergeladenen Archivs „bkb32c-Russian.zip“.

Sie sollten ein Verzeichnis mit solchen Dateien und ein Unterverzeichnis "grid" erhalten:



Sie können zwar ein anderes Verzeichnis für das Programm auswählen, es ist jedoch besser, dass dies kein Unterverzeichnis von "Programme ..." ist. Tatsache ist, dass das Programm etwas (z. B. ein Fehlerprotokoll) in diesem Verzeichnis speichern kann und die Unterverzeichnisse "Programme ..." zum Schreiben geschlossen sind. (Ja, ich weiß, was in% AppData% geschrieben werden musste, aber dies geschah historisch).

3.4.1. Einrichten des Programms für den Tabellenmodus

Das Programm ist so geschrieben, dass, wenn Sie im ersten Fenster auf nichts klicken, festgelegt wird, mit welchem ​​Gerät es arbeiten soll. Dies geschieht, damit es auf dem Computer einer Person, die selbst nichts drücken kann, automatisch geladen werden kann.

Daher fangen wir zu Beginn des Programms den Raben nicht, sondern setzen schnell ein Häkchen in das Feld „Tabellenmodus (GRID) - für Kinder“ (1).



Ich empfehle außerdem, auf die Schaltfläche „Alle Einstellungen“ (2) zu klicken und eine längere Zeit für die Korrektur des Looks in den Bildern sowie eine Wartezeit für die nächste Korrektur des Looks festzulegen:



Update 03.10.2018: In der neuesten Version des Programms wird die Festschreibungszeit für die Tabelle aus den Einstellungen übernommen und mit 3 multipliziert, sodass Sie sie möglicherweise nicht erhöhen müssen.

Klicken Sie auf die Schaltfläche „Speichern“ und wählen Sie unseren IT-Tracker aus, z. B. Tobii (3).

Wenn Sie keine Zeit hatten, die Einstellungen zu überprüfen oder einzugeben, und das Programm gestartet wurde, schließen Sie es und versuchen Sie es erneut.

Sie können das Programm nur beenden, indem Sie das Fenster in der Taskleiste schließen:

4. Verwendung des Programms

Nach dem Start im Tabellenmodus erweitert das Programm das folgende Bild auf Vollbild:



Sie können diese Tabelle auf eine Zelle reduzieren, indem Sie auf den Pfeil nach links schauen (reduzieren). Zum Beispiel, um Cartoons zu sehen.

Wenn Sie sich die reduzierte Tabelle ansehen, wird sie wieder auf Vollbild erweitert.

Wenn Sie sich den grünen Kreis ansehen, wird das Wort "Ja" ausgesprochen.

Auf rot - das Wort "Nein"

Auf der Glocke ertönt der Klang der Glocke.

Auf einem der Bilder - der entsprechende Satz:

Tabellenzelle
0. Der Magen tut weh.
1. Trinken.
2. Zu essen.
3. Herunterladen.
4. Schwimmen.
5. Zeichentrickfilme ansehen.
6. zeichnen.
7. Drehen Sie sich auf die Seite.
8.Schlafen
9. Schauen Sie durch das Fenster.
a. Stirn kratzen.
Lesen Sie ein Märchen.

Wie bereits erwähnt, können Sie das Programm nur beenden, indem Sie das Fenster in der Taskleiste schließen.

5. So ändern Sie den Inhalt einer Tabelle

Sie können den Inhalt der Tabelle ändern, indem Sie Ihre eigenen Dateien in das Verzeichnis "grid" legen.

Bei Bildern handelt es sich um BMP-Dateien. (Es ist ratsam, sie in Microsoft Paint zu speichern, da das Programm sie sonst möglicherweise nicht liest.)

Bei Sounds handelt es sich um WAV-Dateien.

Die Datei 0.BMP wird in der ersten Zelle der Tabelle angezeigt und der Sound 0.WAV wird abgespielt
In der zweiten Zelle - 1.BMP und 1.WAV
Insgesamt können auf einer Ebene bis zu 16 Zellen vorhanden sein, die wie folgt nummeriert sind:
0,1,2,3,4,5,6,7,8,9, A, B, D, E, F.

Das heißt, die F.BMP- und F.WAV-Dateien werden an die 16. Zelle angehängt

Sie können zusätzliche Tabellenebenen erstellen.
Wenn Sie beispielsweise die Zelle "Essen" auswählen, können Sie einen Tisch mit einer Auswahl an Speisen öffnen.

In einer Tabelle der zweiten Ebene werden Dateien als zweistellige Werte bezeichnet.
Zum Beispiel ist "Essen" auf der ersten Ebene die Nummer 2, und daraus gelangen wir in eine Tabelle mit Zellen, die bei 2: 20, 21, 22 beginnen .......

Versuchen Sie dies:

Nehmen Sie die 2.BMP-Datei und kopieren Sie sie in die 20.bmp-Datei sowie in die 21.bmp-Datei. Ändern Sie dann im Grafikeditor die 20.bmp-Datei so, dass dort eine Platte mit Brei angezeigt wird. Und bearbeiten Sie die 21.bmp-Datei so, dass ein Bild von Kartoffelpüree angezeigt wird.

Nehmen Sie nun zwei Audiodateien auf: 20.wav und 21.wav. Schreiben Sie im ersten auf, wie Sie das Wort „Brei“ aussprechen, und im zweiten - das Wort „Kartoffelpüree“.

Starten Sie nun das Programm neu, und wenn das Kind das Bild mit dem Wort „essen“ betrachtet, wird nach dem Aussprechen dieses Wortes eine neue Tabelle mit Ihren Bildern 20.bmp und 21.bmp geöffnet. Wenn Sie diese Bilder nicht mehr betrachten, werden die in den Dateien 20.wav bzw. 21.wav aufgezeichneten Wörter ausgesprochen.

Es kann insgesamt drei Ebenen geben, wie unten gezeigt:



Zellen der nächsten Ebene fügen dem Dateinamen der obersten Ebene eine weitere Ziffer hinzu:
2-essen, 20-Haferbrei, 200-Grießbrei.

Nach dem Hinzufügen neuer Dateien zum Verzeichnis "grid" muss das Programm neu gestartet werden, damit es sie sieht.

Nehmen Sie Ihre Sounds auf, erstellen Sie Ihre eigenen Bilder und kombinieren Sie sie zu Ihren eigenen Tabellen.

Beispiele für Bildschirme, die von anderen Personen erstellt wurden:

6. Aufruf externer Programme (Update November 2018)

Jetzt können Sie externe Programme aufrufen, indem Sie einfach eine Datei mit der Erweiterung .cmd und demselben Namen wie die Datei mit der Erweiterung .bmp hinzufügen

Für ein 5.bmp- Bild können Sie beispielsweise eine 5.cmd- Datei erstellen. Wenn Sie sich dieses Bild in einer Tabelle ansehen , wird nicht nur der 5.wav- Sound abgespielt, sondern auch die 5.cmd- Datei gestartet

Wenn Sie ein externes Programm aufrufen, wird das Fenster mit der Tabelle minimiert und in ein kleines Quadrat mit einem Pfeil umgewandelt, sodass Sie das Fenster des laufenden Programms sehen können.

7. Verwaltung externer Geräte: Elektrogeräte, motorisierte Kinderwagen, funkgesteuerte Modelle (Update November 2018)

Ein separater Artikel ist diesem Thema gewidmet: habr.com/post/430078
Hier gebe ich nur Videoclips, die zeigen, wie das funktionieren kann:

Können Sie stattdessen ein fertiges System von einem bekannten Hersteller kaufen?

Natürlich kannst du. Aber sie verlangen Geld für Software, und diese Programme funktionieren nicht mit billigen Gaming-IT-Trackern.

Zum Beispiel ein Tracker mit einem Basisprogramm für 1.700 US-Dollar .

Kommunikationstische - Gitter 3 für £ 480

Einfachere Tabellen - Snap + Core First für 180 US-Dollar

Arbeiten sie mit der russischen Sprache und Tastatur - ich weiß es nicht.

Grüße und danke

Ich habe den Tischmodus für die Kommunikation mit Kindern mit der Vorlage von Alexander Makarchuk, dem Leiter der Wohltätigkeitsstiftung "Owl" ( sova.by ) aus Weißrussland, erstellt. Alexander half mir auch beim Sammeln von Anforderungen und Testen. Der Fonds organisiert unter anderem Fernunterricht von Menschen mit Behinderungen mit anschließender Beschäftigung. Sasha, hallo und viel Glück für dich!