Cara menggunakan "Tobii Eye Tracker 4C" untuk berkomunikasi dengan anak yang tidak dapat berbicara dan bergerak (SMA, cerebral palsy, ALS)

Metodologi ini didasarkan pada pelacakan arah pandang, yang dilakukan oleh perangkat “Tobii Eye Tracker 4C”. Tabel dengan beberapa gambar ditampilkan di layar komputer. Jika Anda memegang mata Anda pada gambar yang terpisah, frasa yang sesuai akan disuarakan, misalnya, "minum", "nyalakan sisi", "tonton kartun".

Saat anak mempelajari huruf-hurufnya, dimungkinkan untuk menggunakan metode yang lebih rumit, seperti mengetik dengan mata .

Apa yang dibutuhkan (singkatnya)?

1. sebuah komputer
2. Pelacak TI - alat pelacak pandangan
3. perangkat lunak bebas (dari penulis artikel)

Isi

Bagaimana cara kerjanya?

Instruksi rinci
1. Memilih komputer
2. Tobii Eye Tracker 4C
2.1 Memasang pelacak ke monitor
3. Instalasi Perangkat Lunak
3.1. (Tidak diperlukan lagi) Dapatkan versi file TobiiGazeCore32.dll 4.1.3.938 atau lebih baru
3.2. Instalasi dan Kalibrasi Driver
3.3. (Tidak diperlukan lagi) Instalasi “Microsoft Visual C ++ Redistributable untuk Visual Studio 2012 Update 4”
3.4. Instalasi dan konfigurasi perangkat lunak gratis (dari penulis artikel)
3.4.1. Menyiapkan program untuk bekerja dalam mode tabel
4. Menggunakan program
5. Cara mengubah isi tabel
6. Memanggil program eksternal (pembaruan November 2018)
7. Manajemen perangkat eksternal: peralatan listrik, kereta bayi bermotor, model yang dikendalikan radio (pembaruan November 2018)
Bisakah Anda membeli sistem yang sudah jadi dari produsen terkenal?
Salam dan terima kasih

Bagaimana cara kerjanya?

Video yang menggambarkan program:


Violetta belajar untuk bekerja dengan program ini:


Violetta nakal dan berkata "Tidak!" menggunakan program:


Jika Anda tidak memiliki pelacak TI, Anda masih dapat mengevaluasi operasi program, karena itu juga dapat bekerja dengan perangkat apa pun yang menggerakkan kursor mouse di layar. Gerakkan mouse Anda di sekitar layar seperti cara Anda memindahkan pandangan Anda. Jeda kursor pada gambar (Anda tidak perlu mengklik apa pun) - ini akan terkait dengan memperbaiki pandangan pada gambar saat menggunakan ititracker.

Agar program dapat bekerja dalam mode ini, Anda harus memilih Air Mouse sebagai perangkat yang digunakan (2 pada gambar di bawah), tetapi pertama-tama jangan lupa untuk mencentang kotak "Mode Tabel (GRID) - untuk anak-anak" (1).

Instruksi rinci

1. Memilih komputer

Komputer mana yang cocok untuk ini? Saya akan mengatakan ini: modern dengan karakteristik rata-rata dan sistem operasi Windows versi 7, 8.1, 10 (Windows 10 - hanya 64 bit). Terlepas dari kenyataan bahwa rekomendasi untuk menggunakan pelacak TI Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Spesifikasi-for-the-Tobii-Eye-Tracker-4C) disarankan untuk menggunakan komputer dengan prosesor Intel i5 atau i7, saya dapat bekerja dengan prosesor modern yang lebih murah: i3, Pentium, Celeron, dan bahkan Atom x5, meskipun pekerjaan pada dua yang terakhir mungkin tampak melambat.

Dengan kata lain, jika Anda sudah memiliki komputer, dan itu bukan kuno, maka Anda harus mencoba mengatasinya. Jika Anda berpikir untuk membeli komputer, hal utama - jangan mengambil yang lama, dan jangan bawa dengan prosesor Atom. Meskipun, jika sama sekali tidak ada uang, maka Anda dapat mencoba ini, tetapi lebih baik untuk membahas kemungkinan pengembalian.

Komputer harus memiliki setidaknya satu port USB versi 2 atau 3. Lebih baik setidaknya ada dua port sehingga Anda dapat mencolokkan mouse di samping pelacak TI. (Tablet, omong-omong, sering berdosa bahwa mereka hanya memiliki satu port USB).

2. Tobii Eye Tracker 4C

Perangkat ini diproduksi oleh Tobii untuk gamer komputer dan dijual dengan harga yang wajar. Agar tidak menciptakan persaingan untuk perangkat yang jauh lebih mahal, "Tobii Eye Tracker 4C" dibuat tidak kompatibel dengan program untuk orang-orang cacat yang dilepaskan ke sana.

Namun, alat pengembangan yang dirilis oleh Tobii memberi saya celah yang memungkinkan saya untuk menulis program semacam itu sendiri. Mungkin tidak begitu sempurna, tetapi gratis.

Hari ini (musim gugur 2018) perangkat ini dapat dengan mudah dibeli di beberapa toko. Anda dapat dengan mudah menemukan opsi yang paling nyaman untuk diri sendiri. Saya mengambil pada musim semi 2018 untuk 11500 rubel Rusia.

2.1 Memasang pelacak ke monitor.

Video yang menggambarkan instalasi di laptop:


Komputer dapat berukuran besar dengan monitor yang berdiri sendiri atau ponsel (laptop). Mungkin bahkan tablet Windows. Tetapi Anda harus ingat bahwa pelacak TI harus ditempatkan tepat di bawah monitor sehingga pemasangannya kaku. Dan jika pelacak TI terpasang ke monitor biasa dengan magnet berperekat yang disertakan dengan kit, maka Anda harus memasangnya ke tablet entah bagaimana dengan mahir. Pada foto di bawah ini, tablet dan pelacak IT dipasang pada sepotong papan, yang, pada gilirannya, terhubung ke braket yang berputar di sudut meja.



Anda juga perlu ingat bahwa di balik kaca gelap (transparan hanya dalam kisaran inframerah) ada kamera di pusat pelacak TI dan LED inframerah di bagian tepinya. Saat mengikat dengan klem, penting untuk tidak memblokir salah satu atau yang lainnya.

Garis mata harus bertepatan dengan garis lokasi pelacak TI. Jika seseorang berbaring miring, monitor harus dimiringkan ke satu sisi.

Jarak dari mata ke monitor dengan pelacak TI harus sekitar 50 cm (panjang lengan) atau sedikit lebih jauh. Karena itu, memperbaiki pelacak IT ke TV di dinding tidak akan berfungsi - terlalu jauh.

Seperti yang telah disebutkan, ada kamera di pelacak TI, dan itu harus diarahkan ke mata. Permukaan depan pelacak TI memantulkan sedikit cahaya. Cobalah untuk melihat mata Anda di dalamnya, seperti di cermin, ini berarti bahwa kamera sedang memandanginya. Miringkan monitor jika perlu.

3. Instalasi Perangkat Lunak

Lakukan segalanya dalam urutan ini!

3.1. (Tidak diperlukan lagi) Dapatkan versi file TobiiGazeCore32.dll 4.1.3.938 atau lebih baru

3.2. Instalasi dan Kalibrasi Driver

Kami pergi ke halaman tobiigaming.com/getstarted dan klik tombol "Tobii Eyetracking":



Kemudian pada tombol yang muncul "Unduh":



Kami menyimpan file (untuk masa depan), dan kemudian menjalankannya:



Kami memberi tanda centang, klik tombol "Selanjutnya":



Kami sedang menunggu ...





Klik tombol "Lanjutkan":



Kemudian tekan tombol "Memulai":



Selanjutnya, Anda harus menyeret garis-garis pada layar dengan mouse sehingga garis-garis tersebut bertepatan dengan garis-garis pada tubuh pelacak TI:





Setelah selesai, tekan tombol "Selesai".

Kemudian dua lingkaran akan muncul di layar, yang menggambarkan apakah pelacak IT melihat mata Anda dengan baik.



Jika lingkaran tidak terletak di tengah layar (seperti pada gambar di atas), miringkan monitor untuk memindahkannya.
Jika lingkarannya besar dan berawan, Anda telah pindah terlalu dekat ke monitor.
Jika lingkaran kecil dan berawan, Anda terlalu jauh dari monitor.

Seperti yang saya tulis di atas, jarak optimal dari monitor ke mata adalah sekitar 50 cm.

Selanjutnya, kalibrasi pelacak TI dimulai.

PENTING !!!

Jika anak menggunakan pelacak IT, maka kalibrasi perlu dilakukan melalui mata anak !!

Pertama, Anda dapat mengkalibrasi perangkat di bawah mata Anda sendiri, dan kemudian di bawah mata anak-anak.
Titik-titik biru akan muncul di layar, Anda harus melihat masing-masing secara bergantian.



Setelah Anda memperbaiki pandangan Anda pada salah satu titik, itu akan terbang terpisah-pisah, seperti titik teratas pada gambar di atas.

Setelah kalibrasi, masukkan nama orang yang matanya dikalibrasi dan klik tombol "Simpan"



Selanjutnya, permainan akan dimulai di mana Anda menggerakkan mata penglihatan pesawat ruang angkasa, dan kemudian menembak asteroid dengan spasi:



Anda dapat keluar dari game dengan menekan tombol "Escape".

Ikon akan muncul di bilah tugas dengan dua lingkaran yang mewakili mata:



Jika perangkat hanya melihat satu mata, maka hanya satu lingkaran yang akan ditampilkan:



Jika perangkat tidak menemukan mata sama sekali, maka dua salib akan ditarik:



PENTING! Untuk mencegah program mengganggu satu sama lain, Anda perlu menonaktifkan tindakan standar yang dihasilkan oleh driver Tobii.

Untuk melakukan ini, klik pada ikon lingkaran (1) dan di menu yang terbuka, pergi ke bagian Interaksi (2):



Di setiap bagian (Panel Sentuh, Mouse, Windows), alihkan semua sakelar ke posisi "OFF":







Jika Anda ingin orang lain bekerja dengan perangkat ini, Anda perlu melakukan kalibrasi untuk matanya juga. Untuk melakukan ini, klik lagi ikon dengan dua lingkaran, dan kemudian pada panah kiri:



Kemudian pilih item "Buat Profil Baru ..." (1) dan ulangi kalibrasi untuk orang baru.

Beralih di antara profil orang yang berbeda dilakukan di area di bawah (2). Profil saat ini ditandai dengan lingkaran biru:

3.3. (Tidak diperlukan lagi) Instalasi “Microsoft Visual C ++ Redistributable untuk Visual Studio 2012 Update 4”

3.4. Instalasi dan konfigurasi perangkat lunak gratis (dari penulis artikel)

Kami mengikuti tautannya.

Setelah itu kita tekan tombol "Unduh" atau "Lihat Raw"



Simpan file.



(jika ada yang tertarik, kode sumber C ++ juga ada di dekatnya)

Buat direktori "C: \ bkb" dan salin isi arsip yang diunduh "bkb32c-Russian.zip" di sana.

Anda harus mendapatkan direktori dengan file-file seperti itu dan "grid" subdirektori:



Sebenarnya, Anda dapat memilih direktori lain untuk program, tetapi lebih baik ini bukan subdirektori dari "File Program ...". Faktanya adalah bahwa program dapat menyimpan sesuatu (misalnya, log kesalahan) dalam direktori ini, dan subdirektori "Program Files ..." ditutup untuk penulisan. (Ya, saya tahu apa yang diperlukan untuk menulis di% AppData%, tetapi ini terjadi secara historis).

3.4.1. Menyiapkan program untuk bekerja dalam mode tabel

Program ini ditulis sehingga jika Anda tidak mengklik apa pun di jendela pertama, maka ia mulai menentukan perangkat mana yang harus bekerja dengannya. Hal ini dilakukan agar dapat dimasukkan secara otomatis ke komputer seseorang yang tidak dapat menekan apa pun.

Oleh karena itu, pada awal program, kami tidak menangkap gagak, tetapi dengan cepat memberi tanda centang di bidang “Mode Tabel (GRID) - untuk anak-anak” (1).



Saya juga merekomendasikan mengklik tombol "Semua Pengaturan" (2) dan mengatur waktu yang lebih lama untuk memperbaiki tampilan dalam gambar, serta waktu menunggu untuk memperbaiki tampilan berikutnya:



Pembaruan 03.10.2018: Dalam versi terbaru program, waktu komit untuk tabel diambil dari pengaturan dan dikalikan dengan 3, jadi Anda mungkin tidak perlu menambahnya.

Klik tombol "Simpan" dan pilih pelacak IT kami, misalnya, Tobii (3).

Jika Anda tidak punya waktu untuk memeriksa atau memasukkan pengaturan, dan program dimulai, tutup dan coba lagi.

Anda dapat keluar dari program hanya dengan menutup jendelanya di taskbar:

4. Penggunaan program

Setelah memulai dalam mode tabel, program akan memperluas gambar berikut ke layar penuh:



Anda dapat menutup tabel ini ke satu sel dengan melihat panah kiri (collapse). Misalnya, menonton kartun.

Jika Anda melihat tabel diciutkan, maka itu akan meluas ke layar penuh lagi.

Jika Anda melihat lingkaran hijau, kata "Ya" akan diucapkan.

Merah - kata "Tidak"

Di bel adalah suara bel.

Pada salah satu gambar - frasa yang sesuai:

Sel tabel
0. Perutnya sakit.
1. Minum.
2. Untuk dimakan.
3. Unduh.
4. Berenang.
5. Tonton kartun.
6. menggambar.
7. Nyalakan sisinya.
8. tertidur
9. Lihat melalui jendela.
dahi awal.
b. Baca dongeng.

Seperti yang telah disebutkan, Anda dapat keluar dari program hanya dengan menutup jendelanya di taskbar.

5. Cara mengubah isi tabel

Anda dapat mengubah konten tabel dengan meletakkan file Anda sendiri di direktori "grid".

Untuk gambar, ini adalah file BMP. (disarankan untuk menyimpannya dalam Microsoft Paint, jika tidak, program mungkin tidak membacanya).

Untuk suara, ini adalah file WAV.

File 0.BMP ditampilkan di sel pertama tabel dan suara 0.WAV dimainkan
Di sel kedua - 1.BMP dan 1.WAV
Secara total, pada satu tingkat bisa ada hingga 16 sel, mereka diberi nomor sebagai berikut:
0,1,2,3,4,5,6,7,8,9, A, B, D, E, F

Artinya, file F.BMP dan F.WAV akan dilampirkan ke sel ke-16

Anda dapat membuat level tabel tambahan.
Misalnya, ketika Anda memilih sel "Makan", Anda bisa membuka meja dengan pilihan makanan.

Dalam tabel tingkat kedua, file disebut sebagai nilai dua digit.
Misalnya, "Makan" di tingkat pertama adalah nomor 2, dan dari situ kita masuk ke meja dengan sel mulai dari 2: 20, 21, 22 .......

Coba ini:

Ambil file 2.BMP dan salin ke file 20.bmp, dan juga ke file 21.bmp. Kemudian, di editor grafik, modifikasi file 20.bmp sehingga muncul piring dengan bubur di sana. Dan edit file 21.bmp sehingga ada gambar kentang tumbuk.

Sekarang rekam dua file suara: 20.wav dan 21.wav. Dalam yang pertama menuliskan bagaimana Anda mengucapkan kata "bubur", dan yang kedua - kata "kentang tumbuk".

Sekarang restart program, dan ketika anak melihat gambar dengan kata "makan", setelah mengucapkan kata ini tabel baru akan terbuka dengan gambar Anda 20.bmp, dan 21.bmp. Dan ketika Anda berhenti melihat foto-foto ini, kata-kata yang direkam dalam file 20.wav dan 21.wav, masing-masing, akan diucapkan.

Total ada tiga level, seperti yang ditunjukkan di bawah ini:



Sel tingkat berikutnya menambahkan digit lain ke nama file tingkat atas:
2-makan, 20-bubur, bubur 200-semolina.

Setelah menambahkan file baru ke direktori "grid", program harus di-restart agar dapat melihatnya.

Rekam suara Anda, buat gambar Anda sendiri, gabungkan ke dalam tabel Anda sendiri.

Contoh layar yang dibuat oleh orang lain:

6. Memanggil program eksternal (pembaruan November 2018)

Sekarang Anda dapat memanggil program eksternal dengan hanya menambahkan file dengan ekstensi .cmd dan nama yang sama dengan file dengan ekstensi .bmp

Misalnya, untuk gambar 5.bmp, Anda dapat membuat file 5.cmd , dan jika Anda melihat gambar ini dalam sebuah tabel, tidak hanya suara 5.wav akan diputar, tetapi juga file 5.cmd akan diluncurkan

Saat Anda memanggil program eksternal, jendela dengan tabel diminimalkan, berubah menjadi kotak kecil dengan panah sehingga Anda dapat melihat jendela program yang sedang berjalan.

7. Manajemen perangkat eksternal: peralatan listrik, kereta bayi bermotor, model yang dikendalikan radio (pembaruan November 2018)

Artikel terpisah didedikasikan untuk ini: habr.com/post/430078
Di sini saya hanya akan memberikan klip video yang menunjukkan cara kerjanya:

Bisakah Anda membeli sistem yang sudah jadi dari produsen terkenal?

Tentu saja bisa. Tetapi mereka meminta uang untuk perangkat lunak, dan program-program ini tidak bekerja dengan pelacak IT gaming murah.

Misalnya, pelacak dengan program dasar untuk $ 1.700 .

Tabel Komunikasi - Grid 3 seharga £ 480

Tabel Simpler - Snap + Core First seharga $ 180

Apakah mereka bekerja dengan bahasa Rusia dan keyboard - Saya tidak tahu.

Salam dan terima kasih

Saya membuat mode tabel untuk komunikasi anak-anak dengan pengajuan Alexander Makarchuk, kepala yayasan amal "Burung Hantu" ( sova.by ) dari Belarus. Alexander juga membantu saya mengumpulkan persyaratan dan pengujian. IMF, antara lain, menyelenggarakan pembelajaran jarak jauh bagi para penyandang cacat dengan pekerjaan berikutnya. Sasha, halo dan semoga sukses untukmu!