如何使用“ Tobii Eye Tracker 4C”与无法说话和移动的孩子交流（SMA，脑瘫，ALS）

该方法基于跟踪方向，该方向由设备“ Tobii Eye Tracker 4C”执行。 带有多张图片的表格显示在计算机屏幕上。 如果您将眼睛放在另一张图片上，则会发出相应的词组，例如，“喝”，“翻过来”，“观看卡通片”。

当孩子学习字母时，可以使用更复杂的方法， 例如用眼睛打字 。

要求什么（简而言之）？

1. 一台电脑
2. IT Tracker-注视跟踪设备
3. 免费软件（来自本文作者）

目录内容

如何运作？

详细说明
1.选择电脑
2. Tobii眼动仪4C
2.1将跟踪器安装到监视器
3.软件安装
3.1。 （不再需要） 获取TobiiGazeCore32.dll文件版本4.1.3.938或更高版本
3.2。 驱动程序安装和校准
3.3。 （不再需要） 安装“ Visual Studio 2012 Update 4的Microsoft Visual C ++可再发行组件”
3.4。 免费软件的安装和配置（来自本文作者）
3.4.1。 设置程序以表模式工作
4.使用程序
5.如何更改表的内容
6.调用外部程序（2018年11月更新）
7.外部设备的管理：电器，电动婴儿车，无线电遥控模型（2018年11月更新）
您可以从知名制造商那里购买现成的系统吗？
问候和感谢

如何运作？

演示程序的视频：


Violetta学会使用该程序：


维奥莱塔很调皮，说“不！” 使用程序：


如果您没有IT跟踪器，您仍然可以评估该程序的操作，因为它也可以与在屏幕上移动鼠标光标的任何设备一起使用。 以移动视线的方式在屏幕上移动鼠标。 将光标停留在图片上（您无需单击任何内容）-这相当于在使用ititracker时将注视固定在图片上。

为了使程序在此模式下运行，您需要选择空中鼠标作为使用的设备（下图中的2），但首先不要忘记选中“表模式（GRID）-儿童”（1）框。

详细说明

1.选择电脑

哪台计算机适合？ 我会这样说：具有平均特征的现代操作系统和Windows操作系统版本7、8.1、10（Windows 10-仅64位）。 尽管事实上建议使用Tobii 4c IT跟踪器的建议（https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C）建议使用计算机使用Intel i5或i7处理器，我可以在更便宜的现代处理器上工作：i3，Pentium，Celeron甚至Atom x5，尽管最后两个处理器的工作似乎变慢了。

换句话说，如果您已经拥有一台计算机，并且它不是古旧的，那么您应该尝试使用它。 如果您想购买一台计算机，最主要的是-不要带旧计算机，也不要带Atom处理器。 虽然，如果绝对没有钱，那么您可以尝试一下，但是最好讨论退货的可能性。

一台计算机必须至少具有一个USB端口版本2或3。最好至少有两个端口，以便您可以在IT跟踪器旁边插入鼠标。 （顺便说一下，平板电脑经常犯一个错误，即它们只有一个USB端口）。

2. Tobii眼动仪4C

该设备由Tobii为计算机游戏玩家生产，并以合理的价格出售。 为了避免与其更昂贵的设备产生竞争，“ Tobii Eye Tracker 4C”与发布给它的残疾人程序不兼容。

但是，Tobii发布的开发工具给我留下了漏洞，让我自己可以编写这样的程序。 也许不是那么完美，但是免费。

如今（2018年秋季），可以在多家商店轻松购买此设备。 您可以轻松地为自己找到最方便的选择。 我在2018年春天花了11500俄罗斯卢布。

2.1将跟踪器安装到监视器。

演示在笔记本电脑上安装的视频：


电脑可以很大，带有独立式显示器或移动式（笔记本电脑）。 甚至是Windows平板电脑。 但是您需要记住，IT跟踪器必须准确地放置在显示器下方，以使安装架牢固。 而且，如果IT跟踪器使用工具包随附的自粘性磁铁连接到常规显示器，则您必须以某种方式将其连接到平板电脑。 在下面的照片中，平板电脑和IT跟踪器安装在一块板上，而该板又连接到在桌子角落旋转的支架。



您还需要记住，墨镜后面的玻璃（仅在红外范围内是透明的）位于IT跟踪器的中央，边缘处有红外LED。 用夹子固定时，重要的是不要阻塞任何一个。

视线应与IT跟踪器的位置线重合。 如果有人侧卧，则必须将显示器倾斜到一侧。

使用IT跟踪器从眼睛到显示器的距离应约为50厘米（手臂长度）或稍远一些。 因此，将IT跟踪器固定在墙上的电视上将无法工作-太远了。

如前所述，IT跟踪器中有一个摄像头，应该对准眼睛。 IT跟踪器的前表面反射一点光。 尝试在镜子中看到您的眼睛，就像镜子一样，这意味着相机正在注视着它们。 如有必要，倾斜显示器。

3.软件安装

按此顺序做所有事情！

3.1。 （不再需要） 获取TobiiGazeCore32.dll文件版本4.1.3.938或更高版本

3.2。 驱动程序安装和校准

我们转到tobiigaming.com/getstarted页面，然后单击“ Tobii Eyetracking”按钮：



然后在出现的按钮“下载”上：



我们保存文件（以备将来使用），然后运行它：



我们打勾，单击“下一步”按钮：



我们正在等待...





点击“继续”按钮：



然后按“开始使用”按钮：



接下来，您将需要用鼠标拖动屏幕上的线条，使其与IT跟踪器主体上的条纹重合：





完成后，按“完成”按钮。

然后，屏幕上将出现两个圆圈，说明IT跟踪器是否能很好地看到您的眼睛。



如果圆圈不在屏幕中心（如上图所示），请倾斜显示器以移动圆圈。
如果圆圈很大且浑浊，则说明您离显示器太近了。
如果圆圈小而浑浊，则说明您离显示器太远。

如我上面所述，从显示器到眼睛的最佳距离约为50厘米。

接下来，开始对IT跟踪器进行校准。

重要！

如果孩子使用IT跟踪器，则需要通过孩子的眼睛进行校准！

首先，您可以在自己的眼睛下校准设备，然后在儿童的眼睛下进行校准。
屏幕上会出现蓝点，您需要依次查看每个蓝点。



将视线固定在其中一个点上之后，它会飞散成碎片，就像上图中的最高点一样。

校准后，输入被校准眼睛的人的姓名，然后单击“保存”按钮



接下来，将开始一个游戏，您在该游戏中移动飞船的视线，然后使用空格键射击小行星：



您可以通过按“退出”键退出游戏。

一个图标将出现在任务栏上，带有两个代表眼睛的圆圈：



如果设备仅看到一只眼睛，则只会显示一个圆圈：



如果设备根本看不到眼睛，则将绘制两个十字：



重要！ 为了防止程序相互干扰，您需要禁用Tobii驱动程序产生的标准操作。

为此，请单击圆圈图标（1），然后在打开的菜单中转到“交互”部分（2）：



在每个部分（触摸板，鼠标，Windows）中，将所有开关转到“ OFF”位置：







如果要其他人使用该设备，则也需要对其眼睛进行校准。 为此，再次单击带有两个圆圈的图标，然后单击左箭头：



然后选择“创建新配置文件...”（1）项，并对新人员重复校准。

在下面的区域（2）中完成不同人的个人资料之间的切换。 当前配置文件带有蓝色圆圈标记：

3.3。 （不再需要） 安装“ Visual Studio 2012 Update 4的Microsoft Visual C ++可再发行组件”

3.4。 免费软件的安装和配置（来自本文作者）

我们点击链接。

之后，我们点击“下载”或“查看原始”按钮



保存文件。



（如果有人感兴趣，C ++源代码也在附近）

创建目录“ C：\ bkb”，然后将下载的归档文件“ bkb32c-Russian.zip”的内容复制到此处。

您应该获得一个包含此类文件的目录和一个子目录“ grid”：



实际上，您可以为该程序选择另一个目录，但是最好不要将其作为“ Program Files ...”的子目录。 事实是程序可以在此目录中保存某些内容（例如，错误日志），并且子目录“ Program Files ...”已关闭以进行写入。 （是的，我知道有必要用％AppData％编写，但这在历史上是发生的）。

3.4.1。 设置程序以表模式工作

编写该程序的目的是，如果您没有在其第一个窗口中单击任何内容，那么它将开始确定它应使用的设备。 这样做是为了可以将其自动加载到自己无法按下任何东西的人的计算机上。

因此，在程序开始时，我们没有赶上乌鸦，而是迅速在“ Table mode（GRID）-儿童”（1）字段中打勾。



我还建议单击“所有设置”按钮（2），并设置更长的时间来修复图片中的外观，以及等待下一次修复外观的时间：



更新2018年10月10日：在程序的最新版本中，表的提交时间从设置中获取并乘以3，因此您可能不需要增加它。

单击“保存”按钮，然后选择我们的IT跟踪器，例如Tobii（3）。

如果您没有时间检查或输入设置，并且程序已启动，请关闭它，然后重试。

您只能通过关闭任务栏中的窗口来退出程序：

4.程序的使用

在表格模式下启动后，程序会将以下图像扩展到全屏：



您可以通过查看左箭头（折叠）将此表折叠到一个单元格中。 例如，观看动画片。

如果您查看折叠的表格，那么它将再次扩展到全屏。

如果您看着绿色的圆圈，则会发音“是”。

红色-单词“否”

钟声在响。

在其中一张图片上-相应的短语：

表格单元格
0.胃痛。
1.喝。
2.吃饭。
3.下载。
4.游泳。
5.观看动画片。
6.画画。
7.打开它的侧面。
8，睡眠
9.浏览窗口。
a。划伤额头。
b。读童话故事。

如前所述，您只能通过关闭任务栏中的窗口来退出程序。

5.如何更改表的内容

您可以通过将自己的文件放在“ grid”目录中来更改表的内容。

对于图片，这些是BMP文件。 （建议将它们保存在Microsoft Paint中，否则程序可能不会读取它们）。

对于声音，这些是WAV文件。

在表的第一个单元格中显示文件0.BMP，并播放声音0.WAV。
在第二个单元格中-1.BMP和1.WAV
总共最多可以有16个像元，它们的编号如下：
0,1,2,3,4,5,6,7,8,9，A，B，D，E，F

也就是说，F.BMP和F.WAV文件将附加到第16个单元格

您可以创建其他表级别。
例如，当您选择“饮食”单元格时，您可以打开一个包含多种食物的表格。

在第二级表中，文件称为两位数值。
例如，第一层的“ Eat”是数字2，从中我们进入一个表格，表格中的单元格从2：20、21、22 ......开始……

试试这个：

取2.BMP文件并将其复制到20.bmp文件，再复制到21.bmp文件。 然后，在图形编辑器中，修改20.bmp文件，以便在那里出现带有粥的盘子。 并编辑21.bmp文件，以便有土豆泥的图像。

现在录制两个声音文件：20.wav和21.wav。 在第一个中写下您如何发音“稀饭”，在第二个中写下“马铃薯泥”一词。

现在重新启动程序，当孩子用“ eat”一词查看图片时，说出这个单词后，将打开一个新表格，其中包含您的图片20.bmp和21.bmp。 当您停止查看这些图片时，将分别念出记录在20.wav和21.wav文件中的单词。

总共可以分为三个级别，如下所示：



下一级单元格将另一个数字添加到顶级文件名：
2餐20粥200粗面粉粥

在将新文件添加到“ grid”目录后，需要重新启动程序，以便可以看到它们。

记录您的声音，创建自己的图片，然后将它们组合到您自己的表格中。

他人创建的屏幕示例：

6.调用外部程序（2018年11月更新）

现在，您可以通过简单地添加扩展名为.cmd的文件和与扩展名为.bmp的文件相同的名称来调用外部程序。

例如，对于5.bmp图片，您可以创建一个5.cmd文件，如果在表中查看该图片，不仅会播放5.wav声音，还会启动5.cmd文件。

调用外部程序时，带有表格的窗口会最小化，变成带有箭头的小方块，以便您可以看到正在运行的程序的窗口。

7.外部设备的管理：电器，电动婴儿车，无线电遥控模型（2018年11月更新）

另有一篇文章专门介绍此内容： habr.com/post/430078
在这里，我将仅提供视频片段以显示其工作原理：

您可以从知名制造商那里购买现成的系统吗？

当然可以 但是他们要钱购买软件，而这些程序不能与廉价的游戏IT跟踪器一起使用。

例如， 带有基本程序的跟踪器的价格为1,700美元 。

通信表- 网格3售价£480

更简单的表格-Snap + Core First ，现价$ 180

它们是否可以使用俄语和键盘-我不知道。

问候和感谢

我通过白俄罗斯“猫头鹰”慈善基金会（ sova.by ）的负责人亚历山大·马克阿库克（Alexander Makarchuk）的提议，为孩子们的交流提供了餐桌模式。 亚历山大还帮助我收集了需求并进行了测试。 除其他事项外，该基金组织残疾人的远程学习以及随后的就业。 萨沙，您好，祝您好运！