كيفية استخدام "Tobii Eye Tracker 4C" للتواصل مع طفل لا يستطيع الكلام والحركة (SMA ، الشلل الدماغي ، ALS)

تعتمد المنهجية على تتبع اتجاه الرؤية ، الذي يقوم به جهاز "Tobii Eye Tracker 4C". يتم عرض جدول به عدة صور على شاشة الكمبيوتر. إذا كنت تضع عينيك على صورة منفصلة ، فسيتم التعبير عن العبارة المقابلة ، على سبيل المثال ، "شرب" ، "قم بتشغيل جانبها" ، "مشاهدة الرسوم المتحركة".

عندما يتعلم الطفل الحروف ، سيكون من الممكن استخدام طرق أكثر تعقيدًا ، مثل الكتابة بالعين .

ما هو المطلوب (باختصار)؟

1. جهاز كمبيوتر
2. IT Tracker - جهاز تتبع النظرات
3. البرمجيات الحرة (من مؤلف المقالة)

المحتويات

كيف يعمل؟

تعليمات مفصلة
1. اختيار جهاز كمبيوتر
2. Tobii Eye Tracker 4C
2.1 تركيب جهاز التعقب على الشاشة
3. تثبيت البرنامج
3.1. (لم يعد مطلوبًا) احصل على إصدار ملف TobiiGazeCore32.dll 4.1.3.938 أو الأحدث
3.2. تركيب ومعايرة السائق
3.3. (لم يعد مطلوبًا) تثبيت "Microsoft Visual C ++ القابل لإعادة التوزيع لتحديث Visual Studio 2012 4"
3.4. تثبيت وتكوين البرمجيات الحرة (من مؤلف المقالة)
3.4.1. إعداد البرنامج للعمل في وضع الجدول
4. استخدام البرنامج
5. كيفية تغيير محتويات الجدول
6. استدعاء البرامج الخارجية (تحديث نوفمبر 2018)
7. إدارة الأجهزة الخارجية: الأجهزة الكهربائية ، عربات الأطفال الآلية ، النماذج التي يتم التحكم فيها عن طريق الراديو (تحديث نوفمبر 2018)
هل يمكنك شراء نظام جاهز من مصنع معروف بدلاً من ذلك؟
تحية وشكر

كيف يعمل؟

فيديو يوضح البرنامج:


تتعلم فيوليتا العمل مع البرنامج:


فيوليتا شقية وتقول "لا!" باستخدام البرنامج:


إذا لم يكن لديك متتبع لتكنولوجيا المعلومات ، فلا يزال بإمكانك تقييم تشغيل البرنامج ، حيث يمكن أن يعمل أيضًا مع أي جهاز يقوم بتحريك مؤشر الماوس على الشاشة. حرك الماوس حول الشاشة بالطريقة التي ستنقل بها نظرك. أوقف المؤشر مؤقتًا على الصور (لا تحتاج إلى النقر فوق أي شيء) - سيتوافق هذا مع إصلاح النظرة على الصورة عند استخدام ititracker.

لكي يعمل البرنامج في هذا الوضع ، تحتاج إلى تحديد Air Mouse كجهاز مستخدم (2 في الشكل أدناه) ، ولكن لا تنس أولاً التحقق من المربع "وضع الطاولة (GRID) - للأطفال" (1).

تعليمات مفصلة

1. اختيار جهاز كمبيوتر

أي جهاز كمبيوتر مناسب لهذا؟ أود أن أقول هذا: حديث بمتوسط ​​الخصائص وإصدارات نظام تشغيل Windows 7 و 8.1 و 10 (Windows 10 - فقط 64 بت). على الرغم من حقيقة أن توصيات استخدام جهاز تعقب تكنولوجيا المعلومات Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285- المواصفات - for- theTobii-Eye-Tracker-4C) ينصح باستخدام جهاز كمبيوتر باستخدام معالج Intel i5 أو i7 ، تمكنت من العمل على معالجات حديثة أرخص: i3 و Pentium و Celeron وحتى Atom x5 ، على الرغم من أن العمل على الأخيرين قد يبدو بطيئًا.

بعبارة أخرى ، إذا كان لديك جهاز كمبيوتر بالفعل ، ولم يعد قديمًا ، فيجب عليك محاولة العمل عليه. إذا كنت تفكر في شراء جهاز كمبيوتر ، فإن الشيء الرئيسي - لا تأخذ الجهاز القديم ، ولا تتناوله مع معالج Atom. على الرغم من أنه إذا لم يكن هناك أموال على الإطلاق ، فيمكنك تجربة ذلك ، ولكن من الأفضل مناقشة إمكانية العودة.

يجب أن يحتوي جهاز الكمبيوتر على منفذ USB واحد على الأقل الإصدار 2 أو 3. من الأفضل أن يكون هناك منفذين على الأقل بحيث يمكنك توصيل الماوس بجانب متعقب تكنولوجيا المعلومات. (بالمناسبة ، غالبًا ما تخطئ الأجهزة اللوحية في أنها تحتوي على منفذ USB واحد فقط).

2. Tobii Eye Tracker 4C

تم تصنيع هذا الجهاز من قبل Tobii لمحبي ألعاب الكمبيوتر ويتم بيعه بسعر معقول. لكي لا تخلق منافسة على أجهزتها الأكثر تكلفة ، فإن "Tobii Eye Tracker 4C" غير متوافق مع برامج الأشخاص ذوي الإعاقة التي تم إصدارها إليه.

ومع ذلك ، فقد تركت لي أدوات التطوير التي أطلقها توبي ثغرة سمحت لي بكتابة مثل هذه البرامج بنفسي. ربما ليست مثالية ، ولكنها مجانية.

اليوم (خريف 2018) يمكن شراء هذا الجهاز بسهولة في العديد من المتاجر. يمكنك بسهولة العثور على الخيار الأكثر ملاءمة لك. أخذت في ربيع عام 2018 مقابل 11500 روبل روسي.

2.1 تركيب جهاز التعقب على الشاشة.

فيديو يوضح التثبيت على جهاز كمبيوتر محمول:


يمكن أن يكون الكمبيوتر كبير الحجم مع شاشة مستقلة أو محمول (كمبيوتر محمول). ربما حتى لوحي ويندوز. ولكن عليك أن تتذكر أن متتبع تكنولوجيا المعلومات يجب أن يوضع تحت الشاشة بالضبط بحيث يكون الحامل صلبًا. وإذا كان متتبع تكنولوجيا المعلومات متصلًا بشاشة عادية بمغناطيس ذاتي اللصق يأتي مع المجموعة ، فعليك إرفاقه بالكمبيوتر اللوحي بطريقة ما بطريقة ما. في الصورة أدناه ، يتم تثبيت الجهاز اللوحي ومتعقب تكنولوجيا المعلومات على قطعة من اللوحة ، والتي بدورها متصلة بقوس يدور على زاوية الطاولة.



تحتاج أيضًا إلى تذكر أنه خلف الزجاج الداكن (شفاف فقط في نطاق الأشعة تحت الحمراء) توجد كاميرا في وسط متعقب تكنولوجيا المعلومات ومصابيح LED بالأشعة تحت الحمراء عند الحواف. عند التثبيت بالمشابك ، من المهم عدم منع أحدهما أو الآخر.

يجب أن يتزامن خط العيون مع خط موقع متتبع تكنولوجيا المعلومات. إذا استلقى شخص على جانبه ، فيجب أن تميل الشاشة إلى جانب واحد.

يجب أن تكون المسافة من العين إلى الشاشة باستخدام متعقب تكنولوجيا المعلومات حوالي 50 سم (طول الذراع) أو أبعد قليلاً. لذلك ، لن يعمل تثبيت متتبع تكنولوجيا المعلومات على التلفزيون على الحائط - بعيدًا جدًا.

كما ذكرنا من قبل ، هناك كاميرا في تعقب تكنولوجيا المعلومات ، ويجب أن تستهدف العينين. يعكس السطح الأمامي لمتتبع تكنولوجيا المعلومات القليل من الضوء. حاول رؤية عينيك فيه ، كما في المرآة ، فهذا يعني أن الكاميرا تنظر إليهم. قم بإمالة الشاشة إذا لزم الأمر.

3. تثبيت البرنامج

افعل كل شيء بهذا الترتيب!

3.1. (لم يعد مطلوبًا) احصل على إصدار ملف TobiiGazeCore32.dll 4.1.3.938 أو الأحدث

3.2. تركيب ومعايرة السائق

نذهب إلى الصفحة tobiigaming.com/getstarted وانقر على زر "Tobii Eyetracking":



ثم على الزر "تنزيل" الذي ظهر:



نقوم بحفظ الملف (للمستقبل) ، ثم تشغيله:



نضع علامة ، انقر فوق الزر "التالي":



نحن ننتظر ...





انقر فوق الزر "متابعة":



ثم اضغط على زر "البدء":



بعد ذلك ، ستحتاج إلى سحب الخطوط الموجودة على الشاشة باستخدام الماوس بحيث تتوافق مع الخطوط الموجودة على نص متتبع تكنولوجيا المعلومات:





عند الانتهاء ، اضغط على زر "تم".

ثم ستظهر دائرتان على الشاشة ، مما يوضح ما إذا كان متتبع تكنولوجيا المعلومات يرى عينيك جيدًا.



إذا لم تكن الدوائر موجودة في وسط الشاشة (كما في الصورة أعلاه) ، فقم بإمالة الشاشة لتحريكها.
إذا كانت الدوائر كبيرة وغائمة ، فقد اقتربت كثيرًا من الشاشة.
إذا كانت الدوائر صغيرة وغائمة ، فأنت بعيد جدًا عن الشاشة.

كما كتبت أعلاه ، فإن المسافة المثلى من الشاشة إلى العينين هي حوالي 50 سم.

بعد ذلك ، تبدأ معايرة متتبع تكنولوجيا المعلومات.

هام !!!

إذا كان الطفل يستخدم متعقب تكنولوجيا المعلومات ، عندها يجب إجراء المعايرة من خلال عيون الطفل !!

أولاً ، يمكنك معايرة الجهاز تحت عينيك ، ثم تحت عيون الطفل.
ستظهر نقاط زرقاء على الشاشة ، ستحتاج إلى إلقاء نظرة على كل منها على حدة.



بعد إصلاح نظرك على إحدى النقاط ، ستطير إلى أجزاء ، مثل النقطة العليا في الصورة أعلاه.

بعد المعايرة ، أدخل اسم الشخص الذي تمت معايرة عينيه وانقر على زر "حفظ"



بعد ذلك ، ستبدأ اللعبة التي تحرك فيها عيون مشهد المركبة الفضائية ، ثم تصوّر الكويكبات باستخدام شريط الفضاء:



يمكنك الخروج من اللعبة بالضغط على مفتاح "Escape".

سيظهر رمز على شريط المهام بدائرتين تمثل العينين:



إذا رأى الجهاز عينًا واحدة فقط ، فسيتم عرض دائرة واحدة فقط:



إذا لم يجد الجهاز العيون على الإطلاق ، فسيتم رسم صلبان:



هام! لمنع البرامج من التدخل مع بعضها البعض ، تحتاج إلى تعطيل الإجراءات القياسية التي ينتجها برنامج تشغيل Tobii.

للقيام بذلك ، انقر فوق رمز الدائرة (1) وفي القائمة التي تفتح ، انتقل إلى قسم التفاعلات (2):



في كل قسم (لوحة اللمس والماوس والنوافذ) ، قم بتحويل جميع المفاتيح إلى وضع "إيقاف التشغيل":







إذا كنت تريد أن يعمل شخص آخر مع الجهاز ، فأنت بحاجة إلى إجراء معايرة لعينيه أيضًا. للقيام بذلك ، انقر مرة أخرى على الرمز بدائرتين ، ثم على السهم الأيسر:



ثم حدد البند "إنشاء ملف تعريف جديد ..." (1) وكرر المعايرة لشخص جديد.

يتم التبديل بين الملفات الشخصية لأشخاص مختلفين في المنطقة أدناه (2). يتم تمييز ملف التعريف الحالي بدائرة زرقاء:

3.3. (لم يعد مطلوبًا) تثبيت "Microsoft Visual C ++ القابل لإعادة التوزيع لتحديث Visual Studio 2012 4"

3.4. تثبيت وتكوين البرمجيات الحرة (من مؤلف المقالة)

نتبع الرابط.

بعد ذلك نضغط على الزر "تنزيل" أو "عرض Raw"



احفظ الملف.



(إذا كان أي شخص مهتمًا ، فإن رموز مصدر C ++ قريبة أيضًا)

قم بإنشاء الدليل "C: \ bkb" وانسخ محتويات الأرشيف الذي تم تنزيله "bkb32c-Russian.zip" هناك.

يجب أن تحصل على دليل بهذه الملفات و "شبكة" فرعية:



في الواقع ، يمكنك اختيار دليل آخر للبرنامج ، ولكن من الأفضل ألا يكون هذا دليلًا فرعيًا لـ "Program Files ...". والحقيقة هي أن البرنامج يمكنه حفظ شيء ما (على سبيل المثال ، سجل خطأ) في هذا الدليل ، ويتم إغلاق الدلائل الفرعية "ملفات البرامج ..." للكتابة. (نعم ، أعرف ما كان من الضروري الكتابة في٪ AppData٪ ، لكن هذا حدث تاريخيًا).

3.4.1. إعداد البرنامج للعمل في وضع الجدول

يتم كتابة البرنامج بحيث إذا لم تنقر على أي شيء في نافذته الأولى ، فإنه يبدأ في تحديد الجهاز الذي يجب أن يعمل معه. يتم ذلك بحيث يمكن وضعها في التحميل التلقائي على جهاز الكمبيوتر لشخص لا يستطيع هو نفسه الضغط على أي شيء.

لذلك ، في بداية البرنامج ، لا نلتقط الغراب ، ولكن نضع علامة بسرعة في حقل "وضع الجدول (GRID) - للأطفال" (1).



أوصي أيضًا بالنقر على زر "جميع الإعدادات" (2) وتعيين وقت أطول لإصلاح المظهر في الصور ، بالإضافة إلى وقت انتظار لإصلاح المظهر التالي:



التحديث 03.10.2018: في أحدث إصدار من البرنامج ، يتم أخذ وقت الالتزام للجدول من الإعدادات وضربه في 3 ، لذلك قد لا تحتاج إلى زيادته.

انقر فوق الزر "حفظ" وحدد متتبع تكنولوجيا المعلومات لدينا ، على سبيل المثال ، Tobii (3).

إذا لم يكن لديك الوقت لفحص الإعدادات أو إدخالها ، وبدأ البرنامج ، فأغلقه وحاول مرة أخرى.

يمكنك الخروج من البرنامج فقط عن طريق إغلاق نافذته في شريط المهام:

4. استخدام البرنامج

بعد البدء في وضع الجدول ، سيقوم البرنامج بتوسيع الصورة التالية إلى وضع ملء الشاشة:



يمكنك طي هذا الجدول إلى خلية واحدة بالنظر إلى السهم الأيسر (طي). على سبيل المثال ، لمشاهدة الرسوم المتحركة.

إذا نظرت إلى الجدول المصغر ، فسيتم توسيعه إلى وضع ملء الشاشة مرة أخرى.

إذا نظرت إلى الدائرة الخضراء ، فسيتم نطق كلمة "نعم".

باللون الأحمر - كلمة "لا"

على الجرس صوت الجرس.

على إحدى الصور - العبارة المقابلة:

خلية الجدول
0. المعدة تؤلم.
1. شرب.
2. لتناول الطعام.
3. تنزيل.
4. السباحة.
5. مشاهدة الرسوم المتحركة.
6. رسم.
7. بدوره على جانبها.
8. النوم
9. انظر من خلال النافذة.
أ- جبين خدش.
ب- اقرأ قصة خيالية.

كما ذكرنا من قبل ، يمكنك الخروج من البرنامج فقط عن طريق إغلاق نافذته في شريط المهام.

5. كيفية تغيير محتويات الجدول

يمكنك تغيير محتويات الجدول بوضع ملفاتك الخاصة في دليل "الشبكة".

للصور ، هذه هي ملفات BMP. (من المستحسن حفظها في Microsoft Paint ، وإلا قد لا يقرأها البرنامج).

للأصوات ، هذه ملفات WAV.

يتم عرض الملف 0.BMP في الخلية الأولى من الجدول ويتم تشغيل الصوت 0.WAV
في الخلية الثانية - 1.BMP و 1. WAV
في المجموع ، في مستوى واحد يمكن أن يكون هناك ما يصل إلى 16 خلية ، يتم ترقيمها على النحو التالي:
0،1،2،3،4،5،6،7،8،9، A، B، D، E، F

بمعنى ، سيتم إرفاق ملفات F.BMP و F.WAV بالخلية 16

يمكنك عمل مستويات جدول إضافية.
على سبيل المثال ، عند تحديد خلية "تناول الطعام" ، يمكنك فتح طاولة مع اختيار الطعام.

في جدول المستوى الثاني ، تتم الإشارة إلى الملفات بقيم ذات رقمين.
على سبيل المثال ، "Eat" في المستوى الأول هو رقم 2 ، ومنه نصل إلى طاولة تحتوي على خلايا تبدأ من 2: 20 ، 21 ، 22 .......

جرب هذا:

خذ ملف 2.BMP وانسخه إلى ملف 20.bmp ، وكذلك إلى ملف 21.bmp. ثم ، في محرر الرسومات ، قم بتعديل ملف 20.bmp بحيث تظهر لوحة بها عصيدة هناك. وقم بتحرير ملف 21bmp بحيث تكون هناك صورة للبطاطس المهروسة.

سجل الآن ملفين صوتيين: 20.wav و 21.wav. في الأول اكتب كيف تنطق كلمة "عصيدة" ، وفي الثانية - كلمة "بطاطس مهروسة".

الآن قم بإعادة تشغيل البرنامج ، وعندما ينظر الطفل إلى الصورة بكلمة "أكل" ، بعد قول هذه الكلمة ، سيتم فتح جدول جديد به صورتك 20 bmp و 21 bmp. وعندما تتوقف عن النظر إلى هذه الصور ، سيتم نطق الكلمات المسجلة في ملفات 20.wav و 21.wav ، على التوالي.

يمكن أن يكون هناك ثلاثة مستويات في المجموع ، كما هو موضح أدناه:



تضيف خلايا المستوى التالي رقمًا آخر إلى اسم ملف المستوى الأعلى:
2-أكل ، 20 عصيدة ، 200 عصيدة سميد.

بعد إضافة ملفات جديدة إلى دليل "الشبكة" ، يجب إعادة تشغيل البرنامج حتى يتمكن من رؤيته.

تسجيل الأصوات الخاصة بك ، وإنشاء الصور الخاصة بك ، ودمجها في الجداول الخاصة بك.

أمثلة على الشاشات التي أنشأها أشخاص آخرون:

6. استدعاء البرامج الخارجية (تحديث نوفمبر 2018)

يمكنك الآن استدعاء البرامج الخارجية بمجرد إضافة ملف بامتداد .cmd ونفس اسم الملف بامتداد .bmp

على سبيل المثال ، بالنسبة لصورة 5. bmp ، يمكنك إنشاء ملف 5.cmd ، وإذا نظرت إلى هذه الصورة في جدول ، فلن يتم تشغيل الصوت 5.wav فحسب ، بل سيتم أيضًا تشغيل ملف 5.cmd

عند استدعاء برنامج خارجي ، يتم تصغير النافذة التي تحتوي على الجدول ، وتتحول إلى مربع صغير به سهم حتى تتمكن من رؤية نافذة البرنامج الجاري تشغيله.

7. إدارة الأجهزة الخارجية: الأجهزة الكهربائية ، عربات الأطفال الآلية ، النماذج التي يتم التحكم فيها عن طريق الراديو (تحديث نوفمبر 2018)

مقال منفصل مخصص لهذا: habr.com/post/430078
هنا سأقدم فقط مقاطع فيديو توضح كيفية عمل ذلك:

هل يمكنك شراء نظام جاهز من مصنع معروف بدلاً من ذلك؟

بالطبع يمكنك ذلك. لكنهم يطلبون أموالًا مقابل البرامج ، ولا تعمل هذه البرامج مع أجهزة تعقب تكنولوجيا المعلومات الرخيصة للألعاب.

على سبيل المثال ، جهاز تعقب ببرنامج أساسي مقابل 1700 دولار .

جداول الاتصالات - الشبكة 3 مقابل 480 جنيهًا إسترلينيًا

جداول أبسط - Snap + Core First مقابل 180 دولارًا

هل يعملون مع اللغة الروسية ولوحة المفاتيح - لا أعرف.

تحية وشكر

لقد صنعت وضع الطاولة لتواصل الأطفال مع تقديم ألكسندر ماكارتشوك ، رئيس مؤسسة "Owl" الخيرية ( sova.by ) من روسيا البيضاء. ساعدني ألكسندر أيضًا في جمع المتطلبات والاختبار. ينظم الصندوق ، من بين أمور أخرى ، التعلم عن بعد للأشخاص ذوي الإعاقة مع توظيف لاحق. ساشا ، مرحبا وحظا سعيدا لك!