تجارب جافا سكريبت العصبية واجهة

يقول مؤلف هذه المادة ، التي نُنشر ترجمتها اليوم ، إنه لاحظ على مدار العامين الماضيين اهتمامًا ثابتًا بالتقنيات العصبية. في هذه المقالة ، تريد التحدث عن تجاربها مع مختلف أنظمة الأجهزة والبرامج التي تتيح لك إقامة اتصال بين الدماغ والكمبيوتر.

الخلفية

ليس لدي تعليم أساسي في الكمبيوتر (لقد درست الإعلان والتسويق). لقد أتقنت البرمجة في الدورات في الجمعية العامة.

عندما كنت أبحث عن الوظيفة الأولى ، بدأت في تجربة JavaScript ومع أجهزة مختلفة. على وجه الخصوص ، كان أول مشروع لي هو تنظيم لعبة Sphero للتحكم الآلي بالكرة عن طريق حركة الذراع باستخدام Leap Motion .


كرة كروية يقودها قفزة الحركة

كانت هذه أول تجربة لي باستخدام JavaScript لإدارة أي شيء خارج المتصفح. ودعا على الفور ما "مدمن مخدرات" لي.

منذ ذلك الحين قضيت الكثير من الوقت في العمل في مشاريع تفاعلية. في كل مرة ، في مشروع جديد ، حاولت أن أجد بنفسي مهام معقدة بشكل متزايد. لذلك كنت أتطور باستمرار وأتعلم شيئًا جديدًا.

بعد تجربة الأجهزة المختلفة ، بحثًا عن مهمة أخرى مثيرة للاهتمام ، صادفت مستشعرات نشاط الدماغ NeuroSky .

التجارب الأولى مع سماعة العصبية

عندما كنت مهتمًا بتجارب أجهزة استشعار نشاط الدماغ ، قررت شراء سماعة NeuroSky neururo. كانت أرخص بكثير من العروض المماثلة الأخرى.


NeuroSky سماعة العصبية

لم أكن أعرف ما إذا كانت مؤهلاتي ستكون كافية لكتابة شيء على الأقل لمثل هذا الجهاز (لقد انتهيت للتو من دورات البرمجة في تلك اللحظة) ، لذلك قررت اختيار شيء أرخص بحيث ، في حالة تحول المهمة إلى بالنسبة لي من الصعب للغاية عدم إضاعة الكثير من المال. لحسن الحظ ، تم بالفعل إنشاء إطار جافا سكريبت للعمل مع سماعات الرأس ، لذلك كان من السهل جدًا البدء بالتجربة. على وجه الخصوص ، استخدمت تقييم مستوى انتباهي للتحكم في كرة Sphero و Parrot AR.Drone quadrocopter.

خلال التجارب ، أدركت بسرعة أن هذه السماعة العصبية ليست دقيقة بشكل خاص. لديها ثلاثة أجهزة استشعار فقط ، لذلك يمكنها الحصول على بيانات تقريبية عن نشاط الدماغ. يوفر الجهاز الوصول إلى البيانات الخام من كل جهاز استشعار ، والذي يسمح ، على سبيل المثال ، بتصور هذه البيانات. لكن حقيقة أن سماعة الرأس بها ثلاثة أقطاب فقط لا تسمح لنا باستخلاص أي استنتاجات جدية بناءً على البيانات الواردة منها حول ما يحدث في الدماغ البشري.

عندما قررت البحث عن أجهزة أخرى لقراءة مؤشرات نشاط الدماغ ، وجدت سماعة الرأس العصبية Emotiv Epoc . كان لدي شعور بأن هذا الشيء يتمتع بقدرات أكثر خطورة مقارنة بسماعات الرأس NeuroSky ، لذلك قررت شرائه لمواصلة تجاربي.

قبل أن أتحدث عن كيفية عمل Emotiv Epoc ، أقترح باختصار أن أتحدث عن كيفية عمل الدماغ البشري.

كيف يعمل الدماغ

لا أستطيع أن أسمي نفسي متذوقًا عظيمًا في علم الأعصاب ، لذلك ستكون قصتي عن الدماغ سطحية تمامًا. أي ، أريد أن أتحدث عن بعض الأشياء الأساسية التي تحتاج إلى معرفتها لأولئك الذين يريدون أن يفهموا بشكل أفضل كيف تعمل سماعات الرأس العصبية.
يتكون المخ من عدة مليارات من الخلايا العصبية - خلايا متخصصة تقوم بمعالجة المعلومات وتخزينها ونقلها. أجزاء مختلفة من الدماغ ، تتكون من الخلايا العصبية ، هي المسؤولة عن وظائف فسيولوجية مختلفة.


أجزاء مختلفة من الدماغ (المصدر - macmillan.org.uk)

على سبيل المثال ، دعنا نتحدث عن كيف يتحكم الدماغ في الحركات. أجزاء من الدماغ مثل القشرة الحركية الأولية والمخيخ هي المسؤولة عن الحركة والتنسيق. إشارات الخلايا العصبية المقابلة تؤثر على العضلات ، مما يؤدي إلى الحركات.


تشريح الخلايا العصبية

كما قلت سابقًا ، يوجد هنا وصف بسيط للغاية للدماغ ، ولكن الشيء الأكثر أهمية بالنسبة لنا هو أن نشاط الخلايا العصبية يمكن تتبعه عن طريق رسم المخ الكهربائي (EEG) ، من خلال قراءة مؤشرات النشاط الكهربائي للدماغ من سطح فروة الرأس.

يمكن استخدام تقنيات أخرى لمراقبة نشاط الدماغ ، لكن استخدامها ينطوي على جراحة. على وجه الخصوص ، نحن نتحدث عن تخطيط كهربية القلب - مع هذا النهج ، يتم تطبيق الأقطاب الكهربائية مباشرة على القشرة الدماغية.

الآن وقد وجدنا أن الدماغ ، أثناء العمل ، يولد إشارات كهربائية يمكن قراءتها ، دعنا نتحدث عن سماعة Emotiv Epoc.

كيف تعمل سماعة الرأس العصبية؟

تنتج شركة Emotiv عدة أنواع من سماعات الرأس العصبية:

• البصيرة العاطفية
• Emotiv Epoc Flex Kit
• Emotiv epoc

تحتوي سماعة Epoc على 14 مستشعرًا (يطلق عليها أيضًا "القنوات") في أماكن مختلفة على الرأس.

يُظهر الشكل التالي ، على اليسار ، نمط وضع قطب كهربائي يتراوح من 10 إلى 20 أوصى به الاتحاد الدولي لعلم الدماغ الكهربائي والفيزيولوجيا العصبية السريرية. كل قطب يتوافق مع منطقة معينة من الدماغ. يتيح لك استخدام نظام 10-20 اتباع معيار معين عند إنشاء أجهزة مختلفة وعند إجراء البحوث العلمية على الدماغ.
يوضح الشكل الموجود على اليمين تخطيط أقطاب سماعة Emotiv Epoc. لمقارنته بنظام 10-20 ، يكون اللون الأخضر والبرتقالي.


مقارنة بين نظام التنسيب الكهربائي الدولي 10-20 وسماعات Emotiv Epoc

14 قنوات Epoc - هذا ليس كثيرًا ، لكن الأقطاب الكهربائية توضع بالتساوي على فروة الرأس. هذا يسمح لنا أن نأمل أنه بمساعدة Epoc يمكنك الحصول على معلومات دقيقة إلى حد ما عن نشاط الدماغ.

تقرأ سماعات الرأس أجهزة الاستشعار في 2048 عينة في الثانية (SPS). في الوقت نفسه ، يمكن للمستخدم الوصول إلى تردد أخذ العينات إشارة من 128 أو 256 SPS. الجهاز قادر على التقاط موجات المخ بتردد من 0.16 إلى 43 هرتز. هناك إيقاعات مختلفة للمخ ، وتظهر خصائصها الموجزة في الشكل التالي.


أنواع الموجات الدماغية

لماذا هذا مهم؟ والحقيقة هي أنه ، بناءً على التطبيق الذي يجب بناؤه على أساس مخطط كهربية الدماغ ، قد نحتاج إلى إيلاء اهتمام خاص لموجات الدماغ ذات التردد المعين. على سبيل المثال ، إذا كنا بحاجة إلى إنشاء برنامج لمساعدة المتأملين ، فعندئذ ، على الأرجح ، سنهتم فقط بموجات ثيتا ، التي يتراوح ترددها بين 4 و 8 هرتز.

بعد فهم المبادئ التي يقوم عليها مخطط كهربية الدماغ ، دعنا نتحدث عن قدرات Emotiv Epoc والبرامج ذات الصلة.

Emotiv Epoc Features

برنامج Emotiv ليس مفتوح المصدر ؛ مطلوب ترخيص خاص للوصول إلى إشارة المستشعر الخام. في ظل الظروف العادية ، عند العمل مع Emotiv Epoc ، تتوفر الخيارات التالية:

• قياس المؤشرات التي تميز موقع رأس المستخدم في الفضاء باستخدام مقياس التسارع وجيروسكوب.
• قياس مستوى الإثارة ، المشاركة ، الاسترخاء ، الاهتمام ، الإجهاد ، التركيز.
• التعرف على حركات عضلات الوجه ، وإعطاء فكرة عن تعبير الوجه للمستخدم. على سبيل المثال ، نحن نتحدث عن الوميض والابتسام.
• التعرف على الأوامر العقلية (الحركات والمنعطفات).

من أجل استخدام التعرف على الأوامر العقلية ، يجب على المستخدم أولاً تدريب النظام . يتم حفظ بيانات التدريب كملف.

إذا كنت ترغب في تطوير برامجك الخاصة لبرنامج Emotiv Epoc ، فيمكنك استخدام Cortex API و SDK المطابق (تم إيقاف دعمها بعد إصدار الإصدار 3.5). إذا كنت ترغب في استخدام JavaScript ، يمكنك إلقاء نظرة على تطوري - مكتبة Epoc.js.

مكتبة Epoc.js

Epoc.js هو إطار مصمم لتنظيم التفاعل مع أجهزة Emotiv Epoc و Insight باستخدام JavaScript. يمنح هذا الإطار المطور إمكانية الوصول إلى القدرات الموضحة أعلاه لأنظمة Emotiv ويسمح بالتفاعل مع المحاكي .
إليك أبسط مشروع يعتمد على Epoc.js:

const epoc = require('epocjs')(); epoc.connectToLiveData('path/to/profile/file', function(event){  var action = event.blink === 1 ? 'blinking' : 'not blinking';  console.log(action); }); 

في هذا المثال من الكود ، نقوم بتوصيل الوحدة النمطية epocjs بإنشاء الكائن المقابل. ثم نسمي طريقة connectToLiveData لهذا الكائن ، connectToLiveData إلى الملف مع بيانات المستخدم التي تم الحصول عليها بعد تدريب النظام ، ووظيفة رد الاتصال. يتم تمرير كائن حدث إلى هذه الوظيفة التي تحتوي على خصائص متعددة يمكن تتبعها. على سبيل المثال ، إذا أردنا أن يستجيب البرنامج event.blink ، event.blink خاصية event.blink .

يمكن ضبط كل خاصية مماثلة على 0 أو 1. وحدة في قيمة الخاصية تعني أن النظام سجل الحدث المقابل. يمكن الاطلاع على قائمة كاملة بهذه الخصائص هنا .

تم إنشاء المكتبة الموصوفة باستخدام Emotiv C ++ SDK و Node.js وثلاث وحدات لـ Node.js: Node-gyp و Bindings و Nan. أثناء تطويره ، تم استخدام نهج يمكن اعتباره الآن قديمًا. الآن الاستخدام الفعلي ل N-API .

بعد مناقشة إمكانيات السماعات العصبية المختلفة وطرق العمل معها برمجيًا ، سأتحدث عن عدة نماذج أولية أنشأتها تستخدم واجهة عصبية.

النماذج الأولية

▍1. لوحة المفاتيح

إليك ما تبدو عليه لوحة المفاتيح التي تتحكم في حركات العين.


لوحة المفاتيح النموذجية التي تسيطر عليها حركات العين

كان هذا أول مشروع لي باستخدام Emotiv Epoc. كنت مهتمًا بمعرفة ما إذا كان من الممكن إنشاء واجهة بسيطة باستخدام سماعة رأس عصبية تسمح للشخص بالتفاعل مع جهاز كمبيوتر باستخدام حركات العين. على سبيل المثال ، عندما تنظر إلى اليمين أو اليسار ، يتم تمييز المفاتيح المقابلة على لوحة المفاتيح. من أجل "النقر" على المفتاح المميز ، تحتاج إلى وميض. يظهر الحرف المقابل في الحقل الموجود أعلى لوحة المفاتيح.

يبدو هذا المشروع بسيطًا جدًا ، ولكن الشيء الأكثر أهمية هو أنه يعمل.

▍2. Webvr

في مشروعي الثاني ، استخدمت الأوامر العقلية. عند إنشائه ، أردت أن أفهم ما إذا كان من الممكن التحكم في كائن موجود في الفضاء ثلاثي الأبعاد ، مجرد التفكير في شيء ما.


الفكر مدفوعة واجهة الويب

هنا ، لإنشاء بيئة بسيطة ثلاثية الأبعاد ، استخدمت مكتبة Three.js ، وتم استخدام مكتبة Epoc.js للتعرف على الأوامر العقلية ، وتم استخدام مآخذ الويب لإرسال البيانات من الخادم إلى العميل.

.3. إنترنت الأشياء

ببدء المشروع الثالث ، أردت استكشاف إمكانيات التحكم في الأجهزة الحقيقية باستخدام الأوامر العقلية. لقد كنت مهتمًا بتطوير إنترنت الأشياء باستخدام جافا سكريبت لبعض الوقت ، لذا كنت مهتمًا بالتعرف على ما يحدث إذا كنت تجمع بين Parrot quadrocopter وسماعة رأسية للأعصاب.


كوادكوبتر

جميع المشاريع الموضحة أعلاه ، جميع النماذج الأولية التي تم إنشاؤها ، هي تطورات بسيطة للغاية قمت بإنشائها من أجل اختبار بعض الأفكار في الممارسة وتقييم إمكانيات وقيود الواجهات العصبية.

حدود واجهة العصبية

تبدو كلمة "neurointerface" مدهشة ، وعندما يتبين أنه يمكن التحكم في الكمبيوتر بواسطة قوة التفكير ، فقد يبدو أنه المستقبل ، ولكن في الواقع ، لا تزال تقنيات الحواسيب العصبية بها بعض القيود.

forNeed للتدريب

من الطبيعي أن يضطر المستخدمون إلى إجراء تدريب على النظام ، يتم خلاله تسجيل موجات الدماغ ومقارنتها بفرق معينة ، ولكن بالنسبة للكثيرين ، فإن هذه الخطوة تشكل عقبة أمام تبني تقنية جديدة. يصعب عليّ أن أتخيل أن شخصًا ما سيقضي وقتًا في تدريب أنظمة الحواسيب العصبية ، إلا إذا احتاج شخص ما حقًا إلى مثل هذا النظام ، وفي الوقت نفسه ، ستكون الدقة التي تتعرف بها على الأوامر العقلية على مستوى عالٍ للغاية.

▍ التأخير

عندما قمت بتطوير النموذج الأولي الخاص بي ، استنادًا إلى إدراك الكمبيوتر للأوامر العقلية ، اكتشفت أنه كان هناك بعض التأخير بين اللحظة التي بدأت في التفكير فيها وبين اللحظة التي تفاعل فيها البرنامج مع هذا الفكر.

أعتقد أن النقطة المهمة هنا هي أن خوارزمية التعلم الآلي المستخدمة في النموذج الأولي تستقبل البيانات من الجهاز في الوقت الفعلي. من أجل التعرف على الفكر ، الذي درسه سابقًا ، يحتاج إلى مؤشرات تم جمعها خلال فترة زمنية معينة.

هذا يؤثر على البرامج التي يمكن بناؤها على أساس الواجهة العصبية. على سبيل المثال ، يبدو البرنامج الذي يساعد على التأمل حقيقيًا تمامًا ، لأن التأخير بين التغييرات في حالة المخ ورد فعل البرنامج لن يؤثر بشكل خاص على نتائج مثل هذا البرنامج. ومع ذلك ، إذا شرع المرء في إنشاء شيء يشبه الكرسي المتحرك تتحكم فيه الأفكار ، فإن مشكلة التأخير تصبح أكثر حدة ، مما يثير التساؤل حول هذا التطور.

technology التكنولوجيا غير الغازية والدقة

تعد ماسحات EEG رائعة للاستخدام اليومي في مواقف الحياة اليومية. يكفي وضع السماعة من خلال وضع هلام خاص على المستشعرات ، وقد انتهيت من ذلك. ومع ذلك ، فإن حقيقة أن الإشارات التي يولدها الدماغ تُقرأ من فروة الرأس ، وليس ، على سبيل المثال ، من سطح الدماغ نفسه ، تضعف دقة هذه الإشارات.

إذا تحدثنا عن وتيرة أخذ المؤشرات ، فهذا جيد جدًا في الأجهزة الموجودة. لا يمكن قول الشيء نفسه عن الخصائص المكانية للبيانات التي تم الحصول عليها. يمكن لأجهزة EEG قراءة الإشارات التي تنشأ في أجزاء الدماغ القريبة من سطح الرأس فقط. من المستحيل معرفة ما يحدث في الهياكل الأعمق للدماغ باستخدام نهج مماثل.

▍ القبول العام

سماعات الرأس العصبية ليست أجمل الأجهزة وأكثرها دراية. أعتقد أنه طالما أن هذه السماعات تبدو كما هي الآن ، فمن غير المرجح أن يتم ارتداؤها في الأماكن العامة. مع تطور التكنولوجيا ، من الممكن إنشاء أجهزة يمكن إخفاؤها في الملحقات مثل القبعات ، ولكن حتى هنا قد تواجه مشكلة مرتبطة بحقيقة أن هذه الأجهزة سوف تكون غير مريحة عند ارتداءها لفترة طويلة.

يجب أن تكون مستشعرات EEG قريبة جدًا من فروة الرأس لاتخاذ مؤشرات نوعية لنشاط الدماغ. وإذا كان من الصعب الشعور بالضغط مباشرة بعد وضع سماعات الرأس ، فمع مرور الوقت يبدأ في التسبب في عدم الراحة. علاوة على ذلك ، إذا كنت بحاجة أيضًا إلى تطبيق هلام على المستشعرات ، فإن هذا يتحول إلى حاجز إضافي للتوزيع الواسع لسماعات الرأس العصبية.

كما ترون ، تشير الحالة الراهنة في مجال الواجهات العصبية إلى أنه من غير المرجح أن تصبح واسعة الانتشار. ومع ذلك ، إذا تحدثنا عن المستقبل ، فيمكننا القول أن هذه الأجهزة لها آفاق مثيرة للاهتمام.

قدرات واجهة العصبية

إذا كنت تأخذ في الاعتبار الوضع الحالي للتكنولوجيا وتفكر في ما قد تصبح في المستقبل ، يمكنك العثور على العديد من الخيارات لتطبيقها.

people مساعدة الأشخاص ذوي الإعاقة

أود لسماعات الرأس العصبية أن تساعد الأشخاص ذوي الإعاقة في أن يعيشوا حياة أكمل وأن يكونوا أكثر استقلالية.

هذا هو بالضبط ما كنت أفكر فيه عندما أنشأت أول نموذج لي - لوحة مفاتيح تتحكم فيها حركات العين. هذا التطور الخاص بي بعيد عن المستوى الذي يمكن استخدامه فيه عملياً ، لكن أثناء العمل في هذا المشروع ، كنت مهتمًا بفهم ما إذا كان جهاز المستهلك الميسور التكلفة تمامًا يمكن أن يساعد شخصًا ما حقًا. ليس كل شخص لديه إمكانية الوصول إلى الأنظمة الطبية المعقدة ، وقد سُرني ببساطة بحقيقة أن الأداة غير المكلفة للغاية ، والتي يمكن شراؤها مجانًا من المتجر عبر الإنترنت ، قادرة على حل المهام الهامة والضرورية.

practices الممارسات العقلية

الممارسات العقلية ، على وجه الخصوص - التأمل - هذا هو مجال تطبيق السماعات العصبية ، التي تجذب اليوم بعض الاهتمام بالفعل (على سبيل المثال ، سماعة موسى تساعد على التأمل). إنه يتعلق بمساعدة شخص يريد التأمل ، وفعل كل شيء بشكل صحيح.

▍ المساعدة في حل المشاكل الصحية

إذا كانت سماعات الرأس العصبية تخترق حياتنا مثل الهواتف المحمولة ، فقد نتمكن من إنشاء تطبيقات قادرة على الاستجابة للمشاكل الصحية. على سبيل المثال ، سيكون من الرائع لو كانت هناك تطبيقات ، بناءً على تحليل لنشاط الدماغ ، ستساعد في محاربة السكتات الدماغية ونوبات الهلع ونوبات الصرع.

productivity زيادة إنتاجية العمل

يمكن أن تساعد سماعات الرأس العصبية في التأمل ، مما يعني أنه يمكنك من خلالها معرفة الوقت الذي يركز عليه الشخص بشكل أفضل. يمكن أن تساعدك هذه المعلومات ، التي يتم الحصول عليها عن طريق ارتداء سماعة الرأس بانتظام ، على فهم متى يكون من الأفضل القيام ببعض الأنشطة. يمكنك أن تتخيل أنه سيتم تنظيم جدول العمل وفقًا للخصائص الفردية للشخص ، مما سيزيد إنتاجيته.

rt آرت

أحب ، بمبادرة خاصة بي ، خلال ساعات الدوام الرسمي ، استكشاف الظواهر التي تتقاطع بين الفن والتكنولوجيا. أعتقد أنه لا ينبغي التقليل من أهمية العمل في هذا الاتجاه فيما يتعلق بالواجهات العصبية ، حيث إنها ، على الرغم من أنها قد تبدو "تافهة" ، تساعد في فهم التقنيات بشكل أفضل ، والتي ستكون مفيدة في الحالات "الأكثر خطورة" لتطبيقها.

مزيج من أجهزة استشعار النشاط الكهربائي في الدماغ مع أجهزة استشعار أخرى

في الآونة الأخيرة ، كان لدي فكرة أن أجهزة استشعار EEG لا ينبغي أن تعتبر شيئا مستقلا تماما. يتصور دماغنا العالم من خلال الحواس. إنه غير قادر على الرؤية بدون عيون ويسمع بلا أذنين. لذلك ، إذا كنا نريد الاستفادة القصوى من البيانات المتعلقة بالنشاط الكهربائي للمخ ، فقد نحتاج إلى تتبع العلامات الحيوية الأخرى.

المشكلة الرئيسية هنا هي أن كل هذا يمكن أن يؤدي إلى حقيقة أن الناس سوف يتم تعليقهم حرفيًا بأجهزة استشعار مختلفة.


هل هناك الكثير من أجهزة الاستشعار هنا؟ (مصدر التوضيح - cognionics.net)

ربما لن يلبس أحد أجهزة الاستشعار باستمرار كما هو موضح في الشكل السابق.

Openbci

قبل بضعة أسابيع حصلت على شيء جديد - حزمة OpenBCI . خطوتي التالية هي دراسة البيانات الأولية التي تم الحصول عليها من أجهزة استشعار EEG وتطبيق أساليب التعلم الآلي على هذه البيانات. OpenBCI هو مشروع مفتوح المصدر ، لذلك يبدو لي أن تطويرهم مناسب تمامًا لهذا الغرض. ما زلت لا أعمل كثيرًا مع سماعات الرأس الخاصة بهم ، فلدي الآن وقت كافٍ فقط لتوصيله بجهاز كمبيوتر وتكوينه. هذه هي الطريقة التي يبدو كل شيء.


Openbci

ملخص

يقول مؤلف هذه المادة إنه يواصل دراسة الواجهات العصبية. نأمل أن تساعد قصتها أولئك المهتمين بهذا الموضوع ، لكن لا تجرؤ على متابعة الإجراءات العملية ، واتخاذ الخطوات الأولى في تطبيق سماعات الرأس العصبية. إذا كنت مهتمًا بكل هذا ، فإليك منشوراتنا الأخرى على سماعات الرأس و JavaScript مخصصة لـ Muse.

أعزائي القراء! هل تخطط لتجربة سماعات الرأس العصبية؟