العديد من الأشخاص المشلولين الذين لا يستطيعون الكلام لديهم إشارات إلى ما يريدون قوله مخفيًا في أدمغتهم. ولا يمكن لأحد فك تشفير هذه الإشارات. لكن في الآونة الأخيرة ، أحرزت ثلاثة فرق بحثية تقدماً في ترجمة البيانات من الأقطاب الكهربائية الموضوعة على الدماغ بطريقة جراحية إلى خطاب مركب بالكمبيوتر.
باستخدام النماذج المبنية على الشبكات العصبية ، قاموا بإعادة بناء الكلمات وحتى الجمل بأكملها ، والتي في بعض الحالات كانت واضحة تمامًا للمستمع البشري العادي.
أيا من المحاولات الموصوفة في مخططات العمل على bioRxiv لإعادة الكلام من الأفكار لم تؤد إلى النجاح. وبدلاً من ذلك ، لاحظ الباحثون نشاط مناطق مختلفة من دماغ المريض أثناء قراءتهم بصوت عالٍ ، إما القراءة لأنفسهم ولكنهم ما زالوا يتحركون شفتيهم أو يتحدثون النص داخليًا أو يستمعون إلى الملاحظات.
"إن إظهار أن الكلام المعاد فهمه أمر مفهوم حقًا أمر مثير حقًا". يقول ستيفاني مارتن ، وهو مهندس عصبي في جامعة جنيف في سويسرا ، ويشارك في هذا المشروع.
يمكن للأشخاص الذين فقدوا القدرة على التحدث بعد حدوث السكتة الدماغية ، أو كنتيجة للمرض ، استخدام عيونهم أو بعض الحركات الصغيرة الأخرى للسيطرة على المؤشر أو اختيار الحروف على الشاشة (قام عالم الكونيات ستيفن هوكينج بتجنيد خده لتنشيط المفتاح المثبت على نظارته). ولكن إذا تمكنت واجهة الدماغ الحاسوبية من إعادة إنتاج خطاب المرضى بشكل مباشر ، فسيؤدي ذلك إلى زيادة قدراتهم بشكل كبير: سيؤدي ذلك إلى التحكم في الدرجة اللونية ويسمح لك بالمشاركة في المحادثات الجارية بسرعة.
يقول نعمة مسغاراني ، وهو مهندس في جامعة كولومبيا: "نحاول تطوير مخطط ... من الخلايا العصبية التي يتم تنشيطها في فترات زمنية مختلفة وتوصل إلى استنتاج حول كيف يبدو الكلام". "تحويل واحد إلى آخر ليس بهذه السهولة."
تختلف طريقة تحويل هذه الإشارات من الخلايا العصبية إلى كلام من شخص لآخر ، لذلك يجب تدريب نماذج الكمبيوتر بشكل منفصل لكل فرد. والأفضل من ذلك كله ، أنه يتحول إلى نماذج تتعلم من بيانات دقيقة للغاية ، ويتطلب استلامها فتح الجمجمة.
يمكن للباحثين الحصول على هذه الفرصة في حالة نادرة للغاية. واحد منهم هو عندما تتم إزالة المريض من ورم في المخ. يستخدم الجراحون قراءات أجهزة الاستشعار التي تقرأ الإشارات الكهربائية مباشرة من الدماغ لتحديد أماكن الكلام والحركة وتجنبها. مثال آخر هو عندما يتم زرع الأقطاب الكهربائية في المريض المصاب بالصرع لعدة أيام لتحديد مصدر النوبات قبل إجراء الجراحة.
يقول ستيفاني مارتن: "لدينا ما لا يزيد عن 20 ، وأحيانًا 30 دقيقة ، لجمع البيانات". "نحن محدودون للغاية في الوقت المناسب."
تم تحقيق أفضل النتائج من خلال فرق "تغذية" البيانات التي تم الحصول عليها من تسجيل نشاط الدماغ إلى الشبكات العصبية الاصطناعية. كإخراج (تسميات ed) ، أعطيت الشبكات خطابًا قاله المريض بصوت عالٍ أو سمع.
اعتمد فريق Nima Mesgarani على بيانات من خمسة مرضى مختلفين يعانون من الصرع. تم تدريب شبكاتهم العصبية على تسجيلات من القشرة السمعية لعقل الناس (التي تنشط خلال خطاب المرء وأثناء الاستماع إلى شخص آخر) ، الذين كانوا في ذلك الوقت يلعبون سجلات قصص مختلفة ويصفون سلسلة من الأرقام من 0 إلى 9. بعد ذلك ، تولى نموذج كمبيوتر توليف الكلام نطق نفس تسلسل الأرقام وتمكنت مجموعة تحكم من الأشخاص من التعرف على 75٪ من هذه البيانات.
الكلام الذي يتم إنشاؤه بواسطة الكمبيوتر والذي يتم الحصول عليه من بيانات نشاط الدماغ للمريض أثناء الاستماع إلى الأرقام استخدم فريق آخر ، بقيادة تانيا شولتز من جامعة بريمن في ألمانيا ، بيانات من 6 أشخاص يخضعون للجراحة لإزالة أورام المخ. تم تسجيل خطابهم على الميكروفون أثناء قراءة الكلمات الأحادية الصوت بصوت عالٍ. في الوقت نفسه ، استولت الأقطاب الكهربائية الموضوعة على دماغهم على نشاط مناطق التخطيط والمناطق الحركية ، حيث أرسلت الأوامر إلى مسار الصوت لتلفظ الكلمات.
قام المهندسون ميجيل أنجريك وكريستيان هيرف ، من جامعة ماستريخت ، بتدريب شبكة عصبية تطابق البيانات المقروءة باستخدام الأقطاب الكهربائية مع التسجيلات الصوتية الناتجة ، ثم قاموا بإعادة بناء الكلمات والعبارات الخاصة بالنموذج الذي لم يتم عرضه مسبقًا لمجموعات بيانات القراءة. وفقًا لهذه البيانات ، فإن النموذج المركب للكلام ، الذي تبين أن حوالي 40٪ منه ، أصبح مفهومًا للبشر.
تسجيل الكمبيوتر ولد الكلام على أساس البيانات من الأقطاب الكهربائية وأخيرًا ، قام جراح الأعصاب إدوارد تشانغ وفريقه من جامعة كاليفورنيا في سان فرانسيسكو بإعادة بناء جمل كاملة حول نشاط مركز الكلام ، الذي قرأته الأقطاب الكهربائية في 6 مرضى يعانون من الصرع ، في الوقت الذي قرأوا فيه بصوت عالٍ. أجرى الباحثون اختبارًا عبر الإنترنت استمع فيه 166 شخصًا إلى إحدى الجمل التي تم إنشاؤها بواسطة طراز الكمبيوتر ، ثم اضطروا للاختيار من بين الخيارات العشرة المقترحة الخيار الذي ، في رأيهم ، قد تمت قراءته. تم تحديد بعض الجمل بشكل صحيح في أكثر من 80 ٪ من الحالات. لكن الباحثين لم يتوقفوا عند هذا الحد وأجبروا النموذج على إعادة إنشاء خطاب الشخص وفقًا لبيانات نشاط الدماغ التي تم الحصول عليها أثناء قراءة الكلمات لنفسه ، لكنه نقل شفتيه في ذلك الوقت ، كما لو كان "ينطقهم داخليًا".
يقول كريستيان هيرف: "هذه نتيجة مهمة للغاية ، فنحن على بعد خطوة واحدة من الأطراف الاصطناعية للكلام".
"ومع ذلك ، ما نتوقعه حقًا هو كيف ستظهر هذه الأساليب نفسها عندما لا يستطيع المريض التحدث على الإطلاق." - يستجيب لستيفاني ريس ، عالم الأعصاب في جامعة سان دييغو في كاليفورنيا. "إن إشارات الدماغ ، أثناء قراءة الشخص لنفسه أو الاستماع إلى الآخرين ، تختلف عن تلك التي تظهر أثناء القراءة بصوت عالٍ أو في التواصل المباشر. وبدون صوت خارجي يمكن أن يقارن به نشاط الدماغ ، سيكون من الصعب للغاية على طرز الكمبيوتر أن يتنبأوا أين يبدأ الكلام الداخلي وأين ينتهي ".
يقول جيروين شالك ، عالم الأعصاب في المركز الوطني للتكنولوجيا العصبية التكيفية في وزارة الصحة في نيويورك: "إن فك تشفير الكلام الوهمي سيستغرق قفزة هائلة إلى الأمام". "والآن ليس من الواضح تمامًا كيفية تحقيق ذلك".
واحدة من الطرق ، وفقا لهيرف ، يمكن أن تكون التغذية المرتدة التي يقدمها المريض لنموذج الكمبيوتر الذي سينتج الكلام في الوقت الحقيقي كما يلفظ الشخص عقليا الكلمات. من خلال قدر كافٍ من التدريب لكل من المريض ومنظمة العفو الدولية ، يمكن للعقل والكمبيوتر الاجتماع في مكان ما في الوسط.