एआई ने भाषण में मस्तिष्क की गतिविधि का अनुवाद किया

बहुत से लकवाग्रस्त लोग जो बोलने में असमर्थ हैं, उनके दिमाग में जो कुछ भी वे छिपाना चाहते हैं, उसके संकेत हैं। और कोई भी इन संकेतों को डिक्रिप्ट नहीं कर सकता था। लेकिन हाल ही में, तीन शोध टीमों ने कंप्यूटर पर संश्लेषित भाषण में एक सर्जिकल तरीके से मस्तिष्क पर रखे गए इलेक्ट्रोड से डेटा का अनुवाद करने में प्रगति की है।

तंत्रिका नेटवर्क पर निर्मित मॉडल का उपयोग करते हुए, उन्होंने शब्दों और यहां तक ​​कि पूरे वाक्यों को फिर से संगठित किया, जो कुछ मामलों में, औसत मानव श्रोता के लिए काफी समझदार थे।

बायोरेक्सिव पर काम से पहले के विचारों में वर्णित किसी भी प्रयास को विचारों से भाषण को फिर से बनाने के लिए सफलता नहीं मिली। इसके बजाय, शोधकर्ताओं ने रोगी के मस्तिष्क के विभिन्न क्षेत्रों की गतिविधि का अवलोकन किया, जब वे जोर से पढ़ रहे थे, या तो खुद पढ़ रहे थे, लेकिन फिर भी अपने होंठों को घुमा रहे थे, पाठ को आंतरिक रूप से बोल रहे थे, या नोट्स सुन रहे थे।

"यह दिखाने के लिए कि पुनर्निर्मित भाषण काफी समझ में आता है वास्तव में रोमांचक है।" स्विट्जरलैंड में जिनेवा विश्वविद्यालय में न्यूरो इंजीनियर स्टेफ़नी मार्टिन कहते हैं, जो इस परियोजना में शामिल हैं।

जो लोग स्ट्रोक के बाद, या बीमारी के परिणामस्वरूप बोलने की क्षमता खो चुके हैं, वे कर्सर को नियंत्रित करने के लिए अपनी आंखों या कुछ अन्य छोटे आंदोलनों का उपयोग कर सकते हैं या स्क्रीन पर अक्षरों का चयन कर सकते हैं (कॉस्मोलॉजिस्ट स्टीफन हॉकिंग ने अपने चश्मे पर स्थापित स्विच को सक्रिय करने के लिए अपने गाल को तनाव दिया)। लेकिन अगर मस्तिष्क-कंप्यूटर इंटरफ़ेस सीधे मरीजों के भाषण को पुन: पेश कर सकता है, तो यह उनकी क्षमताओं का बहुत विस्तार करेगा: यह टॉन्सिलिटी पर नियंत्रण देगा और आपको जल्दी से चल रही बातचीत में भाग लेने की अनुमति देगा।

"हम एक योजना विकसित करने की कोशिश कर रहे हैं ... न्यूरॉन्स कि समय में विभिन्न बिंदुओं पर सक्रिय होते हैं और भाषण कैसे लगता है के बारे में एक निष्कर्ष बनाते हैं," कोलंबिया विश्वविद्यालय में एक इंजीनियर नीमा मेसगारानी कहती हैं। "एक को दूसरे में बदलना इतना सीधा नहीं है।"

जिस तरह से न्यूरॉन्स से इन संकेतों को भाषण में परिवर्तित किया जाता है, वह व्यक्ति से दूसरे व्यक्ति में भिन्न होता है, इसलिए कंप्यूटर मॉडल को प्रत्येक व्यक्ति के लिए अलग से प्रशिक्षित किया जाना चाहिए। और सबसे अच्छा, यह उन मॉडलों के लिए निकला जो बेहद सटीक डेटा से सीखते हैं, जिसकी प्राप्ति के लिए खोपड़ी के उद्घाटन की आवश्यकता होती है।

शोधकर्ताओं को यह अवसर बहुत ही कम मामलों में मिल सकता है। उनमें से एक है जब एक मरीज को ब्रेन ट्यूमर से निकाल दिया जाता है। सर्जन सेंसर का रीडिंग का उपयोग करते हैं जो भाषण और मोटर क्षेत्रों का पता लगाने और बचने के लिए मस्तिष्क से सीधे विद्युत संकेतों को पढ़ते हैं। एक और उदाहरण है जब सर्जरी के बाद बरामदगी के स्रोत का पता लगाने के लिए कई दिनों तक मिर्गी के रोगी में इलेक्ट्रोड प्रत्यारोपित किए जाते हैं।

स्टेफनी मार्टिन कहती हैं, "डेटा इकट्ठा करने के लिए हमारे पास अधिकतम 20, कभी-कभी 30 मिनट होते हैं।" "हम समय में बहुत सीमित हैं।"

सर्वश्रेष्ठ परिणाम टीमों द्वारा प्राप्त किए गए थे "खिला" मस्तिष्क गतिविधि की रिकॉर्डिंग से प्राप्त आंकड़े कृत्रिम तंत्रिका नेटवर्क के लिए। आउटपुट (एड। लेबल) के रूप में, नेटवर्क को एक भाषण दिया गया था कि रोगी या तो जोर से बोले या सुने।

निमा मेसगरानी टीम मिर्गी के पांच अलग-अलग रोगियों के डेटा पर निर्भर थी। उनके तंत्रिका नेटवर्क को लोगों के मस्तिष्क के श्रवण प्रांतस्था से रिकॉर्डिंग पर प्रशिक्षित किया गया था (जो किसी के स्वयं के भाषण के दौरान और किसी और को सुनने के दौरान सक्रिय है), जो उस समय विभिन्न कहानियों के रिकॉर्ड खेल रहे थे और 0 से 9. की संख्या के अनुक्रम को डब कर रहे थे, फिर एक कंप्यूटर मॉडल ने भाषण को संश्लेषित किया। संख्याओं के समान अनुक्रम और लोगों के एक नियंत्रण समूह का उच्चारण इस डेटा के 75% को पहचानने में सक्षम था।


जर्मनी की यूनिवर्सिटी ऑफ ब्रेमेन से तनाजा शुल्त्स के नेतृत्व में एक अन्य टीम ने ब्रेन ट्यूमर को हटाने के लिए 6 लोगों की सर्जरी की। उनका भाषण एक माइक्रोफोन पर रिकॉर्ड किया गया था, जबकि वे मोनोसिलैबिक शब्दों को ज़ोर से पढ़ते थे। उसी समय, उनके मस्तिष्क पर रखे गए इलेक्ट्रोड ने शब्दों के उच्चारण के लिए ध्वनि पथ पर कमांड भेजते हुए, नियोजन क्षेत्रों और मोटर क्षेत्रों की गतिविधि पर कब्जा कर लिया।

मास्ट्रिच विश्वविद्यालय के इंजीनियरों मिगुएल एग्रीक और क्रिश्चियन हर्फ़ ने एक तंत्रिका नेटवर्क को प्रशिक्षित किया, जो परिणामी ऑडियो रिकॉर्डिंग के साथ इलेक्ट्रोड का उपयोग करके पढ़े गए डेटा से मेल खाता था, और फिर रीड डेटा सेट के पहले नहीं दिखाए गए मॉडल के लिए शब्दों और वाक्यांशों को फिर से जोड़ दिया। इन आंकड़ों के अनुसार, मॉडल ने लगभग 40% भाषण को संश्लेषित किया, जो मनुष्य के लिए स्पष्ट था।


और अंत में, सैन फ्रांसिस्को में कैलिफ़ोर्निया विश्वविद्यालय के न्यूरोसर्जन एडवर्ड चांग और उनकी टीम ने भाषण केंद्र की गतिविधि पर पूरे वाक्यों को फिर से संगठित किया, जो 6 रोगियों में मिर्गी के रोगियों द्वारा पढ़ा गया, उस समय जब वे जोर से पढ़ते हैं। शोधकर्ताओं ने एक ऑनलाइन परीक्षण किया जिसमें 166 लोगों ने कंप्यूटर मॉडल द्वारा उत्पन्न वाक्यों में से एक को सुना और फिर 10 प्रस्तावित विकल्पों में से एक को चुनना पड़ा, जो कि उनकी राय में पढ़ा गया था। कुछ वाक्यों को 80% से अधिक मामलों में सही ढंग से पहचाना गया था। लेकिन शोधकर्ता वहाँ नहीं रुके और मॉडल को किसी व्यक्ति के भाषण को मस्तिष्क गतिविधि पर प्राप्त आंकड़ों के अनुसार फिर से बनाने के लिए मजबूर किया, जबकि वह खुद को शब्द पढ़ रहा था, लेकिन उसने उस समय अपने होंठ हिलाए, जैसे कि "उन्हें आंतरिक रूप से उच्चारण करते हुए"।

"यह एक बहुत ही महत्वपूर्ण परिणाम है," ईसाई हर्फ़ कहते हैं, "हम भाषण कृत्रिम अंग के करीब एक कदम हैं।"

"हालांकि, हम वास्तव में क्या उम्मीद करते हैं कि कैसे ये तरीके खुद को दिखाएंगे जब रोगी बिल्कुल भी नहीं बोल सकता है।" - कैलिफोर्निया में सैन डिएगो विश्वविद्यालय में एक न्यूरोसाइंटिस्ट स्टेफ़नी रिअस का जवाब। “मस्तिष्क के संकेत, जबकि एक व्यक्ति खुद को पढ़ रहा है या दूसरों को सुन रहा है, उन लोगों से अलग है जो ज़ोर से या लाइव संचार पढ़ते समय दिखाई देते हैं। एक बाहरी ध्वनि के बिना जिसके साथ कोई मस्तिष्क गतिविधि की तुलना कर सकता है, कंप्यूटर मॉडल के लिए यह अनुमान लगाना बहुत मुश्किल होगा कि आंतरिक भाषण कहाँ से शुरू होता है और कहाँ समाप्त होता है। ”

"डिकोडिंग काल्पनिक भाषण एक बड़ी छलांग लेगा।" नेशनल सेंटर फॉर अडेप्टिव न्यूरोटेक्नोलॉजी, न्यूयॉर्क स्टेट डिपार्टमेंट ऑफ़ हेल्थ के एक न्यूरोसाइंटिस्ट गेरविन शालक कहते हैं। "और अब यह पूरी तरह से स्पष्ट नहीं है कि इसे कैसे प्राप्त किया जाए।"

हर्फ़ के अनुसार, तरीकों में से एक, यह प्रतिक्रिया हो सकती है कि रोगी एक कंप्यूटर मॉडल देगा जो वास्तविक समय में भाषण को पुन: पेश करेगा क्योंकि व्यक्ति मानसिक रूप से शब्दों का उच्चारण करता है। रोगी और एआई दोनों के लिए पर्याप्त मात्रा में प्रशिक्षण के साथ, मस्तिष्क और कंप्यूटर बीच में कहीं मिल सकते हैं।