मानव मस्तिष्क की गतिविधि का पहली बार स्पष्ट भाषण में अनुवाद किया गया था

भाषण पुनर्निर्माण की विधि की योजना। एक व्यक्ति शब्दों को सुनता है, परिणामस्वरूप, उसके श्रवण प्रांतस्था के न्यूरॉन्स सक्रिय होते हैं। डेटा की व्याख्या चार तरीकों से की जाती है: दो प्रकार के प्रतिगमन मॉडल और दो प्रकार के भाषण निरूपण को जोड़कर, फिर वे तंत्रिका नेटवर्क प्रणाली में प्रवेश करते हैं ताकि वे फीचर्स निकाले जा सकें जो बाद में वोडर मापदंडों को कॉन्फ़िगर करने के लिए उपयोग किए जाते हैं

कोलंबिया विश्वविद्यालय (यूएसए) में न्यूरोएन्जिनेर्स दुनिया में पहला था जिसने एक प्रणाली बनाई जो मानव विचारों को समझने योग्य, अलग-अलग भाषणों में अनुवाद करती है, यहां मस्तिष्क गतिविधि द्वारा संश्लेषित शब्दों (एमपी 3) की ध्वनि रिकॉर्डिंग है ।

श्रवण प्रांतस्था में गतिविधि का अवलोकन करके, सिस्टम उन शब्दों को पुनर्स्थापित करता है जो एक व्यक्ति अभूतपूर्व स्पष्टता के साथ सुनता है। बेशक, यह शब्द के शाब्दिक अर्थों में विचारों का स्कोरिंग नहीं है, लेकिन इस दिशा में एक महत्वपूर्ण कदम उठाया गया है। दरअसल, मस्तिष्क गतिविधि के समान पैटर्न मस्तिष्क प्रांतस्था में होते हैं जब कोई व्यक्ति कल्पना करता है कि वह भाषण सुन रहा है, या जब वह मानसिक रूप से शब्द बोलता है।

कृत्रिम बुद्धि प्रौद्योगिकियों का उपयोग करने वाली यह वैज्ञानिक सफलता हमें प्रभावी तंत्रिका इंटरफेस के निर्माण के करीब लाती है जो कंप्यूटर को सीधे मस्तिष्क से जोड़ती है। यह उन लोगों की भी मदद करेगा जो बोल नहीं सकते हैं और जो एक स्ट्रोक से या किसी अन्य कारण से ठीक हो जाते हैं जो संचार के लिए शब्द बोलने के लिए अस्थायी या लगातार असमर्थ हैं।

अनुसंधान के दशकों ने साबित किया है कि, बोलने या मानसिक रूप से बोलने की प्रक्रिया में, मस्तिष्क में गतिविधि के नियंत्रण पैटर्न दिखाई देते हैं। इसके अलावा, एक विशिष्ट (और पहचानने योग्य) सिग्नल पैटर्न तब उत्पन्न होता है जब हम किसी को सुनते हैं या कल्पना करते हैं कि हम सुन रहे हैं। विशेषज्ञ लंबे समय से खोपड़ी से एक व्यक्ति के विचारों को "मुक्त" करने के लिए इन पैटर्नों को रिकॉर्ड करने और समझने की कोशिश कर रहे हैं - और स्वचालित रूप से उन्हें मौखिक रूप में अनुवाद करते हैं।


(ए) एक भाषण नमूने का मूल स्पेक्ट्रोग्राम ऊपर दिखाया गया है। चार मॉडलों के पुनर्निर्मित श्रवण स्पेक्ट्रोग्राम नीचे दिखाए गए हैं। (बी) के दौरान आवृत्ति बैंड की परिमाण शक्ति unvoiced (टी = 1.4 एस) और आवाज भाषण (टी = 1.15 एस: मूल स्पेक्ट्रोग्राम और चार पुनर्निर्माण के लिए धराशायी लाइनों द्वारा दिखाया गया है)

"यह वही तकनीक है जो अमेज़ॅन इको और ऐप्पल सिरी वैश्विक रूप से हमारे सवालों का जवाब देने के लिए उपयोग करते हैं ," कागज के प्रमुख लेखक डॉ। नीमा मेसगरानी बताते हैं । मस्तिष्क गतिविधि की व्याख्या करने के लिए वेकोडर को सिखाने के लिए, विशेषज्ञों ने मिर्गी के पांच रोगियों को पाया जो पहले से ही मस्तिष्क की सर्जरी कर चुके थे। उन्हें विभिन्न लोगों द्वारा किए गए वाक्यों को सुनने के लिए कहा गया, जबकि इलेक्ट्रोड ने मस्तिष्क गतिविधि को मापा, जिसे चार मॉडलों द्वारा संसाधित किया गया था। इन न्यूरल पैटर्न ने वोकोडर सिखाया। शोधकर्ताओं ने फिर वही रोगियों को सुनने के लिए कहा कि कैसे वक्ताओं 0 से 9 तक संख्याओं का उच्चारण करते हैं, मस्तिष्क के संकेतों को रिकॉर्ड करते हैं जो कि वोडर के माध्यम से पारित हो सकते हैं। इन संकेतों के जवाब में वोकोडर द्वारा उत्पादित ध्वनि का विश्लेषण और कई तंत्रिका नेटवर्क द्वारा साफ किया जाता है।

तंत्रिका नेटवर्क के उत्पादन में प्रसंस्करण के परिणामस्वरूप, एक रोबोट आवाज प्राप्त हुई, जो संख्याओं के अनुक्रम का उच्चारण करती है। मान्यता की सटीकता का परीक्षण करने के लिए, लोगों को अपने स्वयं के मस्तिष्क गतिविधि द्वारा संश्लेषित ध्वनियों को सुनने के लिए दिया गया था: "हमने पाया कि लोग 75% मामलों में ध्वनियों को समझ सकते हैं और दोहरा सकते हैं, जो बहुत अधिक है और पिछले किसी भी प्रयास से अधिक है," डॉ। मेसगरानी ने कहा।


विभिन्न मॉडलों के लिए उद्देश्य रेटिंग। (ए) चार मॉडलों के लिए सभी विषयों के लिए औसत ईएसटीओआई स्कोर । बी) पांच लोगों में से प्रत्येक के लिए इलेक्ट्रोड और ईएसटीओआई का कवरेज और स्थान। हर कोई अन्य मॉडलों की तुलना में DNN वोकडर के लिए एक उच्च ईएसटीओआई स्कोर है।

अब वैज्ञानिकों ने प्रयोग को और अधिक जटिल शब्दों और वाक्यों के साथ दोहराने की योजना बनाई है। इसके अलावा, मस्तिष्क के संकेतों के लिए वही परीक्षण चलेंगे जब कोई व्यक्ति कल्पना करता है कि वह क्या कह रहा है। अंततः, उन्हें उम्मीद है कि सिस्टम प्रत्यारोपण का हिस्सा बन जाएगा, जो पहनने वाले के विचारों को सीधे शब्दों में अनुवाद करता है।

वैज्ञानिक लेख 29 जनवरी, 2019 को सार्वजनिक क्षेत्र में वैज्ञानिक रिपोर्ट (doi: 10.1038 / s41598-018-37359-z) पत्रिका में प्रकाशित हुआ था।

एक ध्वनि विश्लेषण करने के लिए प्रोग्राम कोड, उच्च आवृत्ति एम्पलीट्यूड की गणना और एक श्रवण स्पेक्ट्रोग्राम को फिर से संगठित करने के लिए सार्वजनिक रूप से उपलब्ध कराया गया है ।