रीडिंग टेस्ट में लोग पहले से ही कारों से आगे हैं; लेकिन क्या वे समझते हैं कि वे क्या पढ़ते हैं?

बीईआरटी नामक एक उपकरण लोगों को पढ़ने और समझने के परीक्षणों में आगे निकलने में सक्षम है। हालांकि, यह यह भी दर्शाता है कि एआई को अभी भी किस रास्ते पर जाने की जरूरत है।

2017 के पतन में, न्यूयॉर्क विश्वविद्यालय के एक कम्प्यूटेशनल भाषाविद् सैम बोमन ने फैसला किया कि कंप्यूटर अभी भी पाठ को अच्छी तरह से नहीं समझते हैं। बेशक, उन्होंने कुछ संकीर्ण क्षेत्रों में इस समझ को अनुकरण करने के लिए काफी अच्छी तरह से सीखा, जैसे कि स्वचालित अनुवाद या भावनाओं का विश्लेषण (उदाहरण के लिए, यह निर्धारित करने के लिए कि क्या एक वाक्य "असभ्य या मीठा है," जैसा उन्होंने कहा)। हालांकि, बोमन एक औसत दर्जे की गवाही चाहते थे: जो लिखा गया था, उसकी सच्ची समझ मानव भाषा में लिखी गई थी। और वह एक परीक्षा देकर आया।

अप्रैल 2018 में, वाशिंगटन विश्वविद्यालय और आर्टिफिशियल इंटेलिजेंस से जुड़ी कंपनी डीपमाइंड के सहयोगियों के सहयोग से लिखे गए एक पत्र में, बोमन ने सामान्य नाम GLUE (सामान्य भाषा समझ मूल्यांकन) [समझ मूल्यांकन] के तहत कंप्यूटर के लिए नौ रीडिंग कॉम्प्रिहेंशन कार्यों का एक सेट प्रस्तुत किया। सामान्यीकृत भाषा]। बोमन ने कहा कि परीक्षण को "एक उल्लेखनीय संकेत उदाहरण के रूप में डिजाइन किया गया था कि अनुसंधान समुदाय क्या दिलचस्प काम करता है," लेकिन लोगों के लिए "आसान है।" उदाहरण के लिए, एक कार्य में, एक वाक्य की सच्चाई के बारे में प्रश्न पूछा जाता है, जिसका अनुमान पिछले वाक्य की जानकारी के आधार पर लगाया जाना चाहिए। यदि आप कह सकते हैं कि "राष्ट्रपति ट्रम्प ने इराक में अपनी सात दिवसीय यात्रा शुरू की है, तो यह संदेश आया है कि" राष्ट्रपति ट्रम्प विदेश यात्रा कर रहे हैं, "आप परीक्षण पास करते हैं।

कारों ने उसे विफल कर दिया। यहां तक ​​कि उन्नत तंत्रिका नेटवर्क ने सभी परीक्षणों के लिए कुल 100 में से 69 अंक से अधिक नहीं बनाए - एक माइनस के साथ शीर्ष तीन। बोमन और सहकर्मी आश्चर्यचकित नहीं थे। तंत्रिका नेटवर्क - कम्प्यूटेशनल कनेक्शन के साथ बहुस्तरीय निर्माण जो मोटे तौर पर स्तनधारी मस्तिष्क में न्यूरॉन्स के काम से मिलते जुलते हैं - "प्राकृतिक भाषा प्रसंस्करण" के क्षेत्र में अच्छे परिणाम दिखाते हैं, लेकिन शोधकर्ताओं को यकीन नहीं था कि ये सिस्टम गंभीर के बारे में सीख रहे थे। भाषा। और GLUE इसे साबित करता है। "शुरुआती परिणाम बताते हैं कि GLUE परीक्षण पास करना मौजूदा मॉडल और विधियों की क्षमताओं से परे है," बोमन एट अल।

लेकिन उनका आकलन लंबे समय तक नहीं चला। अक्टूबर 2018 में, Google ने एक नया तरीका पेश किया, BERT (ट्रांसफॉर्मर से बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन) [ट्रांसफॉर्मर के लिए बिडायरेक्शनल एनकोडर प्रेजेंटेशन]। उन्होंने GLUE में 80.5 का स्कोर प्राप्त किया। केवल छह महीनों में, कारों ने इस नए परीक्षण में माइनस के साथ तीन से घटाकर चार कर दिया, जो मशीनों द्वारा प्राकृतिक भाषा की वास्तविक समझ को मापता है।

"यह एक बहुत रंगीन शब्द का उपयोग करते हुए बोमन याद करते हैं," यह लानत है, 'जैसा था। - यह संदेश समुदाय द्वारा अविश्वास के साथ प्राप्त किया गया था। BERT ने कई परीक्षणों के ग्रेड में प्राप्त किया, जिसे हमने अधिकतम संभव माना। " दरअसल, GLUE टेस्ट में BERT की उपस्थिति से पहले, तुलना करने के लिए मानव उपलब्धियों का कोई आकलन नहीं था। जब बोमन और उनके एक स्नातक छात्र ने फरवरी 2019 में उन्हें GLUE में शामिल किया, तो वे केवल कुछ महीनों तक चले, और फिर Microsoft के BERT आधारित मॉडल ने भी उन्हें हरा दिया ।

इस लेखन के समय, GLUE परीक्षणों में लगभग सभी प्रथम स्थान उन प्रणालियों के कब्जे में हैं जो BERT मॉडल को शामिल, विस्तारित या अनुकूलित करते हैं। उनमें से पांच मानव क्षमताओं में श्रेष्ठ हैं।

लेकिन क्या इसका मतलब यह है कि AI हमारी भाषा को समझने लगा है, या यह सिर्फ हमारे सिस्टम को हरा रहा है? BERT- आधारित न्यूरल नेटवर्क ने तूफान द्वारा GLUE प्रकार के परीक्षण किए जाने के बाद, नए मूल्यांकन के तरीके प्रकट किए जो इन NLP सिस्टम को " स्मार्ट हंस " के कंप्यूटर संस्करण के रूप में मानते थे, जो 20 वीं शताब्दी के शुरुआती दिनों में रहते थे और माना जाता था कि वे काफी स्मार्ट थे मन में अंकगणितीय गणना करने के लिए, लेकिन वास्तव में इसके मालिक द्वारा दिए गए बेहोश संकेतों को पढ़ें।

बोमन ने कहा, "हम जानते हैं कि भाषा को बहुत उबाऊ और संकीर्ण अर्थों में समझने और AI बनाने के बीच हम ग्रे जोन में हैं।" - सामान्य तौर पर, विशेषज्ञों की प्रतिक्रिया निम्नानुसार वर्णित की जा सकती है: यह कैसे हुआ? इसका क्या मतलब है? अब हम क्या करेंगे? ”

अपने नियम लिखना

प्रसिद्ध " चीनी कक्ष " के प्रयोग में, एक व्यक्ति जो चीनी भाषा नहीं जानता है, वह कई नियमों से भरी किताबों वाले कमरे में बैठता है। किताबों में आप सटीक निर्देश पा सकते हैं कि कमरे में प्रवेश करने वाले चीनी पात्रों के अनुक्रम को कैसे स्वीकार किया जाए और एक उपयुक्त उत्तर दिया जाए। हथेलियों के बाहर एक व्यक्ति कमरे के दरवाजे के नीचे चीनी में लिखे सवाल करता है। अंदर का व्यक्ति नियमों के साथ किताबों की ओर मुड़ता है, और चीनी में पूरी तरह से उचित जवाब तैयार करता है।

इस प्रयोग का उपयोग यह साबित करने के लिए किया गया था कि बाहरी छाप के बावजूद, कोई यह नहीं कह सकता है कि कमरे के व्यक्ति को चीनी की कोई समझ है। हालांकि, यहां तक ​​कि समझ का अनुकरण एनएलपी का स्वीकार्य लक्ष्य था।

एकमात्र समस्या नियमों के साथ सही पुस्तकों की कमी है, क्योंकि प्राकृतिक भाषा बहुत जटिल है और विनिर्देशों के एक ठोस सेट में कम करने के लिए व्यवस्थित है। उदाहरण के लिए, वाक्यविन्यास: नियमों को (आनुभविक सहित) लें, जो शब्दों के समूह को सार्थक वाक्यों में निर्धारित करते हैं। वाक्य " हिंसक रूप से रंगहीन हरे विचारों को सोता है " में वाक्य रचना है, लेकिन कोई भी व्यक्ति जो भाषा जानता है वह इसकी व्यर्थता को समझता है। विशेष रूप से डिजाइन की गई नियम पुस्तिका में प्राकृतिक भाषा से संबंधित इस अलिखित तथ्य को शामिल किया जा सकता है - अनगिनत अन्य तथ्यों का उल्लेख नहीं करने के लिए?

एनएलपी के शोधकर्ताओं ने सर्कल के इस चतुर्भुज को खोजने की कोशिश की, तंत्रिका नेटवर्क को अपने स्वयं के कारीगर नियम पुस्तकों को तथाकथित की प्रक्रिया में लिखने के लिए मजबूर किया। "पूर्व प्रशिक्षण" या दिखावा।

2018 तक, मुख्य प्रशिक्षण उपकरणों में से एक शब्दकोश जैसा कुछ था। इस डिक्शनरी ने शब्दों के सदिश निरूपण [शब्द एम्बेडिंग] का उपयोग किया, संख्याओं के रूप में शब्दों के बीच संबंध का वर्णन किया ताकि तंत्रिका नेटवर्क इस जानकारी को इनपुट के रूप में देख सकें - एक चीनी कमरे में एक व्यक्ति के लिए किसी न किसी शब्दकोष की तरह। हालांकि, वेक्टर डिक्शनरी न्यूरल नेटवर्क पर पूर्व-प्रशिक्षित अभी भी वाक्य स्तर पर शब्दों के अर्थ के लिए अंधा बना रहा। जॉन्स हॉपकिंस विश्वविद्यालय के एक कम्प्यूटेशनल भाषाविद् तेल लिंसन ने कहा, "उनके दृष्टिकोण से, वाक्य 'मैन बिट द डॉग' और 'डॉग बिट द मैन' एक समान हैं।"


टेल्स लिंसन, कम्प्यूटिंग लिंग्विस्ट जॉन्स हॉपकिंस विश्वविद्यालय में।

बेहतर विधि तंत्रिका नियम प्रदान करने के लिए पूर्व प्रशिक्षण का उपयोग करती है - समृद्ध नियम पुस्तकों के साथ - न केवल एक शब्दकोष, बल्कि एक संदर्भ के साथ वाक्यविन्यास - एक विशिष्ट एनएलपी कार्य करने के लिए सिखाने से पहले। 2018 की शुरुआत में, OpenAI, सैन फ्रांसिस्को विश्वविद्यालय, एलन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस, और वाशिंगटन विश्वविद्यालय के शोधकर्ताओं ने उसी समय इसके करीब आने के लिए एक ट्रिकी तरीका अपनाया। केवल एक प्रशिक्षण के बजाय, शब्दों की वेक्टर प्रतिनिधित्व का उपयोग करते हुए नेटवर्क की पहली परत, शोधकर्ताओं ने भाषा मॉडलिंग नामक एक अधिक सामान्य कार्य के लिए पूरे नेटवर्क को प्रशिक्षित करना शुरू कर दिया।

फेसबुक के एक शोधकर्ता माइल ओट ने कहा, "भाषा को मॉडल बनाने का सबसे सरल तरीका इस प्रकार है: मैं शब्दों का एक गुच्छा पढ़ूंगा और निम्नलिखित का अनुमान लगाने की कोशिश करूंगा।" "अगर मैं कहता हूं, 'जॉर्ज डब्ल्यू। बुश का जन्म हुआ था, तो मॉडल को इस वाक्य में अगले शब्द की भविष्यवाणी करने की आवश्यकता है।"

गहरे प्रशिक्षण वाले ऐसे भाषा मॉडल काफी कुशलता से बनाए जा सकते हैं। शोधकर्ता केवल विकिपीडिया जैसे मुक्त संसाधनों से लिखित पाठों की भारी मात्रा में अपने तंत्रिका नेटवर्क को खिलाते हैं - अरबों शब्दों को व्याकरणिक रूप से सही वाक्यों में व्यवस्थित किया गया है - और नेटवर्क को अपने स्वयं के अगले शब्द की भविष्यवाणी करने की अनुमति देता है। वास्तव में, यह इस तथ्य के बराबर है कि हम संदर्भ के लिए आने वाले चीनी संदेशों का उपयोग करते हुए, एक चीनी कमरे में एक व्यक्ति को नियमों का अपना सेट बनाने के लिए आमंत्रित करेंगे।

"इस दृष्टिकोण की सुंदरता यह है कि मॉडल सिंटैक्स ज्ञान का एक टन हासिल करता है," ओट ने कहा।

इसके अलावा, इस तरह के पूर्व-प्रशिक्षित तंत्रिका नेटवर्क ठीक-ट्यूनिंग प्रक्रिया के लिए, शब्द भविष्यवाणी से संबंधित नहीं, एक संकीर्ण कार्य सिखाने के लिए अपनी भाषा अभ्यावेदन लागू कर सकते हैं।

"आप पूर्व-प्रशिक्षण चरण से मॉडल ले सकते हैं और इसे किसी भी वास्तविक कार्य के लिए अनुकूलित कर सकते हैं जिसकी आपको आवश्यकता है," ओट ने समझाया। "और उसके बाद आपको बहुत बेहतर परिणाम मिलते हैं यदि आपने शुरू से ही अपनी समस्या को सीधे हल करने की कोशिश की।"

जून 2018 में, जब OpenAI ने अपना GPT न्यूरल नेटवर्क पेश किया, जिसमें एक भाषा मॉडल शामिल था, एक पूरे महीने के लिए एक अरब शब्दों (11,038 डिजिटल पुस्तकों से लिया गया) पर प्रशिक्षित किया गया, तो इसका परिणाम GLUE परीक्षण, 72.8 अंक, तुरंत सबसे अधिक हो गया। सबसे अच्छा। फिर भी, सैम बोमन ने सुझाव दिया कि यह क्षेत्र बहुत लंबे समय तक विकसित होगा, इससे पहले कि कोई भी सिस्टम कम से कम आदमी के स्तर के करीब पहुंच सके।

और फिर BERT दिखाई दिया।

होनहार नुस्खा

तो BERT क्या है?

सबसे पहले, यह पूरी तरह से प्रशिक्षित तंत्रिका नेटवर्क नहीं है, जो मानव स्तर पर तुरंत परिणाम देने में सक्षम है। बोमन कहते हैं कि यह "तंत्रिका नेटवर्क के प्रशिक्षण के लिए बहुत सटीक नुस्खा है।" एक बेकर के रूप में, नुस्खा का पालन करते हुए, स्वादिष्ट केक केक बाहर देने की गारंटी दी जा सकती है - जिसे बाद में ब्लूबेरी से लेकर पालक तक के लिए अलग-अलग केक के लिए इस्तेमाल किया जा सकता है - और Google शोधकर्ताओं ने एक BERT नुस्खा बनाया है जो "बेकिंग नेटवर्क" (जो है) के लिए एक आदर्श आधार के रूप में काम कर सकता है , उनकी ठीक-ट्यूनिंग), ताकि वे प्राकृतिक भाषा के प्रसंस्करण में विभिन्न कार्यों का सामना कर सकें। Google ने BERT कोड को खोल दिया, जिसका अर्थ है कि अन्य शोधकर्ताओं को अब इस नुस्खा को खरोंच से दोहराने की आवश्यकता नहीं है - वे इसे डाउनलोड कर सकते हैं; यह स्टोर में केक के लिए प्री-बेक्ड केक खरीदने की तरह है।

यदि बीईआरटी एक नुस्खा है, तो इसकी सामग्री की सूची क्या है? फेसबुक के शोधकर्ता ओमेर लेवी ने कहा, "यह एक साथ जुड़ी तीन अलग-अलग चीजों का नतीजा है, ताकि सिस्टम काम करना शुरू कर दे।"


ओमर लेवी, फेसबुक शोधकर्ता

पहला पूर्व-प्रशिक्षित भाषा मॉडल है, अर्थात्, चीनी कमरे से उन्हीं निर्देशिकाओं को। दूसरा यह तय करने का अवसर है कि प्रस्ताव की कौन सी विशेषताएं सबसे महत्वपूर्ण हैं।

2017 में, Google ब्रेन के एक इंजीनियर, जैकब उज़कोरिट ने कंपनी के प्रयासों को भाषा समझने के प्रयासों में तेजी लाने के लिए काम किया। उन्होंने कहा कि सभी उन्नत तंत्रिका नेटवर्क अपनी अंतर्निहित सीमाओं से पीड़ित हैं: वे शब्दों द्वारा वाक्य का अध्ययन करते हैं। ऐसा "अनुक्रम" इस विचार के साथ मेल खाता था कि लोग पाठ को कैसे पढ़ते हैं। हालांकि, उज़ोकोरिट दिलचस्पी बन गया, "क्या यह नहीं हो सकता कि भाषा को एक रेखीय, अनुक्रमिक मोड में समझना सबसे इष्टतम नहीं है।"

सहकर्मियों के साथ संकीर्ण दर ने तंत्रिका नेटवर्क की एक नई वास्तुकला विकसित की, "ध्यान" पर ध्यान केंद्रित करते हुए, एक तंत्र जो तंत्रिका नेटवर्क की प्रत्येक परत को दूसरों की तुलना में इनपुट डेटा की कुछ विशेषताओं को बड़े वजन प्रदान करने की अनुमति देता है। ध्यान के साथ यह नया आर्किटेक्चर, एक ट्रांसफॉर्मर, "एक कुत्ते को आदमी को काटता है" जैसे वाक्य को एक इनपुट के रूप में ले सकता है और प्रत्येक शब्द को अलग-अलग तरीकों से समानांतर में एनकोड कर सकता है। उदाहरण के लिए, एक ट्रांसफार्मर "काटने" और "व्यक्ति" को एक क्रिया और विषय-वस्तु के रूप में बाँध सकता है, लेख "ए" की अनदेखी कर सकता है; एक ही समय में, वह "काट" और "कुत्ते" को एक क्रिया और विषय-विषय के रूप में संबंधित कर सकती है, लेख "" को अनदेखा कर सकती है।

ट्रांसफार्मर की असंगत प्रकृति वाक्यों को अधिक स्पष्ट रूप से प्रस्तुत करती है, या, जैसा कि उज़कोरित कहते हैं, वृक्ष-जैसा। तंत्रिका नेटवर्क की प्रत्येक परत कुछ शब्दों के बीच कई समानांतर कनेक्शन स्थापित करती है, बाकी की अनदेखी - लगभग कैसे प्राथमिक विद्यालय में एक छात्र भागों में एक वाक्य को अलग करता है। ये कनेक्शन अक्सर ऐसे शब्दों के बीच बनाए जाते हैं जो शायद पास में न हों। "इस तरह की संरचनाएं कई पेड़ों के ओवरले की तरह दिखती हैं," उज़कोरित ने समझाया।

इस तरह के वृक्ष-वाक्यों के निरूपण से ट्रांसफ़ॉर्मर्स को प्रासंगिक अर्थों को मॉडल करने का अवसर मिलता है, साथ ही साथ उन वाक्यों के बीच के संबंधों का भी प्रभावी ढंग से अध्ययन होता है जो जटिल वाक्यों से अलग होते हैं। "यह कुछ हद तक प्रतिशोधी है," उज़ोकोरित ने कहा, "लेकिन भाषाविज्ञान से आता है, जो लंबे समय से पेड़ की तरह भाषा के मॉडल में शामिल है।"


बर्लिन टीम Google AI ब्रेन के प्रमुख जैकब उज़ोकोरित

अंत में, बीईआरटी नुस्खा में तीसरा घटक गैर-रैखिक रीडिंग को और भी अधिक विस्तारित करता है।

न्यूरल नेटवर्क्स द्वारा टेक्स्ट के टेराबाइट्स को बाएं से दाएं संसाधित करने के लिए बनाए गए अन्य पूर्व-प्रशिक्षित भाषा मॉडल के विपरीत, BERT मॉडल दाएं से बाएं और साथ-साथ बाएं से दाएं पढ़ता है, और यह भविष्यवाणी करना सीखता है कि कौन से शब्द वाक्यों से यादृच्छिक रूप से बाहर किए गए थे। उदाहरण के लिए, BERT 1946 में कनेक्टिकट में "जॉर्ज डब्ल्यू। बुश [...] के रूप में एक वाक्य को स्वीकार कर सकता है, और भविष्यवाणी कर सकता है कि वाक्य के बीच में कौन सा शब्द छिपा हुआ है (इस मामले में," जन्म "), दोनों दिशाओं में पाठ को संसाधित करते हुए। "यह द्वि-दिशात्मकता तंत्रिका नेटवर्क को शब्दों के किसी भी सबसेट से अधिक से अधिक जानकारी निकालने के लिए मजबूर करती है," उज़कोरित ने कहा।

BERT- आधारित बहाना एक शब्द के खेल की तरह इस्तेमाल किया जाता है - मास्किंग के साथ भाषा मॉडलिंग - कोई नई बात नहीं है। इसका इस्तेमाल लोगों की भाषा की समझ को मापने के लिए दशकों से किया जा रहा है। Google के लिए, उन्होंने एकतरफा पूर्व-प्रशिक्षण विधियों के बजाय तंत्रिका नेटवर्क में द्वि-दिशात्मकता का उपयोग करने का एक व्यावहारिक तरीका प्रदान किया, जो पहले इस क्षेत्र पर हावी था। "बीईआरटी से पहले, यूनिडायरेक्शनल भाषा मॉडलिंग मानक था, हालांकि यह एक वैकल्पिक सीमा है," केंटन ली , जो एक Google शोधकर्ता है।

इन तीन अवयवों में से प्रत्येक - पूर्व-प्रशिक्षण, ध्यान और द्विदिशता के साथ एक गहरी भाषा मॉडल - अलग से बीईआरटी से पहले मौजूद था। लेकिन जब तक Google ने 2018 के अंत में अपना नुस्खा जारी नहीं किया, तब तक किसी ने उन्हें इतने सफल तरीके से संयोजित नहीं किया।

रिफाइनिंग रेसिपी

किसी भी अच्छी रेसिपी की तरह, बीआरईटी को जल्द ही विभिन्न रसोइयों ने अपने स्वाद में ढाल लिया। 2019 के वसंत में, एक अवधि थी "जब माइक्रोसॉफ्ट और अलीबाबा ने एक-दूसरे की एड़ी पर कदम रखा, रैंकिंग साप्ताहिक में स्थान बदलते हुए, अपने मॉडल को समायोजित करते हुए," बोमन याद करते हैं। जब बीईईआरटी का उन्नत संस्करण पहली बार अगस्त में RoBERTa नाम के तहत जारी किया गया था, तो दीपमाइंड के शोधकर्ता सेबेस्टियन रूडर ने अपने लोकप्रिय एनएलपी न्यूज़लेटर में सूखी टिप्पणी की: "नया महीना, और पूर्व प्रशिक्षण के साथ एक नया उन्नत भाषा मॉडल।"

केक की तरह, बीईआरटी में कई डिजाइन निर्णय हैं जो इसके काम की गुणवत्ता को प्रभावित करते हैं। इसमें पके हुए तंत्रिका नेटवर्क का आकार, पूर्व-प्रशिक्षण के लिए उपयोग किए जाने वाले डेटा की मात्रा, शब्दों को मास्क करने की विधि और तंत्रिका नेटवर्क कब तक इस डेटा के साथ काम कर रहा है। और बाद के व्यंजनों में, जैसे कि रॉबर्टा, शोधकर्ताओं ने इन फैसलों को टाल दिया - जैसे कि एक नुस्खा निर्दिष्ट करने वाले शेफ।

RoBERTa के मामले में, फेसबुक और वाशिंगटन विश्वविद्यालय के शोधकर्ताओं ने कुछ अवयवों की संख्या में वृद्धि की (प्रीट्रेनिंग डेटा, इनकमिंग सीक्वेंस की लंबाई, प्रशिक्षण समय), एक घटक को हटा दिया गया ("अगले वाक्य की भविष्यवाणी करने का कार्य", जो मूल रूप से BERT में था और परिणामों को नकारात्मक रूप से प्रभावित किया था। ), और दूसरे को बदल दिया गया था (व्यक्तिगत शब्दों को मास्क करने का काम जटिल)। परिणामस्वरूप, वे संक्षिप्त रूप से GLUE रैंकिंग में पहले स्थान पर रहे। छह हफ्ते बाद, Microsoft और मैरीलैंड विश्वविद्यालय के शोधकर्ताओं ने RoBERTa में अपने परिशोधन को जोड़ा, और अगली जीत को बाहर निकाला। फिलहाल, एक अन्य मॉडल ने GLUE में पहला स्थान लिया, ALBERT ("लाइट BERT" का संक्षिप्त नाम, यानी "लाइट BERT"), जिसने BERT की मूल संरचना को थोड़ा बदल दिया।

"हम अभी भी यह पता लगा रहे हैं कि कौन से व्यंजन काम करते हैं, कौन से नहीं," ओट ने कहा, फेसबुक, जिसने रोबर्टा पर काम किया।

लेकिन, चूंकि प्री-बेकिंग केक की तकनीक में सुधार आपको रसायन विज्ञान की मूल बातें नहीं सिखाता है, बीईआरटी का क्रमिक सुधार आपको एनएलपी के विकास के बारे में बहुत सैद्धांतिक ज्ञान नहीं देगा। जॉन्स हॉपकिंस विश्वविद्यालय के एक कम्प्यूटेशनल भाषाविद् लिंसन ने कहा, "मैं आपके साथ बेहद ईमानदार रहूंगा - मैं इन कार्यों का पालन नहीं करता, क्योंकि वे मेरे लिए बेहद उबाऊ हैं।" "यहां एक निश्चित वैज्ञानिक रहस्य है," वह मानते हैं, लेकिन BERT और उसके सभी वंशजों को कैसे स्मार्ट बनाना है, और यह भी पता लगाने के लिए नहीं कि वे इतने स्मार्ट क्यों हैं। इसके बजाय, "हम यह समझने की कोशिश कर रहे हैं कि ये मॉडल वास्तव में भाषा को कितना समझते हैं," उन्होंने कहा, "अजीब ट्रिक्स सीखने के बजाय जो किसी भी तरह डेटासेट पर काम करते हैं, जिस पर हम आमतौर पर इन मॉडलों का मूल्यांकन करते हैं।"

दूसरे शब्दों में, BERT कुछ सही कर रहा है। लेकिन अगर वह गलत कारण से ऐसा करता है तो क्या होगा?

मुश्किल लेकिन चालाक नहीं

जुलाई 2019 में, ताइवान राज्य विश्वविद्यालय, चेंग कुन के दो शोधकर्ताओं ने "तर्क समझ कार्य" नामक एक अपेक्षाकृत अल्पज्ञात प्रदर्शन परीक्षण पर प्रभावशाली परिणामों के साथ BERT का उपयोग किया। कार्य को पूरा करने के लिए, एक अंतर्निहित प्रारंभिक स्थिति ("नींव") चुनना आवश्यक है जो किसी भी बयान के पक्ष में तर्क का समर्थन करता है। उदाहरण के लिए, यह साबित करने के लिए कि "वैज्ञानिक कारणों से धूम्रपान" कैंसर का कारण बनता है (कथन) "धूम्रपान और कैंसर के बीच एक कड़ी दिखाई गई है" (तर्क), किसी को तर्क चुनना होगा "वैज्ञानिक अनुसंधान पर भरोसा किया जा सकता है" ("आधार"), और दूसरा विकल्प नहीं: "वैज्ञानिक शोध महंगा है" (फिर भी, हालांकि, यह इस संदर्भ में प्रासंगिक नहीं है)। क्या सब कुछ स्पष्ट है?

यदि नहीं, तो चिंता न करें। यहां तक ​​कि लोग अभ्यास के बिना इस कार्य में बहुत अच्छे नहीं हैं। 80 100. BERT 77 – , , «».

, , BERT , , : BERT . , , .. « ». , , «», 61% . , , BERT 77 53 – . The Gradient , BERT « », , .

, " ", , BERT GLUE . , , BERT . (Heuristic Analysis for Natural-Language-Inference Systems, HANS) [ , ].

, BERT , – ? , GLUE . , , BERT. « - , GLUE, „ “, , — , — ». , BERT . « , -, , - , — . – ».

, , – BERT, , , « ». « », NLP , . « BERT », , « ».

NLP , . , BERT . « NLP, », — , . , , , , , .

, , , . . , . « , , , », — .

SuperGLUEविशेष रूप से BERT आधारित प्रणालियों के लिए जटिल बनाया गया है। अभी तक कोई भी नेटवर्क इसमें किसी व्यक्ति को पछाड़ नहीं पाया है। लेकिन अगर (या जब) ऐसा होता है, तो क्या इसका मतलब यह है कि मशीनें भाषा को पहले से बेहतर समझना सीख सकती हैं? या यह सिर्फ इतना है कि विज्ञान शिक्षण मशीनों में बेहतर हो जाएगा कि इस परीक्षा को कैसे पास किया जाए?

« , — . – , LSAT MCAT, , ». , , . « , , , — . – , , , ».