📡 📏 🌆 XLNet बनाम BERT 🖖🏼 🤵🏼 ☃️

जून के अंत में, कार्नेगी मेलन विश्वविद्यालय की एक टीम ने हमें XLNet दिखाया, तुरंत प्रकाशन , कोड और तैयार मॉडल ( XLNet-Large , Cased: 24-layer, 1024-hidden, 16-heads) का प्रकाशन किया । यह प्राकृतिक भाषा प्रसंस्करण की विभिन्न समस्याओं को हल करने के लिए एक पूर्व-प्रशिक्षित मॉडल है।

प्रकाशन में, उन्होंने तुरंत Google के BERT के साथ अपने मॉडल की तुलना करने का संकेत दिया। वे लिखते हैं कि बड़ी संख्या में कार्यों के लिए XLNet BERT से बेहतर है। और 18 अत्याधुनिक कार्यों में परिणाम दिखाता है।

BERT, XLNet और ट्रांसफॉर्मर

डीप लर्निंग में हालिया रुझानों में से एक है ट्रांसफर लर्निंग। हम बड़ी मात्रा में डेटा पर सरल समस्याओं को हल करने के लिए मॉडल को प्रशिक्षित करते हैं, और फिर हम इन पूर्व-प्रशिक्षित मॉडल का उपयोग करते हैं, लेकिन अन्य, अधिक विशिष्ट समस्याओं को हल करने के लिए। BERT और XLNet ऐसे ही पहले से प्रशिक्षित नेटवर्क हैं जिनका उपयोग प्राकृतिक भाषा प्रसंस्करण समस्याओं को हल करने के लिए किया जा सकता है।

ये मॉडल ट्रांसफार्मर के विचार को विकसित करते हैं - वर्तमान में अनुक्रम के साथ काम करने के लिए मॉडल के निर्माण के लिए प्रमुख दृष्टिकोण। ट्रांसफार्मर पर कोड के बहुत विस्तृत और उदाहरणों के साथ और ध्यान तंत्र एनोटेट ट्रांसफार्मर में लिखा गया है।

यदि आप सामान्य भाषा अंडरस्टैंडिंग इवैलुएशन (GLUE) बेंचमार्क लीडरबोर्ड को देखते हैं, तो ऊपर से आप ट्रांसफॉर्मर के आधार पर कई मॉडल देख सकते हैं। दोनों मॉडल शामिल हैं जो मनुष्यों की तुलना में बेहतर परिणाम दिखाते हैं। हम कह सकते हैं कि ट्रांसफॉर्मर के साथ हम प्राकृतिक भाषा के प्रसंस्करण में एक मिनी-क्रांति देख रहे हैं।

BERT नुकसान

BERT एक ऑटो-एनकोडर (Autoencoder, AE) है। वह अनुक्रम में कुछ शब्दों को छुपाता और बिगाड़ता है और संदर्भ से शब्दों के मूल अनुक्रम को पुनर्स्थापित करने का प्रयास करता है।

इससे मॉडल के नुकसान होते हैं:

प्रत्येक छिपे हुए शब्द की व्यक्तिगत रूप से भविष्यवाणी की जाती है। हम नकाबपोश शब्दों के बीच संभावित संबंधों के बारे में जानकारी खो देते हैं। लेख "न्यूयॉर्क" नामक एक उदाहरण प्रदान करता है। यदि हम संदर्भ में इन शब्दों की स्वतंत्र रूप से भविष्यवाणी करने की कोशिश करते हैं, तो हम उनके बीच के संबंध को ध्यान में नहीं रखेंगे।
बीईआरटी मॉडल और पूर्व-प्रशिक्षित बीईआरटी मॉडल के उपयोग के चरणों के बीच असंगतता। जब हम मॉडल को प्रशिक्षित करते हैं - हमारे पास छिपे हुए शब्द ([MASK] टोकन) होते हैं, जब हम पूर्व-प्रशिक्षित मॉडल का उपयोग करते हैं, तो हम पहले से ही इनपुट के लिए ऐसे टोकन की आपूर्ति नहीं करते हैं।

और फिर भी, इन समस्याओं के बावजूद, BERT ने कई प्राकृतिक भाषा प्रसंस्करण कार्यों पर अत्याधुनिक परिणाम दिखाए।

XLNet सुविधाएँ

XLNet एक ऑटोरेग्रेसिव भाषा मॉडलिंग, AR LM है। वह पिछले वाले के अनुक्रम से अगले टोकन की भविष्यवाणी करने की कोशिश कर रहा है। क्लासिक ऑटोरेग्रेसिव मॉडल में, यह प्रासंगिक अनुक्रम मूल स्ट्रिंग की दो दिशाओं से स्वतंत्र रूप से लिया जाता है।

XLNet इस विधि को सामान्य करता है और स्रोत अनुक्रम में विभिन्न स्थानों से संदर्भ बनाता है। वह कैसे करता है। वह मूल अनुक्रम के सभी (सिद्धांत रूप में) संभावित क्रमांकन लेता है और पिछले वाले से अनुक्रम में प्रत्येक टोकन की भविष्यवाणी करता है।

यहां लेख से एक उदाहरण है कि मूल अनुक्रम के विभिन्न क्रमपरिवर्तन से x3 टोकन की भविष्यवाणी कैसे की जाती है।

इसके अलावा, संदर्भ शब्दों का एक बैग नहीं है। टोकन के प्रारंभिक क्रम के बारे में जानकारी भी मॉडल को आपूर्ति की जाती है।

यदि हम बीईआरटी के साथ समानताएं आकर्षित करते हैं, तो यह पता चलता है कि हम टोकन को पहले से मुखौटा नहीं करते हैं, बल्कि विभिन्न क्रमपरिवर्तन के लिए छिपे हुए टोकन के विभिन्न सेटों का उपयोग करते हैं। उसी समय, बीईआरटी की दूसरी समस्या गायब हो जाती है - पूर्व-प्रशिक्षित मॉडल का उपयोग करते समय छिपे हुए टोकन की कमी। XLNet के मामले में, मास्क के बिना, संपूर्ण अनुक्रम पहले से ही इनपुट है।

नाम में एक्सएल कहाँ से आता है। XL - क्योंकि XLNet ट्रांसफॉर्मर-XL मॉडल से अटेंशन मेकेनिज्म और आइडियाज का उपयोग करता है। हालाँकि, बुरी भाषाओं का दावा है कि नेटवर्क को प्रशिक्षित करने के लिए आवश्यक संसाधनों की मात्रा पर XL संकेत देता है।

और संसाधनों के बारे में। ट्विटर पर, उन्होंने लेख से मापदंडों के साथ नेटवर्क को प्रशिक्षित करने के लिए क्या खर्च होगा इसकी गणना पोस्ट की। यह 245,000 डॉलर निकला। यह सच है, तब Google के एक इंजीनियर ने आकर सही किया कि लेख में 512 टीपीयू चिप्स का उल्लेख है, जिनमें से चार डिवाइस पर हैं। अर्थात्, 512 कोर को देखते हुए लागत पहले से ही 62,440 डॉलर या 32,720 डॉलर है, जिसका उल्लेख लेख में भी किया गया है।