जल्द ही Google के BERT न्यूरल नेटवर्क के बारे में कोई खबर नहीं थी, जिसमें कई वार्तालाप योग्य (NLP) मशीन सीखने के कार्यों पर अत्याधुनिक परिणाम दिखाए गए, क्योंकि OpenAI ने एक नया विकास शुरू किया: GPT-2। यह तंत्रिका नेटवर्क इस समय रिकॉर्ड संख्या में मापदंडों (1.5 बिलियन, आमतौर पर ऐसे मामलों में उपयोग किए जाने वाले 100-300 मिलियन के खिलाफ) से जुड़े पाठ के पूरे पृष्ठों को बनाने में सक्षम था।

यह उत्पन्न करने के लिए इतना अच्छा है कि OpenAI ने पूर्ण संस्करण को पोस्ट करने से इनकार कर दिया, इस डर से कि वे इस तंत्रिका नेटवर्क का उपयोग नकली समाचार, टिप्पणियां और वास्तविक लोगों से अप्रभेद्य समीक्षा करने के लिए करेंगे।

हालांकि, OpenAI में, GPT-2 तंत्रिका नेटवर्क का एक कम संस्करण 117 मिलियन मापदंडों के साथ साझा किया गया था। हम इसे Google Colab सेवा के माध्यम से लॉन्च करेंगे और इसके साथ प्रयोग करेंगे।

थोड़ी पृष्ठभूमि

उन लोगों के लिए जिन्होंने प्राकृतिक भाषण प्रसंस्करण (एनएलपी) में प्रगति के विकास का पालन नहीं किया है।

2018 की गर्मियों में, OpenAI ने ट्रांसफॉर्मर आर्किटेक्चर पर निर्मित एक GPT न्यूरल नेटवर्क टेक्स्ट की एक बड़ी मात्रा पर पूर्व-प्रशिक्षित किया। यह पता चला है कि यदि आप अंतिम परतों के एक जोड़े को प्रतिस्थापित करते हैं और एक विशिष्ट कार्य के लिए इसे वापस लेते हैं (यह दृष्टिकोण को फाइन ट्यूनिंग कहा जाता है और व्यापक रूप से मशीन सीखने में उपयोग किया जाता है), तो यह पिछले रिकॉर्ड को तुरंत संवादात्मक कार्यों की एक विस्तृत श्रृंखला पर तोड़ देता है।

इस विकास के आधार पर, 2018 के अंत में, Google ने अपना BERT तंत्रिका नेटवर्क बनाया। उन्होंने GPT के विपरीत तंत्रिका नेटवर्क को द्वि-दिशात्मक बनाकर परिणाम को गंभीरता से सुधार लिया।

छोड़ना नहीं चाहता, फरवरी 2019 में, ओपनएआई ने तुरंत अपने जीपीटी को 10 गुना बढ़ा दिया और इसे पाठ की एक भी बड़ी राशि पर प्रशिक्षित किया - 8 मिलियन वेब पृष्ठों (कुल 40 जीबी पाठ) पर। परिणामस्वरूप GPT-2 नेटवर्क वर्तमान में सबसे बड़ा तंत्रिका नेटवर्क है, जिसकी अभूतपूर्व संख्या 1.5 बिलियन के मापदंडों (BERT के पास सबसे बड़े मॉडल में 340 मिलियन और मानक BERT में 110 मिलियन) थी।

परिणामस्वरूप, GPT-2 सुसंगत पाठ के पूरे पृष्ठ उत्पन्न करने में सक्षम था। कथा के पाठ्यक्रम में पात्रों के नामों के बार-बार संदर्भ के साथ, उद्धरण, संबंधित घटनाओं के संदर्भ, और इसी तरह। मैं यहां उदाहरण नहीं दूंगा, लेकिन ओपनएआई ब्लॉग पर मूल लेख की इच्छा रखने वालों को देखें: बेहतर भाषा मॉडल और उनके निहितार्थ या लेख के अंत में लिंक।

इस गुण का सुसंगत पाठ उत्पन्न करना अपने आप में प्रभावशाली है, लेकिन सबसे दिलचस्प बात अलग है। बिना किसी अतिरिक्त प्रशिक्षण के GPT-2 ने तुरंत कई वार्तालाप कार्यों पर अत्याधुनिक के करीब परिणाम दिखाए। मैं दोहराता हूं, जो एक महत्वपूर्ण कार्य के लिए किसी भी अतिरिक्त प्रशिक्षण के बिना - पल के महत्व को याद किया!

उन्होंने यह कैसे हासिल किया? सिर्फ तंत्रिका नेटवर्क से सही सवाल पूछना।

जीपीटी -2 आर्किटेक्चर

GPT-2 को एक वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह टेक्स्ट बनाने के लिए एक क्लासिक तरीका है। सबसे पहले, पुनरावृत्ति (RNN) नेटवर्क, विशेष रूप से, LSTM ने इस क्षेत्र में प्रधानता धारण की। लेकिन 2017 की गर्मियों में ट्रांसफार्मर वास्तुकला के आविष्कार के बाद, यह धीरे-धीरे संवादी कार्यों में प्रबल होना शुरू हो गया। यद्यपि मूल ट्रांसफार्मर में लंबे अनुक्रम (LSTMs लंबे समय तक याद रखने वाले), प्रशिक्षण की गति और नेटवर्क की गहराई की भरपाई करने में समस्या है। वैसे, ट्रांसफार्मर के कई संशोधन पहले ही सामने आ चुके हैं - पुनरावृत्ति ( यूनिवर्सल ट्रांसफॉर्मर ) की शुरुआत के साथ, लंबे अनुक्रमों ( ट्रांसफार्मर-एक्स्ट्रा लार्ज ) और अन्य के लिए एक संशोधन, लेकिन अभी तक केवल Google और OpenAI में थोड़ा ट्यून किए गए मूल ट्रांसफार्मर का उपयोग किया जाता है।

मुझे याद है कि Google से BERT ने थोड़ा अलग तरीके से सीखा: एक वाक्य में अगले शब्द की भविष्यवाणी करने के लिए नहीं, बल्कि एक वाक्य में याद किए गए (नकाबपोश) शब्द। और यह भी निर्धारित करने के लिए कि क्या दो लगातार वाक्य एक दूसरे की तार्किक निरंतरता हैं, या क्या वे किसी भी तरह से अर्थ से जुड़े नहीं हैं। इसने बीईआरटी को एक भाषा मॉडल बनने दिया, जो शब्दों के अर्थ को उनके पर्यावरण (संदर्भ) के आधार पर समझता है। जिसने एनपीएल कार्यों में BERT की सफलता को निर्धारित किया। लेकिन एक विशिष्ट कार्य के लिए केवल रिट्रेनिंग (फाइन ट्यूनिंग) के बाद। बस आधार मॉडल में शब्दों की भविष्यवाणी करना बहुत अच्छा नहीं है। आप अपने ब्राउज़र में (Google Colab के माध्यम से) BERT के साथ खेल सकते हैं: https://habr.com/en/post/436878 ।

GPT-2 पीछे हटने के लिए आवश्यक नहीं है। यह केवल BERT की तरह एक भाषा मॉडल नहीं है, यह एक टेक्स्ट जनरेटर है। बस उसे वाक्यांश की शुरुआत दें, और फिर वह अपने शब्द को शब्द से पूरक करेगा।

एक दिलचस्प विवरण: OpenAI के शोध से पता चला है कि विकिपीडिया ग्रंथों और साहित्यिक पुस्तकों (जिनमें BERT का विशेष रूप से अध्ययन किया गया है) की सरणियाँ एक पक्षपाती शैली की हैं। इसलिए, केवल उन पर प्रशिक्षित तंत्रिका नेटवर्क बहुत अच्छी तरह से पाठ उत्पन्न नहीं करते हैं। इनपुट डेटा और शैलियों में विविधता लाने के लिए, OpenAI ने 8 मिलियन साइटों (कुल 40 जीबी पाठ) से एकत्रित नियमित वेब पेजों पर प्रशिक्षण के लिए GPT-2 का उपयोग किया। और विज्ञापन और स्पैमर साइटों को त्यागने के लिए, उन्होंने उन नमूना साइटों में शामिल किया जिनके लिंक में reddit की रेटिंग अच्छी है। अर्थात्, ऐसी साइटें जो लाइव उपयोगकर्ताओं को कुछ उपयोगी जानकारी सम्‍मिलित करती हैं।

सही प्रश्न में आधा उत्तर होता है।

तो, जीपीटी -2, अपने अभूतपूर्व आकार के लिए धन्यवाद, सुसंगत पाठ के पृष्ठों को बनाने में सक्षम था। लेकिन सबसे आश्चर्यजनक बात यह है कि उससे सही सवाल (यानी एक वाक्यांश की सही शुरुआत) पूछकर, वह अपने सवालों का जवाब देने में सक्षम थी! सिर्फ इसलिए कि इस तरह की शुरुआत का होना सबसे स्वाभाविक है।

उदाहरण के लिए, "पृथ्वी क्या है?" प्रश्न का उत्तर पाने के लिए, आप इस तंत्रिका नेटवर्क के इनपुट पर वाक्यांश की शुरुआत में आवेदन कर सकते हैं: "पृथ्वी है ..."। और वह इस वाक्यांश को अंत तक पूरा करेगी। क्योंकि उत्तर इस शुरुआत की एक स्वाभाविक निरंतरता होगी।

इसके अलावा, सही तरीके से वाक्यांश की शुरुआत का गठन करके, आप विभिन्न लक्ष्य दर्शकों के लिए स्पष्टीकरण प्राप्त कर सकते हैं, उनकी बुद्धि, उम्र और शिक्षा को ध्यान में रखते हुए। निरंतर वाक्यांशों की कल्पना करें: "मैं एक वैज्ञानिक के रूप में मानता हूं कि पृथ्वी है ..."। या, "मैं, एक लैंड प्लॉवर के रूप में, दावा करता हूं कि पृथ्वी है ..."। या: "मैं, एक बालवाड़ी में शिक्षक के रूप में, अब आपको समझाऊंगा, बच्चों, कि पृथ्वी है ..."।

जैसा कि आप देख सकते हैं, सही प्रश्नों (वाक्यांश की सही शुरुआत) का गठन करके, आप पूरी तरह से विभिन्न स्तरों और विभिन्न विवरणों के उत्तर प्राप्त कर सकते हैं। एक तरह से, लोगों में एक समान बात होती है। डॉक्टर को रोगी को बीमारी के पाठ्यक्रम के बारे में बताना होगा ताकि वह समझ सके। रोगी स्तर पर। यदि आप पांच साल के बच्चे से पूछते हैं कि उसने ऐसा क्यों किया, तो वह तुरंत जवाब नहीं दे सकता है (जो स्वाभाविक रूप से, बच्चे भावनाओं और भावनाओं के साथ रहते हैं)। लेकिन उस उत्तर को देने के लिए जो उससे अपेक्षित है, बच्चा उसे आविष्कार करना शुरू कर देता है - पाठ उत्पन्न करने के लिए। इस तथ्य के आधार पर कि उत्तर माता-पिता को सूट करता है और कम से कम किसी तरह जो हुआ उससे मेल खाता है। सबसे पहले, जैसा कि कई माता-पिता जानते हैं, ये हास्यास्पद जवाब होंगे। लेकिन प्रोत्साहित करने और दंडित करने से ("मुझे और बताओ", "बहाने से मत आओ"), बच्चा विस्तृत और पूर्ण उत्तर देना सीख जाएगा।

OpenAI का यह विकास और एक विशिष्ट कार्य के लिए विशेष अतिरिक्त प्रशिक्षण के बिना संवादी कार्यों के उत्तर प्रदान करने के लिए GPT-2 नेटवर्क की क्षमता, दो दिलचस्प प्रश्न खोलते हैं:

1) क्या इस तरह के प्राथमिक पाठ जनरेटर और वाक्यांश की सही शुरुआत से तंत्रिका नेटवर्क की व्याख्या हो सकती है। जहां उत्तर एक स्वाभाविक विस्तार होगा। मान लीजिए, उदाहरण के लिए, एक तंत्रिका नेटवर्क एक्स-वाई समन्वय संख्या द्वारा एक तस्वीर में जवानों को इंगित नहीं करता है, लेकिन सादे पाठ में इसकी स्थिति बताता है। फिर, स्पष्टीकरण के दौरान, उससे सही सवाल पूछते हुए, उदाहरण के लिए: "मैं इस नतीजे पर आया क्योंकि ...", आप सिद्धांत रूप में इस बात का स्पष्टीकरण प्राप्त कर सकते हैं कि उसने फोटो में बिल्ली को कैसे पाया। और चरम मामले में यह व्याख्या मानव से बदतर नहीं हो सकती है। जो तंत्रिका नेटवर्क की व्याख्या की वैश्विक समस्या को हल करता है।

2) क्या पाठ के बड़े संस्करणों पर एक पूर्व-प्रशिक्षित तंत्रिका नेटवर्क सार्वभौमिक हो सकता है, सामान्य ज्ञान है और विशिष्ट कार्यों के लिए अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है। इसका मतलब यह है कि जब मानव भाषण (सवालों के मानव उत्तरों) की नकल करने की कोशिश की जाती है, तो तंत्रिका नेटवर्क को अनिवार्य रूप से सामान्य ज्ञान सीखना चाहिए ताकि इन मानव उत्तरों के समान हो। सामान्य रूप से मोनोसाइलेबिक काल्पनिक उत्तर देना, लोगों के लिए विशिष्ट नहीं है। अधिकांश भाग के लिए, लोग विस्तृत पर्याप्त उत्तर देते हैं, जिसका अर्थ है कि नेटवर्क को ऐसा करना सीखना चाहिए।

ये दोनों सवाल खुले हैं, लेकिन उनकी मंजूरी में पहला कदम निश्चित रूप से उठाया गया है।

या बल्कि?

यदि आप अभी खड़े हैं, तो बैठना बेहतर है। क्योंकि इसी तरह GPT-2 तंत्रिका नेटवर्क का उपयोग करके OpenAI ने विभिन्न डोमेन के लिए संवादात्मक कार्यों में अपने परिणाम प्राप्त किए:

पाठ पर प्रश्नों के उत्तर

खैर, यह आसान है। या नेटवर्क को एक विवरण के साथ कुछ पैराग्राफ खिलाया, जिसमें बीच में कहीं शामिल था, उदाहरण के लिए, "सेब मेज पर है", और अंत में इसे जिम्मेदार ठहराया गया: "सेब चालू है ..." और नेटवर्क को "तालिका" में जोड़ा गया। क्योंकि यह कई पैराग्राफ के संदर्भ को याद रखने में सक्षम है।

या नेटवर्क को प्रारंभिक वाक्यांश के रूप में खिलाया "प्रकार के कुछ उदाहरण" प्रश्न: कुछ प्रश्न, उत्तर: कुछ उत्तर ", और अंत में असली प्रश्न के बाद उन्होंने जोड़ा:" उत्तर: "। और तंत्रिका नेटवर्क ने उत्तर दिया! चूंकि इससे पिछले प्रश्न-उत्तर पर दस्तावेज़ की संरचना का पता चला। यह आश्चर्यजनक है।

पाठ का लघु संस्करण (संक्षेप)

इनपुट कई पैराग्राफ या यहां तक ​​कि पृष्ठों का एक लंबा पाठ है, और तंत्रिका नेटवर्क को एक छोटी सामग्री लिखना चाहिए। आपको GPT-2 से यह व्यवहार कैसे मिला? पाठ के ठीक बाद उन्होंने "TL; DR" जोड़ा। और वह सब है! यह इन वर्णों के बाद लेख का सारांश जोड़ने के लिए GPT-2 के लिए पर्याप्त निकला! क्योंकि इंटरनेट पर ऐसे प्रतीक अक्सर पोस्ट के सारांश को दर्शाते हैं।

पाठ का अनुवाद

GPT-2 इनपुट ने पाठ को इस रूप में प्राप्त किया: "हेलो = हैलो, डॉग = डॉग, विंड = विंड, कैट = ..."। और तंत्रिका नेटवर्क ने अंतिम शब्द का अनुवाद जोड़ा: "बिल्ली" (फ्रेंच में मूल में)। क्योंकि इसने दस्तावेज़ की संरचना का खुलासा किया और बस इसे सबसे तार्किक निरंतरता के साथ पूरक किया। यदि आपका जबड़ा अभी भी इस सब से नहीं गिरा है, तो मेरे पास आपके लिए दो खबरें हैं, और दोनों खराब हैं =)।

Google Colab के माध्यम से GPT-2 लॉन्च

दुर्भाग्य से, OpenAI में GPT-2 के पूर्ण संस्करण को साझा करने से मना कर दिया गया था। इस तथ्य से प्रेरित होकर कि इस तंत्रिका नेटवर्क का उपयोग करके दुकानों में नकली समाचार और समीक्षा उत्पन्न करना बहुत आसान होगा। उनके बयान को देखते हुए, इस मॉडल को बिछाने की उपयुक्तता की चर्चा अगले 6 महीनों तक जारी रहेगी, OpenAI के बाद वे यह तय करेंगे कि इसे अपलोड करना है या नहीं। हालांकि, एक बड़े संगठन के लिए मॉडल को दोहराना मुश्किल नहीं है (ऐसा लगता है कि उन्होंने इसे कई दिनों के लिए 256 टीपीयू के लिए प्रशिक्षित किया है, और प्रारंभिक अनुमानों के अनुसार इसकी लागत उन्हें लगभग 45 हजार डॉलर है)

हालांकि, उन्होंने 117 मिलियन मापदंडों (1.5 बिलियन से अधिक, पूर्ण मॉडल के रूप में) के साथ GPT-2 का कम संस्करण पोस्ट किया: https://github.com/openai/gpt-2 । आइए इसे चलाने और इस मॉडल के साथ खेलने की कोशिश करें।

अद्यतन 9 नवंबर, 2019: अंत में, मॉडल की पूरी लाइन को बाहर रखा गया है, जिसमें 1.5 बिलियन शामिल हैं। लॉन्च करने की फाइलें और निर्देश अपडेट किए गए हैं।

ऐसा करने का सबसे आसान तरीका Google Colab है:

1. लिंक खोलें

http://colab.research.google.com/github/blade1780/bert/blob/master/Gpt-2.ipynb

1. रनटाइम मेनू से, रन ऑल का चयन करें, ताकि पहली बार सभी सेल शुरू हो जाएं, मॉडल डाउनलोड और आवश्यक लाइब्रेरी जुड़े हुए हैं। यदि आवश्यक हो तो सभी रनटाइम को रीसेट करने के लिए सहमत हों। "मॉडल प्रॉम्प्ट >>>" की उपस्थिति के बाद टेक्स्ट दर्ज करें और एंटर दबाएं।

बहुत शुरुआत में लाइन पर ध्यान दें:

model_name = '117M'

यहां आप उपयोग करने के लिए GPT-2 मॉडल का आकार निर्दिष्ट कर सकते हैं। निम्नलिखित मॉडल उपलब्ध हैं (अद्यतन के अधीन):

117M
124M
355M
774M
1558M

यहाँ, 117M सबसे छोटा मॉडल है जो इस लेखन के समय उपलब्ध एकमात्र था। OpenAI ने बाद में 5 नवंबर, 2019 तक लगातार बढ़ते हुए मॉडल तैयार किए, अधिकतम 1558M (1.5 बिलियन मापदंडों के साथ) किए।

या सभी कोड मैन्युअल रूप से बनाएं:

1. Https://colab.research.google.com पर जाएं
2. नीले रंग की नई पायथन 3 नोट बटन दबाएं
3. रनटाइम से -> रनटाइम प्रकार मेनू बदलें, पायथन 3 और GPU (GPU पर तंत्रिका नेटवर्क को चलाने के लिए उत्तरार्द्ध) का चयन करें
4. पहले सेल में, टाइप करें:

model_name = '117M' !git clone https://github.com/openai/gpt-2 %cd gpt-2 !pip3 install -r requirements.txt !python3 download_model.py $model_name 

117M (सबसे छोटा) के बजाय, आप किसी भी मध्यवर्ती या सबसे बड़े मॉडल को निर्दिष्ट कर सकते हैं: 1558M।

और सेल के बाईं ओर ब्लैक प्ले आइकन पर क्लिक करें। यह चयनित GPT-2 तंत्रिका नेटवर्क को डाउनलोड करेगा और आवश्यक निर्भरताएं स्थापित करेगा।

दूसरी सेल में (आप इसे मेनू के माध्यम से जोड़ सकते हैं -> कोड सेल या वर्तमान सेल के केंद्र के नीचे माउस को मँडरा कर, ऐड बटन पॉप अप होगा):

 !python3 src/interactive_conditional_samples.py --model_name=$model_name 

यह इंटरैक्टिव मोड लॉन्च करेगा। तंत्रिका नेटवर्क बूट होने तक प्रतीक्षा करें और पाठ दर्ज करने के लिए एक विंडो शिलालेख "मॉडल मॉडल >>>" के साथ दिखाई देती है। वाक्यांश की शुरुआत दर्ज करें और Enter दबाएं। थोड़ी देर बाद, उत्पन्न पाठ SAMPLE शीर्षक के तहत दिखाई देता है।

आप पूरी तरह से यादृच्छिक पाठ उत्पन्न करने की विधा भी शुरू कर सकते हैं। जब तक आप सेल पर स्टॉप बटन पर क्लिक नहीं करते, तब तक टेक्स्ट SAMPLE 1, SAMPLE 2, और इसी तरह के छोटे-छोटे टुकड़ों में उत्पन्न हो जाएगा। ऐसा करने के लिए, कोड के साथ एक नया सेल बनाएं:

 !python3 src/generate_unconditional_samples.py --model_name=$model_name | tee samples.txt 

परिणाम नमूने के लिए सहेजा जाएगा। Txt फ़ाइल। इसे निम्न आदेशों के साथ डाउनलोड किया जा सकता है (फिर से एक नया सेल बनाएं और पाठ उत्पन्न करने के बाद इसे चलाएं):

 from google.colab import files files.download('samples.txt') 

आप पाठ बनाने के लिए पैरामीटर बदल सकते हैं (यादृच्छिकता का गुणांक, आदि, मूल काम में विवरण देखें):

 !python3 src/generate_unconditional_samples.py --model_name=$model_name --top_k 40 --temperature 0.7 | tee samples.txt 

चूंकि 117M एक बहुत कम मॉडल है, इसलिए इससे चमत्कार की उम्मीद न करें (अपडेट: इस लेखन के समय, केवल यह उपलब्ध था। अब सब कुछ उपलब्ध है, जिसमें मूल सबसे बड़ा 1558M शामिल है, ऊपर देखें)। अधिकांश उत्पन्न नमूने बकवास होंगे। लेकिन सार्थक खंड भी हैं। पाठ अंग्रेजी में होना चाहिए, जबकि अन्य भाषाओं में GPT-2 अभी तक काम करने में सक्षम नहीं है।

उत्पन्न पाठ के उदाहरण

पूर्ण मॉडल द्वारा उत्पन्न पाठ के नमूने: https://blog.openai.com/better-language-models/#sample1 (8 कहानियों के लिए बार के शीर्ष पर)।

बेतरतीब ढंग से उत्पन्न नमूनों के साथ एक बड़ी 2.4 एमबी की पाठ फ़ाइल भी है: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-samples.txt

और एक और, 2.27 एमबी, अन्य यादृच्छिकता सेटिंग्स के साथ: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-topk40-samples.txt

संदर्भ

• मूल OpenAI ब्लॉग लेख: बेहतर भाषा मॉडल और उनके निहितार्थ
• जीपीटी -2 के सभी पूर्व-प्रशिक्षित संस्करणों के साथ जीथब: https://github.com/openai/gpt-2
• रेडिट मुख्य समाचार पर चर्चा
• Reddit पर पूर्ण मॉडल पोस्ट करने से इनकार करने पर चर्चा: यह OpenAI के लिए CloseAI का नाम बदलने का समय है
• एक ब्राउज़र में GPT-2 (सभी मॉडल) चलाने के लिए Google Colab नोटबुक