👩‍👦 🛠️ 🤹🏾 कैसे यैंडेक्स ने समाचार में त्रुटियों को खोजने के लिए कृत्रिम बुद्धिमत्ता सिखाई 👩🏻‍🚒 👩🏾‍✈️ 🎪

हम अक्सर उन प्रौद्योगिकियों और पुस्तकालयों के बारे में बात करते हैं जो यैंडेक्स में उत्पन्न और गठित हुए थे। वास्तव में, हम कम से कम तीसरे पक्ष के समाधान को लागू करते हैं और विकसित करते हैं।

आज मैं हबर समुदाय को ऐसे ही एक उदाहरण के बारे में बताऊंगा। आप सीखेंगे कि हमने समाचार सुर्खियों में टाइपोस खोजने के लिए BERT न्यूरल नेटवर्क को क्यों सिखाया, और आपने तैयार मॉडल का उपयोग क्यों नहीं किया, आप कई वीडियो कार्ड पर BERT को क्यों नहीं ले और चला सकते हैं और हमने इस तकनीक की प्रमुख विशेषता का उपयोग कैसे किया है - ध्यान तंत्र।

कार्य

Yandex.News एक ऐसी सेवा है जो हमसे जुड़े प्रकाशनों से समाचार एकत्र करती है। यह न केवल मुख्य पृष्ठ पर सबसे अधिक पढ़ा और उद्धृत मीडिया समाचार है, बल्कि सभी प्रकाशनों से विषयगत अनुभाग या यहां तक कि व्यक्तिगत चयन भी है। किसी भी मामले में, ये हजारों साइटें और लाखों शीर्षक हैं, जिनसे मशीन को हर कुछ मिनटों में चयन करना होगा।

यह मशीन है, क्योंकि हम कभी भी दिन की तस्वीर में हस्तक्षेप नहीं करते हैं: हम वहां समाचार को मैन्युअल रूप से नहीं जोड़ते हैं, हम उन्हें वहां से नहीं हटाते हैं (हम इसे कितना भी पसंद करेंगे), हम सुर्खियों को संपादित नहीं करते हैं। इसके आस-पास पहले ही कई प्रतियाँ टूट चुकी हैं। एक पूरी तरह से एल्गोरिदम दृष्टिकोण में पेशेवरों और विपक्ष दोनों हैं। कुछ हम प्रौद्योगिकी के साथ सुधार कर सकते हैं, कुछ नहीं। यदि शीर्षकों में वर्तनी की त्रुटियां या टाइपोस हैं, तो भी हम उन्हें ठीक नहीं करते हैं। हमने प्रकाशनों के फेविकॉन को सुर्खियों में जोड़ा है ताकि यह स्पष्ट हो कि समाचार कहाँ से आता है। इसने आंशिक रूप से मदद की, लेकिन हम त्रुटियों के संदर्भ में नहीं आए और पाठ में बदलाव किए बिना उनसे छुटकारा पाने का एक रास्ता तलाशने लगे।

यदि त्रुटि को ठीक करना असंभव है, तो आप हेडर को खोजने के लिए मशीन को प्रशिक्षित कर सकते हैं, जो त्रुटियों के कारण, शीर्ष के लिए उपयुक्त नहीं हैं। इसके अलावा, यांडेक्स उस समय से रूसी आकारिकी में विशिष्ट है जब नाम का अभी तक आविष्कार नहीं किया गया था। ऐसा लगता है कि हम एक तंत्रिका नेटवर्क लेते हैं - और बिंदु टोपी में है।

उपकरण

यांडेक्स में त्रुटियों को खोजने और ठीक करने के लिए स्पेलर तकनीक है। कैटबॉस्ट मशीन लर्निंग लाइब्रेरी के लिए धन्यवाद , स्पेलर अपरिचित शब्दों ("विशेषण" → "सहपाठियों") को डिक्रिप्ट कर सकता है और टाइपोस ("मिस म्यूज़िक" → "डाउनलोड संगीत") की खोज करते समय संदर्भ ले सकता है। ऐसा लग सकता है कि स्पेलर हमारे कार्य के लिए आदर्श है, लेकिन नहीं।

स्पेलर (आंतरिक रूप से खोज संरक्षक के रूप में जाना जाता है) पहले से ही पूरी तरह से अलग कार्य को हल करने के लिए वास्तुकला स्तर पर तेज हो गया है: उपयोगकर्ताओं को सही अनुरोध फ़ॉर्म को पुनर्स्थापित करने में मदद करने के लिए। खोज में, यह महत्वपूर्ण नहीं है कि क्या मामला सही ढंग से चुना गया है, एक पूंजी पत्र या अल्पविराम चिपका दिया गया है। वहां, खोज क्वेरी "हैमिंगुअल" के लिए यह अनुमान लगाना अधिक महत्वपूर्ण है कि व्यक्ति हेमिंग्वे को ध्यान में रखता था।

सुर्खियों में गलतियां अपेक्षाकृत साक्षर लोगों द्वारा की जाती हैं, जिन्हें हमिंगुएल लिखने की संभावना नहीं है। लेकिन गलत अनुमोदन ("उड़ान में देरी हुई"), लापता शब्द ("युवा ने कार की कोशिश की") और अतिरिक्त पूंजी पत्र ("बैंक के अध्यक्ष") आम हैं। अंत में, औपचारिक रूप से सही वाक्य है "मैं Pskov में गोर्की स्ट्रीट की मरम्मत करूंगा", जिसके लिए एक सामान्य अभिभावक (अगर यह लेखक से एक वादा है तो क्या होगा?), लेकिन यह स्पष्ट रूप से एक खराब समाचार शीर्षक है। इसके अलावा, समाचार में कार्य खोज के समान नहीं था: टाइपो और त्रुटियों को ठीक करने के लिए नहीं, बल्कि उनका पता लगाने के लिए।

हमारे पास अन्य विकल्प थे, उदाहरण के लिए, डीएसएमएस पर आधारित मॉडल (यदि दिलचस्प है, तो हमने पेलख एल्गोरिथ्म के बारे में एक पोस्ट में इस दृष्टिकोण के बारे में संक्षेप में बात की), लेकिन उनकी सीमाएं भी थीं। उदाहरण के लिए, शब्द क्रम को पूरी तरह से ध्यान में नहीं रखा गया था।

सामान्य तौर पर, तैयार किए गए उपकरण या तो हमारे कार्य के लिए उपयुक्त नहीं थे, या सीमित थे। तो, आपको अपना मॉडल बनाने की आवश्यकता है - अपने मॉडल को प्रशिक्षित करने के लिए। और यह BERT तकनीक के साथ काम करने का एक अच्छा कारण था, जो 2018 में डेवलपर्स के लिए उपलब्ध हो गया और प्रभावशाली परिणाम दिखाए।

पेश है बीईआरटी

आधुनिक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) समस्याओं की मुख्य समस्या एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए लोगों द्वारा चिह्नित पर्याप्त उदाहरणों को ढूंढना है। यदि आपको गुणवत्ता वृद्धि की आवश्यकता है, तो प्रशिक्षण का नमूना बहुत बड़ा होना चाहिए - लाखों और अरबों उदाहरण। इसी समय, एनएलपी में कई कार्य हैं और वे सभी अलग हैं। प्रत्येक कार्य के लिए समान मात्रा में डेटा एकत्र करना लंबा, महंगा और अक्सर असंभव होता है। यहां तक कि दुनिया की सबसे बड़ी कंपनियों के लिए भी।

लेकिन इस समस्या को हल करने का एक विकल्प है - दो चरणों में प्रशिक्षण की मदद से। सबसे पहले, तंत्रिका नेटवर्क को अरबों शब्दों के विशाल शरीर पर एक लंबे और महंगे समय के लिए एक भाषा संरचना सिखाई जाती है (यह पूर्व प्रशिक्षण है)। तब नेटवर्क जल्दी और सस्ते में एक विशिष्ट कार्य के लिए मुड़ जाता है - उदाहरण के लिए, समीक्षाओं को अच्छे और बुरे में विभाजित करने के लिए (यह ठीक-ठीक है)। टोलोक में कुछ 10 हजार उदाहरणों में से एक को चिह्नित किया गया है।

BERT तकनीक (ट्रांसफॉर्मर से द्विदिश एनकोडर प्रतिनिधि) इस विचार पर आधारित है। विचार ही नया नहीं है और पहले भी लागू किया जा चुका है, लेकिन एक महत्वपूर्ण अंतर है। ट्रांसफार्मर एक ऐसा तंत्रिका नेटवर्क वास्तुकला है जो आपको एक बार में पूरे संदर्भ को ध्यान में रखने की अनुमति देता है, जिसमें वाक्य के दूसरे छोर और बीच में कहीं भी कृदंत कारोबार होता है। और यह पिछले फैशनेबल आर्किटेक्चर से इसका अंतर है, जिसने संदर्भ को ध्यान में रखा। उदाहरण के लिए, एक LSTM तंत्रिका नेटवर्क में संदर्भ शब्द की लंबाई दसियों सबसे अच्छी है, और यहाँ यह सभी 200 है।

GitHub पर , TensorFlow स्रोत कोड और यहां तक कि 102 भाषाओं में एक पूर्व-प्रशिक्षित सार्वभौमिक मॉडल उपलब्ध हैं, रूसी से ज्वालामुखी तक। ले, यह प्रतीत होता है, बॉक्स से बाहर समाधान - और तुरंत परिणाम प्राप्त करें। लेकिन नहीं।

यह पता चला कि रूसी ग्रंथों में सार्वभौमिक मॉडल ने अंग्रेजी मॉडल की तुलना में काफी कम गुणवत्ता दिखाई, अंग्रेजी ग्रंथों में रिकॉर्ड तोड़ दिया (जो, आप देखते हैं, तार्किक है)। रूसी ग्रंथों में, वह DSSM पर हमारे आंतरिक मॉडल से हार गई।

ठीक है, आप खुद को पूर्व-शिक्षित कर सकते हैं - सौभाग्य से, यैंडेक्स के पास मशीन सीखने में पर्याप्त रूसी ग्रंथ और अनुभव है। लेकिन एक अति सूक्ष्म अंतर है। सीखने में एक साल लगता है!

तथ्य यह है कि बीईआरटी Google टेंसर प्रोसेसर (टीपीयू) के लिए तैयार है, इसलिए बॉक्स से बाहर यह केवल एक वीडियो कार्ड (जीपीयू) के साथ काम कर सकता है। और किसी भी राशिफल के साथ एक के माथे को समानांतर करना असंभव है: प्रत्येक चरण पर कार्ड से कार्ड में 400 मेगाबाइट डेटा स्थानांतरित करना बहुत महंगा है, समानांतरकरण व्यर्थ हो जाएगा। क्या करें?

अनुकूलन

उन्होंने ऐसे किसी भी विचार और समाधान की खोज करना शुरू कर दिया, जो मामले को गति दे सके। सबसे पहले, हमने देखा कि हमारे मॉडल में प्रत्येक संख्या 32 बिट मेमोरी (कंप्यूटर में संख्याओं के लिए मानक फ्लोट) पर कब्जा कर लिया है। यह छोटा प्रतीत होता है, लेकिन जब आपके पास 100 मिलियन वज़न है, तो यह महत्वपूर्ण है। हमें हर जगह इस तरह की सटीकता की आवश्यकता नहीं है, इसलिए हमने संख्याओं को आंशिक रूप से 16-बिट प्रारूप में बदलने का फैसला किया (इसे मिश्रित सटीक प्रशिक्षण कहा जाता है)।

जिस तरह से, कई फ़ाइलों और बैसाखियों की मदद से, हमने एक्सएलए संकलन को खराब कर दिया, फिर भी अभी भी एनवीआईडीआईए कमिट पर भरोसा किया। इसके लिए धन्यवाद, हमारे NVIDIA टेस्ला वी 100 कार्ड (उनमें से एक छोटा सर्वर मास्को के एक सस्ती क्षेत्र में एक अपार्टमेंट के रूप में खड़ा है), सेंसर कोर पर 16-बिट अंकगणितीय होने के कारण अपनी क्षमता को पूरी तरह से प्रकट करने में सक्षम थे।

हम केवल रूसी-भाषा की सुर्खियों में रुचि रखते थे, लेकिन बहुभाषी मॉडल, जिसे हमने एक आधार के रूप में लिया था, सैकड़ों भाषाओं में प्रशिक्षित किया गया था, यहां तक कि एक कृत्रिम वॉलापुक भी। वेक्टर स्पेस में अनुवादित सभी भाषाओं के शब्द मॉडल में संग्रहीत किए गए थे। इसके अलावा, आप उन्हें नहीं ले जा सकते हैं और उन्हें वहां से हटा सकते हैं - मुझे शब्दकोश के आकार को कम करने के लिए पसीना बहाना होगा।

और एक बात। यदि आप एक वैज्ञानिक हैं और आपका कंप्यूटर टेबल के नीचे है, तो आप प्रत्येक विशिष्ट कार्य के लिए वहां सब कुछ फिर से कॉन्फ़िगर कर सकते हैं। लेकिन एक वास्तविक कंप्यूटिंग क्लाउड में, जहां हजारों मशीनें उसी तरह कॉन्फ़िगर की जाती हैं, उदाहरण के लिए, प्रत्येक नई TensorFlow सुविधा के लिए कर्नेल के पुनर्निर्माण के लिए यह काफी समस्याग्रस्त है। इसलिए, हमने पैकेजों के ऐसे संस्करणों को इकट्ठा करने में बहुत प्रयास किया, जो सभी न्यूफ़ंगल चिप्स कर सकते हैं, और क्लाउड में कट्टरपंथी अद्यतन और वीडियो कार्ड के पुन: संयोजन की आवश्यकता नहीं होती है।

सामान्य तौर पर, जहाँ भी वे कर सकते थे, सभी रसों को निचोड़ लिया। और हमने कर दिखाया। साल एक हफ्ते में बदल गया।

ट्रेनिंग

सही डेटासेट का निर्माण आमतौर पर नौकरी का सबसे कठिन हिस्सा है। सबसे पहले, हमने तीन मिलियन हेडिंग पर क्लालिफायर सीखा, जो टोलर्स के साथ चिह्नित था। यह बहुत कुछ लगता है, लेकिन उनमें से केवल 30 हजार - टाइपो के साथ। अधिक उदाहरण कहां से प्राप्त करें?

हमने यह देखने का फैसला किया कि कौन सी मीडिया खुद को सही बता रही है। Yandex.News के इतिहास में इस तरह के 2 मिलियन से अधिक हैं। बिंगो! हालाँकि यह बहुत जल्दबाज़ी थी।

यह पता चला कि बहुत बार मीडिया त्रुटियों के कारण सुर्खियां नहीं बनाता है। नए विवरण सामने आए - और संपादक ने एक सही शब्द को दूसरे के साथ बदल दिया। इसलिए, हमने तीन अक्षरों तक के संस्करणों के बीच अंतर के साथ अपने आप को सुधारों तक सीमित कर दिया (हालांकि यहां अभी भी कुछ शोर था: यह "दो पाया गया" - यह "तीन मिला")। इसलिए हमने एक लाख टाइपो बनाए। हमने शोर के साथ इस बड़े चयन पर पहले अध्ययन किया, और फिर शोर के बिना एक छोटे टोलकर अंकन पर।

गुणवत्ता

ऐसे कार्यों में, सटीकता और पूर्णता को मापने के लिए प्रथागत है। हमारे मामले में, सटीकता हेडर में एक त्रुटि के बारे में सभी फैसले के बीच सही फैसले का अनुपात है। संपूर्णता - त्रुटि हेडर का अनुपात जिसे हमने सभी त्रुटि हेडर के बीच पकड़ा। आदर्श दुनिया में दोनों और एक और 100% की ख्वाहिश होनी चाहिए। लेकिन मशीन सीखने के कार्यों में, ये संकेतक संघर्ष करते हैं। यही है, जितना अधिक हम सटीकता को मोड़ते हैं, उतनी ही पूर्णता गिरती है। और इसके विपरीत।

DSSM पर आधारित हमारे पिछले दृष्टिकोण में, हम पहले से ही 95% सटीकता (यानी 5% गलत सकारात्मक फैसले) हासिल कर चुके हैं। यह पहले से ही एक उच्च संकेतक है। इसलिए, हमने उसी स्तर की सटीकता बनाए रखने का फैसला किया और देखा कि नए मॉडल के साथ पूर्णता कैसे बदलती है। और वह 21 से 78% तक कूद गई। और यह निश्चित रूप से एक सफलता है।

यहां इसे समाप्त करना संभव होगा, लेकिन मुझे ध्यान के बारे में बात करने का वादा याद है।

तंत्रिका नेटवर्क महसूस-टिप पेन के साथ

यह आमतौर पर स्वीकार किया जाता है कि एक तंत्रिका नेटवर्क ऐसा ब्लैक बॉक्स है। हम इनपुट को कुछ खिलाते हैं और आउटपुट के लिए कुछ प्राप्त करते हैं। क्यों और कैसे है एक रहस्य।

यह सीमा व्याख्या की गई तंत्रिका नेटवर्क को दरकिनार करने के लिए है। बीईआरटी उनमें से एक है। इसकी व्याख्या ध्यान तंत्र में निहित है। मोटे तौर पर, तंत्रिका नेटवर्क की प्रत्येक परत में हम एक ही तकनीक को दोहराते हैं: हम पड़ोसी शब्दों को अलग-अलग "ध्यान" से देखते हैं और उनके साथ बातचीत को ध्यान में रखते हैं। उदाहरण के लिए, जब एक तंत्रिका नेटवर्क सर्वनाम "वह" को संसाधित करता है, तो यह "ध्यान से देखता है" जिस संज्ञा को "वह" संदर्भित करता है।

नीचे दी गई तस्वीर लाल के अलग-अलग रंगों में दिखती है कि कौन सा शब्द टोकन "दिखता है", जो अंतिम क्लासिफायरियर परत के लिए पूरे शीर्षक के बारे में जानकारी जमा करता है। यदि शब्द में एक टाइपो - ध्यान इसे हाइलाइट करता है, यदि शब्द असंगत हैं - तो दोनों (और, संभवतः, उन पर निर्भर)।

इस जगह, वैसे, कोई भी तंत्रिका नेटवर्क की पूरी क्षमता को समझ सकता है। प्रशिक्षण के किसी भी चरण में हमारे मॉडल को ठीक से पता नहीं है कि उदाहरण में टाइपो कहां स्थित है: यह केवल यह जानता है कि पूरा शीर्षक गलत है। और अभी भी वह जानती है कि "1224 स्थानों के लिए एक स्कूल" असंगत संख्या के कारण लिखना गलत है, और वह विशेष रूप से संख्या 4 को उजागर करती है।

हमने टाइपोस पर रोक नहीं लगाई और न केवल त्रुटियों की खोज करने के लिए एक नया दृष्टिकोण लागू करना शुरू किया, बल्कि अप्रचलित हेडर की पहचान भी की। लेकिन यह एक पूरी तरह से अलग कहानी है, जिसके साथ हम निकट भविष्य में हैबर लौटने की उम्मीद करते हैं।

कैसे यैंडेक्स ने समाचार में त्रुटियों को खोजने के लिए कृत्रिम बुद्धिमत्ता सिखाई