Profi.ru पर क्लाइंट राउटिंग / सिमेंटिक सर्च और क्लस्टरिंग एक्सटर्नल कॉरपस का निर्माण

TLDR

यह एक बहुत ही छोटा कार्यकारी सारांश (या एक टीज़र) है, जिसके बारे में हम Profi.ru DS विभाग में लगभग 2 महीनों में क्या करने में कामयाब रहे (मैं वहां कुछ समय के लिए था, लेकिन खुद को और मेरी टीम को अलग करना एक अलग बात थी पहले किया गया)।

अनुमानित लक्ष्य

1. क्लाइंट इनपुट / आशय और रूट क्लाइंट को तदनुसार समझें (हमने अंत में इनपुट गुणवत्ता अज्ञेय क्लासिफायर के लिए चुना, हालांकि हमने टाइप-फॉरवर्ड चार लेवल मॉडल और भाषा मॉडल के रूप में अच्छी तरह से माना। सरलता नियम);
2. मौजूदा सेवाओं के लिए पूरी तरह से नई सेवाएं और पर्यायवाची खोजें;
3. (2) के उप-लक्ष्य के रूप में - मनमाने बाहरी वाहकों पर उचित समूह बनाना सीखें;

लक्ष्यों को प्राप्त किया

स्पष्ट रूप से इनमें से कुछ परिणाम न केवल हमारी टीम द्वारा प्राप्त किए गए थे, बल्कि कई टीमों द्वारा (अर्थात, हमने स्पष्ट रूप से डोमेन कॉर्पस और मैनुअल एनोटेशन के लिए स्क्रैपिंग भाग नहीं किया था, हालांकि मेरा मानना ​​है कि स्क्रैपिंग को हमारी टीम द्वारा भी हल किया जा सकता है - आपको बस आवश्यकता है पर्याप्त समीपता + शायद सेलेनियम के साथ कुछ अनुभव)।

व्यावसायिक लक्ष्य:

1. ग्राहक मार्ग / इरादे वर्गीकरण (~ 5k कक्षाएं) पर ~ 88+% (लोचदार खोज के साथ बनाम ~ 60% ) सटीकता;
2. इनपुट गुणवत्ता (मिसप्रिंट / आंशिक इनपुट) के लिए खोज अज्ञेयवादी है;
3. क्लासिफायरियर सामान्यीकृत करता है, भाषा की आकारिकी संरचना का शोषण होता है;
4. क्लासिफायरियर गंभीर रूप से विभिन्न बेंचमार्क पर लोचदार खोज करता है (नीचे देखें);
5. सुरक्षित पक्ष पर होने के लिए - कम से कम 1,000 नई सेवाएं मिलीं + कम से कम 15,000 समानार्थी शब्द (बनाम 5,000 + ~ 30,000 की वर्तमान स्थिति)। मुझे उम्मीद है कि यह आंकड़ा और भी दोगुना हो जाएगा;

आखिरी गोली एक बॉलपार्क का अनुमान है, लेकिन एक रूढ़िवादी है।
साथ ही एबी टेस्ट भी फॉलो करेंगे। लेकिन मुझे इन परिणामों पर भरोसा है।

"वैज्ञानिक" लक्ष्य:

1. हमने सेवा के समानार्थक शब्द के डेटाबेस के साथ डाउनस्ट्रीम वर्गीकरण कार्य + KNN का उपयोग करके कई आधुनिक वाक्य एम्बेडिंग तकनीकों की अच्छी तरह से तुलना की;
2. हम कमजोर रूप से देखरेख करने में कामयाब रहे (अनिवार्य रूप से उनका क्लासिफायर एक बैग-एन -ग्राम है) इस बेंचमार्क पर लोचदार खोज (नीचे विवरण देखें) UNSUPERVISED विधियों का उपयोग करके;
3. हमने एनएलपी मॉडल (एक सादे वेनिला द्वि-एलटीएमएम + एंबेडिंग का बैग, अनिवार्य रूप से फास्ट-टेक्स्ट आरएनएन से मिलता है) के निर्माण का एक नया तरीका विकसित किया - यह रूसी भाषा की आकृति विज्ञान को ध्यान में रखता है और अच्छी तरह से सामान्य करता है;
4. हमने प्रदर्शित किया कि हमारी अंतिम एम्बेडिंग तकनीक (सर्वश्रेष्ठ क्लासिफायर से एक बोतल-नेक लेयर) अत्याधुनिक अनचाहे एल्गोरिदम के साथ संयुक्त (UMAP + HDBSCAN) तारकीय समूहों का उत्पादन कर सकती है;
5. हमने इसकी संभावना, व्यवहार्यता और प्रयोज्यता का प्रदर्शन किया:
   
   • ज्ञान आसवन;
   • पाठ डेटा के लिए संवर्द्धन (sic!);
6. डायनेमिक संवर्द्धन के साथ प्रशिक्षण-आधारित क्लासिफायरिंग प्रशिक्षण ने बड़े स्थिर डेटासेट उत्पन्न करने की तुलना में अभिसरण समय (10x) को कम कर दिया (यानी सीएनएन यह सीखता है कि गलती को कम करने के लिए सामान्य रूप से दिखाया गया है कि यह बहुत कम संवर्धित वाक्य हैं);

कुल मिलाकर परियोजना संरचना

इसमें अंतिम क्लासिफ़ायर शामिल नहीं है।
इसके अलावा, हमने क्लासिफायर टोंटी के पक्ष में नकली आरएनएन और ट्रिपल लॉस मॉडल को छोड़ दिया।

अब एनएलपी में क्या काम करता है?

एक पक्षी की नजर:

यह भी आप जान सकते हैं कि एनएलपी अब इमेनेजेट क्षण का अनुभव कर सकता है।

बड़े पैमाने पर UMAP हैक

क्लस्टर बनाते समय, हम यूएमएपी को 100 मीटर + पॉइंट (या शायद 1bn) आकार के डेटासेट को अनिवार्य रूप से लागू करने के लिए एक तरह से / हैक पर ठोकर खाई। अनिवार्य रूप से FAISS के साथ KNN ग्राफ का निर्माण करें और फिर अपने GPU का उपयोग करके मुख्य UMAP लूप को PyTorch में फिर से लिखें। हमें इसकी आवश्यकता नहीं थी और अवधारणा को छोड़ दिया (हमारे पास केवल 10-15 मी अंक थे), लेकिन कृपया विवरण के लिए इस धागे का पालन करें।

क्या सबसे अच्छा काम करता है

• पर्यवेक्षित वर्गीकरण के लिए फास्ट-टेक्स्ट आरएनएन (द्वि-एलटीएमएम) से मिलता है + सावधानी से एन-ग्राम का सेट;
• कार्यान्वयन - एन-ग्राम + PyTorch एम्बेडिंग बैग परत के लिए सादा अजगर;
• क्लस्टरिंग के लिए - इस मॉडल की अड़चन परत + UMAP + HDBSCAN;

बेस्ट क्लासिफायर बेंचमार्क

मैन्युअल रूप से एनोटेट देव सेट

बाएं से दाएं:
(टॉप 1 सटीकता)

• वर्तमान एल्गोरिथ्म (लोचदार खोज);
• पहला आरएनएन;
• नई एनोटेशन;
• ट्यूनिंग;
• फास्ट-टेक्स्ट एम्बेडिंग बैग परत;
• टाइपोस और आंशिक इनपुट जोड़ना;
• त्रुटियों और आंशिक इनपुट ( प्रशिक्षण समय 10x कम ) की गतिशील पीढ़ी;
• अंतिम स्कोर;

मैन्युअल रूप से एनोटेट देव सेट + 1-3 त्रुटियाँ प्रति क्वेरी

बाएं से दाएं:
(टॉप 1 सटीकता)

• वर्तमान एल्गोरिथ्म (लोचदार खोज);
• फास्ट-टेक्स्ट एम्बेडिंग बैग परत;
• टाइपोस और आंशिक इनपुट जोड़ना;
• त्रुटियों और आंशिक इनपुट की गतिशील पीढ़ी;
• अंतिम स्कोर;

मैन्युअल रूप से एनोटेट देव सेट + आंशिक इनपुट

बाएं से दाएं:
(टॉप 1 सटीकता)

• वर्तमान एल्गोरिथ्म (लोचदार खोज);
• फास्ट-टेक्स्ट एम्बेडिंग बैग परत;
• टाइपोस और आंशिक इनपुट जोड़ना;
• त्रुटियों और आंशिक इनपुट की गतिशील पीढ़ी;
• अंतिम स्कोर;

बड़े पैमाने पर कॉर्पस / एन-ग्राम चयन

• हमने रूसी भाषा के लिए सबसे बड़ा कोष एकत्र किया:
  
  • Areneum - एक संसाधित संस्करण यहां उपलब्ध है - डेटासेट लेखकों ने उत्तर नहीं दिया;
  • टैगा ;
  • सामान्य क्रॉल और विकी - कृपया इन लेखों का पालन करें;
• हमने 1TB क्रॉल का उपयोग करके एक 100m शब्द शब्दकोश एकत्र किया;
• इस तरह की फाइलों को तेजी से (रात भर) डाउनलोड करने के लिए भी इस हैक का उपयोग करें;
• हमने अपने क्लासिफायरियर के लिए 1m n-ग्राम के एक इष्टतम सेट का चयन किया जो कि हमारे डोमेन डेटा पर सबसे अच्छा ( 500k सबसे लोकप्रिय n- ग्राम रूसी विकिपीडिया + 500k सबसे लोकप्रिय n-ग्राम पर प्रशिक्षित) से सामान्यीकृत है;

100M शब्दावली पर हमारे 1M n-ग्राम का तनाव परीक्षण:

पाठ वृद्धि

संक्षेप में:

• त्रुटियों के साथ एक बड़ा शब्दकोश लें (उदाहरण के लिए 10-100 मी। अद्वितीय शब्द);
• एक त्रुटि उत्पन्न करें (एक अक्षर छोड़ें, गणना की गई संभावनाओं का उपयोग करके एक पत्र स्वैप करें, एक यादृच्छिक पत्र डालें, शायद कीबोर्ड लेआउट का उपयोग करें, आदि);
• जाँचें कि नया शब्द शब्दकोश में है;

हमने इस तरह की सेवाओं के लिए बहुत सारी क्वेरीज़ को मजबूर किया (मूल रूप से इंजीनियर को उनके डेटासेट को उलटने के प्रयास में), और उनके अंदर एक बहुत छोटा शब्दकोश है (यह सेवा n- ग्राम विशेषताओं वाले ट्री क्लासिफायर द्वारा संचालित है)। यह देखने के लिए मज़ेदार था कि उन्होंने केवल 30-50% शब्दों को कवर किया था, जो कुछ लाशों पर थे ।

यदि आप एक बड़े डोमेन शब्दावली तक पहुँच रखते हैं तो हमारा दृष्टिकोण बहुत बेहतर है ।

सर्वश्रेष्ठ अनर्गल / अर्ध-पर्यवेक्षित परिणाम

KNN का उपयोग अलग-अलग एम्बेडिंग विधियों की तुलना करने के लिए एक बेंचमार्क के रूप में किया जाता है।

(वेक्टर आकार) परीक्षण किए गए मॉडल की सूची:

• (512) सामान्य क्रॉल डेटा के 200 जीबी पर प्रशिक्षित बड़े पैमाने पर नकली वाक्य डिटेक्टर;
• (300) एक सेवा से विकिपीडिया से एक यादृच्छिक वाक्य बताने के लिए नकली वाक्य डिटेक्टर प्रशिक्षित;
• (300) यहां से प्राप्त फास्ट-टेक्स्ट, एरण्डम कॉर्पस पर पूर्व-प्रशिक्षित;
• (२००) हमारे डोमेन डेटा पर प्रशिक्षित फास्ट-टेक्स्ट;
• (300) कॉमन क्रॉल डेटा के 200GB पर प्रशिक्षित फास्ट-टेक्स्ट;
• (300) विकिपीडिया से सेवाओं / समानार्थक / यादृच्छिक वाक्यों के साथ प्रशिक्षित ट्रिपल लॉस वाले एक स्याम देशीय नेटवर्क;
• (200) एंबेडिंग बैग आरएनएन की एम्बेडिंग परत का पहला पुनरावृत्ति, एक वाक्य एम्बेडिंग के पूरे बैग के रूप में एन्कोड किया गया है;
• (२००) समान, लेकिन पहले वाक्य को शब्दों में विभाजित किया जाता है, फिर प्रत्येक शब्द एम्बेडेड होता है, फिर औसत लिया जाता है;
• (300) ऊपर के रूप में ही लेकिन अंतिम मॉडल के लिए;
• (300) ऊपर के रूप में ही लेकिन अंतिम मॉडल के लिए;
• (250) अंतिम मॉडल (250 न्यूरॉन्स) की टोंटी परत;
• कमजोर रूप से लोचदार खोज बेसलाइन की निगरानी;

लीक से बचने के लिए, सभी यादृच्छिक वाक्यों को यादृच्छिक रूप से नमूना किया गया था। शब्दों में उनकी लंबाई उन सेवाओं / समानताओं की लंबाई के समान थी जिनकी तुलना उनके साथ की गई थी। यह भी सुनिश्चित करने के लिए उपाय किए गए थे कि मॉडल केवल शब्दशः अलग करके नहीं सीखें (एम्बेडिंग जमे हुए थे, यह सुनिश्चित करने के लिए विकिपीडिया को रेखांकित किया गया था कि प्रत्येक विकिपीडिया वाक्य में कम से कम एक डोमेन शब्द था)।

क्लस्टर दृश्य

3 डी

2 डी

क्लस्टर अन्वेषण "इंटरफ़ेस"

हरा - नया शब्द / पर्यायवाची।
ग्रे पृष्ठभूमि - संभवतः नया शब्द।
ग्रे पाठ - मौजूदा पर्यायवाची।

पृथक्करण परीक्षण और क्या काम करता है, हमने क्या प्रयास किया और क्या नहीं

1. उपरोक्त चार्ट देखें;
2. फास्ट-टेक्स्ट एम्बेडिंग का औसत औसत / tf-idf औसत - एक बहुत दुर्जेय आधार रेखा ;
3. फास्ट-टेक्स्ट> रूसी के लिए वर्ड 2 वीईसी;
4. फर्जी वाक्य का पता लगाने के प्रकार के कार्यों से एम्बेडिंग वाक्य, लेकिन अन्य तरीकों की तुलना में तालु;
5. बीपीई (दंड) ने हमारे डोमेन पर कोई सुधार नहीं दिखाया;
6. चार स्तर के मॉडल Google से रिकेंट पेपर के बावजूद, सामान्य बनाने के लिए संघर्ष करते थे;
7. हमने मल्टी-हेड ट्रांसफार्मर (क्लासिफायर और लैंग्वेज मॉडलिंग हेड्स के साथ) की कोशिश की, लेकिन हाथ में उपलब्ध एनोटेशन पर यह सादे वैनिला LSTM- आधारित मॉडल जैसा ही था। जब हम बुरे दृष्टिकोणों को एम्बेड करने के लिए चले गए, तो ट्रांसफॉर्मर की कम व्यावहारिकता और एम्बेडिंग बैग परत के साथ एलएम हेड होने की अव्यवहारिकता के कारण हमने अनुसंधान की इस रेखा को छोड़ दिया;
8. बीईआरटी - ओवरकिल लगता है, कुछ लोग यह भी दावा करते हैं कि ट्रांसफॉर्मर हफ्तों के लिए सचमुच ट्रेन करते हैं;
9. ईएलएमओ - एलेनएनएलपी जैसे पुस्तकालय का उपयोग करना मेरे विचार से अनुसंधान / उत्पादन और शिक्षा के वातावरण दोनों में काउंटर उत्पादक लगता है जिन कारणों से मैं यहां प्रदान नहीं करूंगा;

तैनाती

किया गया उपयोग:

• एक साधारण वेब-सेवा के साथ डॉकटर कंटेनर;
• सीपीयू केवल अनुमान के लिए पर्याप्त है;
• सीपीयू पर ~ 2.5 ms प्रति क्वेरी, वास्तव में आवश्यक नहीं बैचिंग;
• ~ 1GB रैम मेमोरी पदचिह्न;
• लगभग कोई निर्भरता नहीं है, PyTorch , numpy और pandas (और वेब सर्वर numpy ) के अलावा।
• इस तरह से मिमिक फास्ट-टेक्स्ट एन-ग्राम पीढ़ी;
• एंबेडिंग बैग लेयर + इंडेक्स को केवल एक शब्दकोश में संग्रहीत किया गया है;