उत्पादन में एमएल मॉडल का द्रव्यमान स्टैकिंग: वास्तविक या नहीं?

अक्सर हमसे पूछा जाता है कि हम डेटा वैज्ञानिकों के लिए प्रतियोगिताओं की व्यवस्था क्यों नहीं करते हैं। तथ्य यह है कि अनुभव से हम जानते हैं कि उन में समाधान ठेस के लिए बिल्कुल भी लागू नहीं हैं। हां, और उन लोगों को किराए पर लेने के लिए जो प्रमुख स्थानों में होंगे, यह हमेशा समझ में नहीं आता है।



इस तरह की प्रतियोगिताओं को अक्सर तथाकथित चीनी स्टैकिंग की मदद से जीता जाता है, जब सभी संभव एल्गोरिदम और हाइपरपैरमीटर मान एक दहनशील तरीके से लिए जाते हैं, और परिणामस्वरूप मॉडल एक दूसरे से कई स्तरों पर एक संकेत का उपयोग करते हैं। इन समाधानों के सामान्य उपग्रह जटिलता, अस्थिरता, डिबगिंग और समर्थन में कठिनाई, प्रशिक्षण और पूर्वानुमान में बहुत अधिक संसाधन खपत, मॉडल के दोहराया प्रशिक्षण के प्रत्येक चक्र में सावधान मानव पर्यवेक्षण की आवश्यकता है। यह केवल प्रतियोगिताओं में ऐसा करने के लिए समझ में आता है - स्थानीय मेट्रिक्स में दस हजारवें स्थान पर और स्टैंडिंग में पदों के लिए।

लेकिन हमने कोशिश की

लगभग एक साल पहले, हमने उत्पादन में स्टैकिंग का उपयोग करने का प्रयास करने का निर्णय लिया। यह ज्ञात है कि रैखिक मॉडल ऐसे वैक्टर के बड़े आयाम के बावजूद, शब्दों के बैग के रूप में प्रतिनिधित्व किए गए ग्रंथों से एक उपयोगी संकेत और tf-idf के साथ सदिश करने के लिए संभव बनाते हैं। हमारी प्रणाली ने पहले से ही इस तरह के वेक्टराइज़ेशन का प्रदर्शन किया है, इसलिए हमारे लिए लॉजिस्टिक रिग्रेशन सिखाने के लिए रिज्यूम, रिक्तियों और उनके आधार पर वैक्टर को जोड़ना बहुत मुश्किल नहीं था, ताकि यह किसी दिए गए रिक्ति के लिए दिए गए फिर से शुरू होने वाले क्लिक के साथ उम्मीदवार की संभावना की भविष्यवाणी कर सके।

तब इस पूर्वानुमान का उपयोग मुख्य मॉडल द्वारा एक अतिरिक्त विशेषता के रूप में किया जाता है, क्योंकि मॉडल एक मेटा-विशेषता मानता है। सुंदरता यह है कि आरओसी एयूसी 0.7 के साथ, ऐसे मेटा-विशेषता मॉडल से संकेत उपयोगी है। कार्यान्वयन ने प्रति दिन लगभग 2 हजार प्रतिक्रियाएं दीं। और सबसे महत्वपूर्ण बात - हमें एहसास हुआ कि हम आगे बढ़ सकते हैं।

रेखीय मॉडल सुविधाओं के बीच गैर-अंतर्क्रियाओं को ध्यान में नहीं रखता है। उदाहरण के लिए, यह ध्यान में नहीं रखा जा सकता है कि यदि रिज्यूमे में "C" और रिक्ति में "सिस्टम प्रोग्रामर" शामिल है, तो एक प्रतिक्रिया की संभावना बहुत अधिक हो जाती है। पाठ के अलावा, रिक्ति और फिर से शुरू के अलावा, कई संख्यात्मक और श्रेणीगत क्षेत्र हैं, और फिर से शुरू में पाठ को कई अलग-अलग ब्लॉकों में विभाजित किया गया है। इसलिए, हमने रैखिक मॉडल के लिए सुविधाओं का एक द्विघात विस्तार जोड़ने और खेतों और ब्लॉकों से टीएफ-आईडीएफ वैक्टर के सभी संभावित संयोजनों के माध्यम से सॉर्ट करने का निर्णय लिया।

हमने मेटा-संकेत की कोशिश की, जो विभिन्न परिस्थितियों में प्रतिक्रिया की संभावना की भविष्यवाणी करता है:

1. नौकरी विवरण में शर्तों, श्रेणियों का एक सेट दिया गया है;
2. रिक्ति के पाठ क्षेत्र और फिर से शुरू के पाठ क्षेत्र में, कुछ निश्चित शर्तों का सामना करना पड़ता है;
3. रिक्ति के पाठ क्षेत्र में कुछ निश्चित शब्द थे जो रिज्यूम के पाठ क्षेत्र में नहीं मिलते थे
4. रिक्ति में कुछ शर्तें दिखाई दीं, फिर से शुरू में निर्धारित श्रेणी मूल्य;
5. रिक्तियों और रिज्यूमे में, श्रेणी के मूल्यों की एक जोड़ी दी गई।

फिर, फीचर चयन की मदद से, उन्होंने कई दर्जनों मेटा-विशेषताओं का चयन किया, जिन्होंने अधिकतम प्रभाव दिया, ए / बी परीक्षण किए और उन्हें उत्पादन में जारी किया।

नतीजतन, हमें प्रति दिन 23 हजार से अधिक नई प्रतिक्रियाएं मिलीं। कुछ विशेषताओं ने ताकत में शीर्ष विशेषताओं में प्रवेश किया।

उदाहरण के लिए, एक सिफ़ारिश प्रणाली में, शीर्ष विशेषताएँ हैं
उपयुक्त रेज्यूमे छानने वाले लॉजिस्टिक रिग्रेशन मॉडल में:

• रिज्यूम से भौगोलिक क्षेत्र;
• फिर से शुरू से पेशेवर क्षेत्र;
• नौकरी के विवरण और हाल के कार्य अनुभव के बीच का अंतर;
• रिक्तियों और रिज्यूमे में भौगोलिक क्षेत्रों का अंतर;
• रिक्ति के शीर्षक और फिर से शुरू के शीर्षक के बीच का अंतर;
• रिक्तियों और रिज्यूमे में विशेषज्ञता के बीच अंतर;
• फिर से शुरू में एक निश्चित वेतन के साथ आवेदक एक निश्चित वेतन के साथ रिक्ति पर क्लिक करता है (लॉजिस्टिक प्रतिगमन पर मेटा-साइन);
• संभावना है कि एक निश्चित फिर से शुरू नाम के साथ एक व्यक्ति एक निश्चित कार्य अनुभव के साथ रिक्तियों पर क्लिक करेगा (लॉजिस्टिक रेजिमेंट पर मेटा-साइन);

एक XGBoost मॉडल में संबंधित रिज्यूमे को फ़िल्टर करना:

• पाठ में रिक्तियों और रिज्यूमे के समान कैसे हैं;
• रिक्ति और फिर से शुरू के नाम के बीच अंतर और फिर से शुरू में अनुभव के सभी पदों को ध्यान में रखते हुए, पाठ के अंतःक्रियाओं को ध्यान में रखते हुए;
• पाठ के अंतर्संबंधों को ध्यान में रखते हुए, फिर से शुरू करने के स्थान और शीर्षक के बीच का अंतर;
• पाठ के अंतःक्रियाओं को ध्यान में रखे बिना, रिक्ति और फिर से शुरू के नाम के बीच अंतर और फिर से शुरू के अनुभव के सभी पदों के बीच अंतर;
• संभावना है कि निर्दिष्ट कार्य अनुभव वाला एक उम्मीदवार उस नाम के साथ रिक्ति पर जाएगा (लॉजिस्टिक प्रतिगमन पर मेटा-साइन);
• फिर से शुरू में नौकरी विवरण और पिछले कार्य अनुभव के बीच अंतर;
• पाठ में रिक्ति और रिज्यूमे में कितना अंतर है;
• फिर से शुरू में नौकरी विवरण और पिछले कार्य अनुभव के बीच अंतर;
• इस बात की संभावना है कि एक निश्चित लिंग का व्यक्ति एक निश्चित नाम (लॉजिस्टिक रिग्रेशन पर एक मेटा साइन) के साथ रिक्ति का जवाब देगा।

XGBoost पर रैंकिंग मॉडल में:

• उन शब्दों द्वारा प्रतिक्रिया की संभावना जो रिक्ति के नाम में मौजूद हैं और फिर से शुरू होने से शीर्षक और स्थिति में नहीं हैं (लॉजिस्टिक प्रतिगमन पर मेटा-साइन);
• रिक्ति और फिर से शुरू से मैच क्षेत्र
• उन शब्दों द्वारा प्रतिक्रिया की संभावना जो रिक्ति में मौजूद हैं और फिर से शुरू में नहीं हैं (लॉजिस्टिक रेजिमेंट पर मेटा-साइन);
• उपयोगकर्ता के लिए रिक्ति की भविष्यवाणी की भविष्यवाणी (ALS पर मेटा-टैग);
• रिक्तियों और फिर से शुरू होने वाली शर्तों द्वारा प्रतिक्रिया की संभावना (लॉजिस्टिक प्रतिगमन पर मेटा-साइन);
• रिज्यूम से रिक्ति के नाम और शीर्षक + स्थिति के बीच की दूरी, जहां उपयोगकर्ता कार्यों (बातचीत) द्वारा भारित होते हैं;
• रिक्ति और फिर से शुरू से विशेषज्ञता के बीच की दूरी;
• रिक्ति के शीर्षक और फिर से शुरू के नाम के बीच की दूरी, जहां उपयोगकर्ता कार्यों (बातचीत) द्वारा भारित होते हैं;
• एक रिक्ति से tf-idf की बातचीत पर प्रतिक्रिया की संभावना और एक फिर से शुरू से विशेषज्ञता (लॉजिस्टिक प्रतिगमन पर मेटा-साइन);
• रिक्ति और फिर से शुरू ग्रंथों के बीच की दूरी;
• डीएसएसएम रिक्ति के नाम से और फिर से शुरू के नाम (तंत्रिका नेटवर्क पर मेटा-विशेषता)।

एक अच्छा परिणाम यह दर्शाता है कि इस दिशा से आप अभी भी प्रति दिन एक ही विपणन लागत पर कुछ निश्चित प्रतिक्रियाओं और निमंत्रणों को निकाल सकते हैं।

उदाहरण के लिए, यह ज्ञात है कि बड़ी संख्या में संकेतों के साथ, लॉजिस्टिक प्रतिगमन रिट्रेनिंग की संभावना को बढ़ाता है।

आइए हम 10 हजार शब्दों और वाक्यांशों के शब्दकोश के साथ रिज्यूमे और रिक्तियों टीएफ-आईडीएफ वेक्टरक के ग्रंथों के लिए उपयोग करें। फिर हमारे लॉजिस्टिक रिग्रेशन में द्विघात विस्तार के मामले में 2 * 10 000 + 10 000² वेट होगा। यह स्पष्ट है कि इस तरह के विरलता के साथ, यहां तक ​​कि व्यक्तिगत मामले भी प्रत्येक व्यक्ति के वजन को महत्वपूर्ण रूप से प्रभावित कर सकते हैं "फिर से शुरू में ऐसा एक दुर्लभ शब्द था - और-जैसे एक रिक्ति में, उपयोगकर्ता ने क्लिक किया।"

इसलिए, अब हम लॉजिस्टिक रिग्रेशन पर मेटा-संकेत बनाने की कोशिश कर रहे हैं, जिसमें द्विघात विस्तार गुणांक फैक्टराइजेशन मशीनों का उपयोग करके संकुचित होते हैं। हमारे 10,000 वर्ग मीटर के वज़न को एक आयाम के साथ अव्यक्त वैक्टर के एक मैट्रिक्स के रूप में दर्शाया गया है, उदाहरण के लिए, 10,000x150 (जहां हमने 150 के एक अव्यक्त वेक्टर के आयाम को चुना है)। उसी समय, संपीड़न के दौरान अलग-अलग मामलों में एक बड़ी भूमिका निभाना बंद हो जाता है, और मॉडल विशिष्ट मामलों को याद रखने के बजाय अधिक सामान्य पैटर्न को ध्यान में रखना शुरू कर देता है।

हम DSSM तंत्रिका नेटवर्क पर मेटा-विशेषताओं का भी उपयोग करते हैं, जिनके बारे में हम पहले ही लिख चुके हैं , और ALS पर, जिसके बारे में हमने भी लिखा था , लेकिन सरलीकृत तरीके से। कुल मिलाकर, आज तक मेटा-विशेषताओं की शुरूआत ने हमें (और हमारे ग्राहकों को) प्रति दिन रिक्तियों के लिए 44 हजार से अधिक अतिरिक्त प्रतिक्रियाएं (लीड्स) दी हैं।

परिणामस्वरूप, रिज्यूमे के लिए नौकरी की सिफारिशों में सरलीकृत मॉडल स्टैकिंग योजना अब इस तरह दिखती है:



तो उत्पादन में ढेर लगाना समझ में आता है। लेकिन यह स्वचालित दहनशील स्टैकिंग नहीं है। हम यह सुनिश्चित करते हैं कि जिस मॉडल के आधार पर मेटा-विशेषताएँ बनाई जाती हैं, वे सरल बने रहें और मौजूदा डेटा और गणना की गई स्थिर विशेषताओं का अधिकतम उपयोग करें। केवल इस तरह से वे धीरे-धीरे एक असमर्थित ब्लैक बॉक्स में बदलने के बिना उत्पादन में बने रह सकते हैं, और ऐसी स्थिति में रह सकते हैं जहां उन्हें फिर से प्रशिक्षित और बेहतर बनाया जा सकता है।