हम पदानुक्रमित क्लस्टरिंग तैयार कर रहे हैं, या मैंने फिर से शुरू में विशेषज्ञता की पहचान कैसे की

मैं hh.ru पर एक डेवलपर के रूप में काम करता हूं , और मैं डेटाशाइन में जाना चाहता हूं, लेकिन अभी तक पर्याप्त कौशल नहीं हैं। इसलिए, अपने खाली समय में, मैं मशीन लर्निंग का अध्ययन करता हूं और इस क्षेत्र से व्यावहारिक समस्याओं को हल करने का प्रयास करता हूं। हाल ही में, उन्होंने मुझे फिर से शुरू करने का काम सौंपा। पोस्ट के बारे में होगा कि मैंने कैसे एग्लोमेरेटिव पदानुक्रमित क्लस्टरिंग का उपयोग करके इसे हल किया। यदि आप पढ़ना नहीं चाहते हैं, लेकिन परिणाम दिलचस्प है, तो आप डेमो को तुरंत देख सकते हैं।

आवश्यक शर्तें

श्रम बाजार लगातार गतिशीलता में है, नए पेशे उभर रहे हैं, अन्य गायब हो रहे हैं, और मैं फिर से शुरू करना चाहता हूं। Hh.ru पर पेशेवर क्षेत्रों और विशेषज्ञता के कैटलॉग लंबे समय से पुराने हैं: बहुत कुछ इसके लिए बंधा हुआ है, इसलिए उन्होंने लंबे समय तक बदलाव नहीं किया है। यह सीखना उपयोगी होगा कि इन श्रेणियों को दर्द रहित तरीके से कैसे संपादित किया जाए। मैं इन श्रेणियों की स्वचालित रूप से पहचान करने की कोशिश कर रहा हूं। मुझे उम्मीद है कि भविष्य में यह समस्या को हल करने में मदद करेगा।

चुने हुए दृष्टिकोण के बारे में और क्लस्टरिंग के बारे में

क्लस्टरिंग करके मैं एक समूह में सबसे समान विशेषताओं वाली वस्तुओं के संयोजन को समझूंगा। मेरे मामले में, वस्तु के तहत एक फिर से शुरू माना जाता है, और वस्तु के संकेतों के तहत सारांश डेटा है: उदाहरण के लिए, फिर से शुरू या वेतन के आकार में "प्रबंधक" शब्द की आवृत्ति। वस्तुओं की समानता एक पूर्व-चयनित मीट्रिक द्वारा निर्धारित की जाती है। अभी के लिए, आप इसे एक ब्लैक बॉक्स के रूप में सोच सकते हैं जो इनपुट पर दो ऑब्जेक्ट प्राप्त करता है, और आउटपुट एक संख्या पैदा करता है जो दर्शाता है, उदाहरण के लिए, वेक्टर अंतरिक्ष में वस्तुओं के बीच की दूरी: जितनी छोटी दूरी, उतनी ही अधिक वस्तुएं हैं।

जिस दृष्टिकोण का मैंने उपयोग किया, उसे ऊर्ध्वग्लंधिक पदानुक्रमित क्लस्टरिंग कहा जा सकता है। क्लस्टरिंग का परिणाम एक द्विआधारी पेड़ है, जहां पत्तियों में व्यक्तिगत तत्व होते हैं, और पेड़ की जड़ सभी तत्वों का एक संग्रह है। इसे आरोही कहा जाता है क्योंकि पेड़ के निचले स्तर पर, पत्तियों के साथ क्लस्टरिंग शुरू होती है, जहां प्रत्येक व्यक्तिगत तत्व को क्लस्टर माना जाता है।


फिर आपको दो निकटतम समूहों को खोजने और उन्हें एक नए क्लस्टर में मर्ज करने की आवश्यकता है। इस प्रक्रिया को तब तक दोहराया जाना चाहिए जब तक कि अंदर की सभी वस्तुओं के साथ एक ही क्लस्टर न हो। जब समूहों को संयोजित किया जाता है, तो उनके बीच की दूरी दर्ज की जाती है। भविष्य में, इन दूरियों का उपयोग उस स्थान को निर्धारित करने के लिए किया जा सकता है जहां ये दूरियां चयनित समूहों को अलग-अलग मानने के लिए काफी बड़ी हैं।

अधिकांश क्लस्टरिंग विधियां मानती हैं कि क्लस्टर की संख्या अग्रिम में ज्ञात है, या इस एल्गोरिथ्म के एल्गोरिदम और मापदंडों के आधार पर, समूहों को स्वतंत्र रूप से अलग करने की कोशिश की जाती है। पदानुक्रमित क्लस्टरिंग का लाभ यह है कि आप परिणामी पेड़ के गुणों की जांच करके समूहों की आवश्यक संख्या निर्धारित करने का प्रयास कर सकते हैं, उदाहरण के लिए, उन विभिन्न समूहों में उपशीर्षक का चयन करें जिनकी दूरी काफी बड़ी है। इसमें क्लस्टर के लिए खोज करने के लिए परिणामी संरचना के साथ काम करना सुविधाजनक है। आसानी से, इस तरह की संरचना को एक बार बनाया जाता है और आवश्यक संख्या में क्लस्टर की खोज करते समय इसे फिर से बनाने की आवश्यकता नहीं होती है।

कमियों के बीच, मैं उल्लेख करूंगा कि एल्गोरिथ्म खपत की गई मेमोरी पर काफी मांग है। और एक विशिष्ट वर्ग को निर्दिष्ट करने के बजाय, मैं चाहूंगा कि फिर से शुरू कक्षा के अंतर्गत आता है ताकि निकटतम विशेषता को न देखें, लेकिन समग्रता में।

डेटा संग्रह और तैयारी

डेटा के साथ काम करने में सबसे महत्वपूर्ण हिस्सा इसकी तैयारी, चयन और विशेषताओं की पुनर्प्राप्ति है। यह इस बात के आधार पर है कि संकेत अंत में क्या परिणाम देंगे, यह इस बात पर निर्भर करेगा कि उनमें क्या पैटर्न हैं, क्या ये पैटर्न अपेक्षित परिणाम के अनुरूप हैं और क्या यह "अपेक्षित परिणाम" संभव है। कुछ प्रकार के मशीन लर्निंग एल्गोरिदम को डेटा खिलाने से पहले, आपको प्रत्येक चिन्ह का विचार होना चाहिए, चाहे अंतराल हों, संकेत किस प्रकार का है, इस प्रकार के संकेत के क्या गुण हैं, और इस संकेत में मूल्यों का वितरण क्या है। सही एल्गोरिदम चुनना भी बहुत महत्वपूर्ण है जिसके साथ उपलब्ध डेटा को संसाधित किया जाएगा।

मैंने पिछले छह महीनों में अपडेट किए गए रिज्यूमे लिए। यह 2.7 मिलियन निकला। रिज्यूमे के आंकड़ों से मैंने सबसे सरल संकेत चुने, जिस पर, जैसा कि मुझे ऐसा लगता है, रिज्यूम की सदस्यता एक या दूसरे समूह पर निर्भर होनी चाहिए। आगे देखते हुए, मैं यह कहूंगा कि एक बार में सभी रिज्यूमे को क्लस्ट करने के परिणाम ने मुझे संतुष्ट नहीं किया। इसलिए, हमें पहले 28 पेशेवर क्षेत्रों द्वारा फिर से शुरू करना होगा।

प्रत्येक विशेषता के लिए, मैंने यह अनुमान लगाने के लिए वितरण किया कि डेटा कैसा दिखता है। शायद उन्हें किसी तरह परिवर्तित या पूरी तरह से छोड़ दिया जाना चाहिए।

क्षेत्र। ताकि इस सुविधा के मूल्यों की एक दूसरे के साथ तुलना की जा सके, मैंने कुल रिज्यूमे को इस क्षेत्र को प्रत्येक क्षेत्र के लिए सौंपा और इस नंबर से लॉगरिदम को बहुत बड़े और छोटे शहरों के बीच के अंतर को सुचारू करने के लिए लिया।

पॉल। एक द्विआधारी संकेत में परिवर्तित।

जन्म की तारीख । महीनों की संख्या में गिना जाता है। सभी का जन्मदिन नहीं होता। मैंने उस विशेषज्ञता से उम्र के औसत मूल्यों के साथ अंतराल को भरा, जिसमें यह फिर से शुरू होता है।

शिक्षा का स्तर । यह एक स्पष्ट संकेत है। मैंने इसे एक लेबलबिनाइज़र के साथ एन्कोड किया।

पंक्ति वस्तु का नाम । मैंने tfidfVectorizer के माध्यम से ngram_range = (1,2) के माध्यम से एक स्टेमर का उपयोग किया।

वेतन । रूबल में सभी मूल्यों का अनुवाद किया। मैं अपनी उम्र में उसी तरह अंतराल में भर गया। मान से लघुगणक लिया।

कार्य अनुसूची । एन्कोडेड लेबलबिनेराइज़र।

रोजगार दर । मैंने इसे बाइनरी बनाया, इसे दो भागों में विभाजित किया: पूर्ण समय और बाकी सभी।

भाषा प्रवीणता मैंने सबसे ज्यादा इस्तेमाल होने वाले टॉप को चुना। प्रत्येक भाषा को एक अलग सुविधा के रूप में सेट किया गया है। स्वामित्व का स्तर 0 से 5 तक की संख्याओं से मेल खाता है।

प्रमुख कौशल । मैं TfidfVectorizer के माध्यम से चला गया। एक स्टॉप शब्द के रूप में, मैंने सामान्य कौशल और शब्दों के एक छोटे से शब्द को एक साथ रखा है, जैसा कि मुझे लगता है, यह विशेष प्रभाव को प्रभावित नहीं करता है। सभी शब्द स्टेमर के माध्यम से पारित किए जाते हैं। प्रत्येक कुंजी कौशल में न केवल एक शब्द शामिल हो सकता है, बल्कि कई भी हो सकते हैं। कुंजी कौशल में कई शब्दों के मामले में, मैंने शब्दों को क्रमबद्ध किया, और प्रत्येक शब्द को एक अलग विशेषता के रूप में भी इस्तेमाल किया। यह विशेषता केवल पेशेवर क्षेत्र "सूचना प्रौद्योगिकी, इंटरनेट, दूरसंचार" में अच्छी तरह से चली गई क्योंकि लोग अक्सर अपनी विशेषता के लिए प्रासंगिक कौशल का संकेत देते हैं। अन्य पेशेवर क्षेत्रों में, मैंने सामान्य शब्दों के कौशल में प्रचुरता के कारण इसका उपयोग नहीं किया।

विशेषज्ञताओं। मैं प्रत्येक उपयोगकर्ता-निर्दिष्ट विशेषज्ञता को एक बाइनरी विशेषता के रूप में सेट करता हूं।

काम का अनुभव । महीनों + 1 की संख्या का लघुगणक लिया, क्योंकि वहाँ काम के अनुभव के बिना लोग हैं।

मानकीकरण

नतीजतन, प्रत्येक फिर से शुरू संख्या-चिह्नों का एक वेक्टर होने लगा। चयनित क्लस्टरिंग एल्गोरिथ्म वस्तुओं के बीच की दूरी की गणना पर आधारित है। यह निर्धारित करने के लिए कि प्रत्येक सुविधा को इस दूरी में कैसे योगदान देना चाहिए? उदाहरण के लिए, एक द्विआधारी संकेत है - 0 और 1, और दूसरा संकेत 0 से 1000 तक बहुत सारे मान ले सकता है।

मानकीकरण बचाव के लिए आता है। मैंने StandardScaler का उपयोग किया। वह प्रत्येक गुण को इस तरह से रूपांतरित करता है कि उसका औसत मूल्य शून्य है और माध्य से मानक विचलन एक है। इस प्रकार, हम सभी डेटा को समान वितरण में लाने की कोशिश कर रहे हैं - मानक सामान्य। बेशक, यह इस तथ्य से बहुत दूर है कि डेटा स्वयं एक सामान्य वितरण की प्रकृति है। यह उनके मापदंडों के वितरण के रेखांकन का निर्माण करने का एक कारण है और खुशी है कि वे गौसियन की तरह दिखते हैं।

इसलिए, उदाहरण के लिए, एक वेतन वितरण चार्ट जैसा दिखता था।


यह देखा जा सकता है कि उसके पास बहुत भारी पूंछ है। वितरण को अधिक सामान्य बनाने के लिए, आप इस डेटा से लघुगणक ले सकते हैं। इसी समय, उत्सर्जन इतना मजबूत नहीं होगा।

आयाम कमी

अब यह डेटा को छोटे आयाम के स्थान पर स्थानांतरित करने के लिए समझ में आता है, ताकि भविष्य में क्लस्टरिंग एल्गोरिथ्म उन्हें स्वीकार्य समय और स्मृति में पचा सके। मैंने TruncatedSVD का उपयोग किया, क्योंकि यह जानता है कि विरल मैट्रिस के साथ कैसे काम करना है और आउटपुट पर यह सामान्य घने मैट्रिक्स देता है, जिसे हमें आगे काम करने की आवश्यकता होगी। वैसे, TruncatedSVD को भी मानकीकृत डेटा जमा करना होगा।

उसी चरण में, परिणामी डेटासेट की कल्पना करने की कोशिश की जाती है, इसे टी-एसएनई का उपयोग करके दो-आयामी स्थान में अनुवाद किया जाता है। यह एक बहुत ही महत्वपूर्ण कदम है। यदि परिणामी छवि में कोई संरचना दिखाई नहीं दे रही है या इसके विपरीत, यह संरचना बहुत ही अजीब लग रही है, तो या तो आपके डेटा में आवश्यक नियमितता नहीं है, या कहीं एक त्रुटि हुई है।

सबकुछ ठीक होने से पहले मुझे बहुत सारी संदिग्ध छवियां मिलीं। उदाहरण के लिए, एक बार इतनी सुंदर छवि थी:


परिणामी कृमियों का कारण डेटासेट में फिर से शुरू होने वाले पहचानकर्ता थे। और यहाँ कुछ और सच्चाई के समान है:

क्लस्टरिंग

यदि डेटा के साथ सब कुछ प्रतीत होता है, तो आप क्लस्टरिंग शुरू कर सकते हैं। मैंने SciPy से Hierarchical क्लस्टरिंग पैकेज का उपयोग किया। यह लिंकेज विधि का उपयोग करके क्लस्टरिंग की अनुमति देता है। मैंने एल्गोरिथ्म में सुझाए गए सभी क्लस्टर दूरी मैट्रिक्स की कोशिश की। सबसे अच्छा परिणाम वार्ड पद्धति द्वारा दिया गया था।

मैंने जो मुख्य समस्या का सामना किया है वह क्लस्टरिंग एल्गोरिदम सभी तत्वों के बीच की दूरी मैट्रिक्स की गणना करता है, जिसका अर्थ है तत्वों की संख्या की एक द्विघात स्मृति निर्भरता। 2.7 मिलियन रिज्यूमे के लिए, मैं सफल नहीं हुआ, क्योंकि आवश्यक मेमोरी की मात्रा टेराबाइट्स है। सभी गणना एक नियमित कंप्यूटर पर की गई। मेरे पास इतनी रैम नहीं है। इसलिए, यह मेरे लिए उचित था कि आप पहले से शुरू होने वाले रिज्यूमे को जोड़ सकते हैं, परिणामी समूहों के केंद्र ले सकते हैं, और पहले से ही वांछित एल्गोरिथ्म के साथ उन्हें क्लस्टर कर सकते हैं। मैंने MiniBatchKMeans लिया, इसके साथ 30,000 क्लस्टर बनाए और उन्हें पदानुक्रमिक क्लस्टरिंग के लिए भेजा। यह काम किया, लेकिन परिणाम ऐसा था। सबसे हड़ताली फिर से शुरू समूहों में से कई बाहर खड़े थे, लेकिन विवरण एक अच्छे स्तर पर विशेषज्ञता खोजने के लिए पर्याप्त नहीं है।

प्राप्त विशेषज्ञता की गुणवत्ता में सुधार करने के लिए, मैंने डेटा को पेशेवर क्षेत्रों में तोड़ दिया। इसने 400 000 रिज्यूमे और कम से डेटासेट को बदल दिया। उस समय, मेरे साथ यह हुआ कि किसी डेटा नमूने को एक पंक्ति में दो एल्गोरिदम का उपयोग करने से बेहतर है। इसलिए मैंने MiniBatchKMeans छोड़ दिया और प्रत्येक विशेषज्ञता के लिए 100,000 रिज्यूमे लिए, ताकि लिंकेज विधि उन्हें पचा सके। 32 जीबी रैम पर्याप्त नहीं थी, इसलिए मैंने स्वैप के लिए अतिरिक्त 100 जीबी आवंटित किया। नतीजतन, लिंकेज प्रत्येक चरण में संयुक्त समूहों के बीच की दूरी और परिणामी क्लस्टर में तत्वों की संख्या के साथ एक मैट्रिक्स प्रदान करता है।

डेटासेट के विभिन्न संस्करणों और समूहों के बीच की दूरी की गणना के लिए अलग-अलग तरीकों की तुलना करने के लिए एक गुणवत्ता नियंत्रण मीट्रिक के रूप में, एल्गोरिथ्म में कोफनेट से प्राप्त कोपनेटिक सहसंबंध गुणांक का उपयोग किया गया है। यह गुणांक दर्शाता है कि परिणामी डेंड्रोग्राम कितनी अच्छी तरह से एक दूसरे के लिए वस्तुओं की असमानता को दर्शाता है। एकता के लिए मूल्य जितना बेहतर होगा, उतना ही बेहतर होगा।

दृश्य

क्लस्टरिंग की गुणवत्ता को मान्य करने का सबसे अच्छा तरीका दृश्य था। डेंड्रोग्राम विधि परिणामी डेंड्रोग्राम खींचती है, जिस पर आप पेड़ों में दूरी या स्तर के अनुसार समूहों का चयन कर सकते हैं:


निम्नलिखित ग्राफ पुनरावृति कदम संख्या पर समूहों के बीच की दूरी की निर्भरता को दर्शाता है, जिस पर दो निकटतम समूहों को एक नए में जोड़ा जाता है। ग्रीन लाइन दिखाती है कि त्वरण कैसे बदलता है - समूहों के बीच की दूरी की गति में शामिल हो रहा है।


छोटी संख्या के समूहों के मामले में, व्यक्ति उस बिंदु पर पेड़ को चुभाने की कोशिश कर सकता है, जहां अधिकतम त्वरण, अर्थात्, उस क्षण की दूरी जब दो समूहों को मिलाया गया था, और अगले चरण में पहले से ही छोटा था। मेरे मामले में, सब कुछ अलग है - मेरे पास कई क्लस्टर हैं, और मैंने सुझाव दिया कि इस बिंदु पर डेंड्रोग्राम को काटने के लिए बेहतर है जहां त्वरण अधिक नीरसता से कम करना शुरू कर देता है, अर्थात, इस स्तर पर समूहों के बीच की दूरी अब एक अलग समूह का संकेत नहीं देती है। ग्राफ पर, यह स्थान लगभग उस बिंदु पर है जहां हरी रेखा नाचती है।

कोई व्यक्ति किसी प्रकार की प्रोग्राम विधि के साथ आ सकता है, लेकिन 28 पेशेवर डोमेन के लिए 28 हाथों से इन स्थानों को चिह्नित करने के लिए तेज़ी से निकला और वांछित संख्या में क्लस्टर्स को फ़्लस्टर विधि से गुजारें , जो सही जगह पर पेड़ काट देगा।

मैंने पहले प्राप्त डेटा को t-SNE से बचाया, और उन पर परिणामी समूहों को नोट किया। यह बहुत अच्छा लग रहा है:


नतीजतन, मैंने एक वेब इंटरफ़ेस बनाया जहां आप प्रत्येक क्लस्टर से सारांश, चार्ट पर इसकी स्थिति देख सकते हैं और एक सार्थक नाम दे सकते हैं। सुविधा के लिए, मैंने फिर से शुरू के सबसे सामान्य शीर्षक को काट दिया - यह अक्सर क्लस्टर के नाम की विशेषता है।

आप यहाँ क्लस्टरिंग के परिणाम को देख सकते हैं ।

मैंने अपने लिए निष्कर्ष निकाला कि प्रणाली काम कर रही है। हालांकि समूहों में टूटना अपूर्ण है और कुछ समूह एक-दूसरे से बहुत मिलते-जुलते हैं, लेकिन कुछ इसके विपरीत, भागों में विभाजित हो सकते हैं, लेकिन विशेष बाजार के मुख्य रुझान स्पष्ट रूप से दिखाई देते हैं। आप यह भी देख सकते हैं कि नए समूह कैसे बनते हैं। फिर से शुरू करना अनलोडिंग गर्मियों में किया गया था, इसलिए ड्राइवर, जो विश्व कप में काम करना चाहते थे , उदाहरण के लिए बाहर खड़े थे। यदि आप लॉन्च से लॉन्च तक एक-दूसरे के बीच क्लस्टर का मिलान करना सीखते हैं, तो आप देख सकते हैं कि समय के साथ विशेषज्ञता के मुख्य क्षेत्र कैसे बदलते हैं। वास्तव में, गुणवत्ता और विकास में सुधार के लिए विचार अभी भी भरे हुए हैं। अगर मुझे खुद में सही प्रेरणा मिल सके, तो मैं और विकास करूंगा।

अतिरिक्त सामग्री

डेटा में एक संरचना की खोज के बारे में पाठ्यक्रम से कृषि hierarchical क्लस्टरिंग के बारे में वीडियो
स्केलिंग और संकेतों के सामान्यीकरण के बारे में
SciPy लाइब्रेरी से पदानुक्रमित क्लस्टरिंग पर ट्यूटोरियल , जिसे मैंने अपने कार्य के लिए आधार के रूप में लिया
एक उदाहरण के रूप में स्केलेर लाइब्रेरीज़ का उपयोग करके विभिन्न प्रकार के क्लस्टरिंग की तुलना

थोड़ा बोनस। मैंने सोचा कि यह लोगों के लिए दिलचस्प है कि कोई व्यक्ति किसी कार्य पर कैसे काम करता है। मैं यह कहना चाहता हूं कि कुछ मुद्दों में मैं इस परियोजना को करते समय अच्छी तरह से पंप किया था। मैंने विभिन्न विकल्पों की कोशिश की, अध्ययन किया, विचार किया कि यह या यह कैसे काम करता है। कई स्थानों पर, एक अच्छा गणितीय आधार की कमी संसाधनशीलता और बड़ी संख्या में प्रयासों द्वारा ऑफसेट की गई थी। और मैं कार्य में काम करने के दौरान नोटों की बदली हुई चादर को साझा करना चाहूंगा जिसमें मैंने नोट्स लिए थे। इसमें प्रतिबिंब केवल मेरे लिए थे, कई विधर्म और गलतियां हैं, लेकिन मुझे लगता है कि यह सामान्य है।

UPD: मैंने डेटा तैयारी और क्लस्टरिंग कोड के साथ लैपटॉप पोस्ट किए। मुझे कोड अपलोड करने की योजना नहीं थी, इसलिए गुणवत्ता के लिए खेद है।