वैज्ञानिक और व्यावसायिक समस्याओं को हल करने के लिए क्लस्टरिंग मशीन लर्निंग पाइपलाइन का एक महत्वपूर्ण हिस्सा है। यह डेटा क्लाउड में बारीकी से संबंधित (दूरी का एक निश्चित माप) बिंदुओं की पहचान करने में मदद करता है जो अन्य तरीकों से निर्धारित करना मुश्किल हो सकता है।

हालांकि, अधिकांश भाग के लिए क्लस्टरिंग प्रक्रिया एक शिक्षक के बिना मशीन सीखने के क्षेत्र से संबंधित है, जो कई कठिनाइयों की विशेषता है। प्रक्रिया का अनुकूलन करने या प्रशिक्षण की सफलता का मूल्यांकन करने के बारे में कोई जवाब या सुझाव नहीं हैं। यह निर्जन क्षेत्र है।

इसलिए, यह आश्चर्यजनक नहीं है कि k- औसत विधि द्वारा क्लस्टरिंग की लोकप्रिय विधि पूरी तरह से हमारे प्रश्न का उत्तर नहीं देती है: "हम पहले क्लस्टर की संख्या का पता कैसे लगाते हैं?" यह सवाल बेहद महत्वपूर्ण है, क्योंकि क्लस्टरिंग अक्सर व्यक्तिगत समूहों के आगे के प्रसंस्करण से पहले होता है, और कंप्यूटिंग संसाधनों की मात्रा उनकी संख्या के मूल्यांकन पर निर्भर हो सकती है।

व्यावसायिक विश्लेषण के क्षेत्र में सबसे खराब परिणाम उत्पन्न हो सकते हैं। यहां, बाजार विभाजन के लिए क्लस्टरिंग का उपयोग किया जाता है, और यह संभव है कि विपणन कर्मचारियों को क्लस्टर की संख्या के अनुसार आवंटित किया जाएगा। इसलिए, इस राशि का एक गलत अनुमान मूल्यवान संसाधनों के गैर-इष्टतम आवंटन को जन्म दे सकता है।

कोहनी की विधि

जब k- साधन विधि का उपयोग करते हुए क्लस्टरिंग किया जाता है, तो "कोहनी विधि" का उपयोग करते हुए अक्सर क्लस्टर की संख्या का अनुमान लगाया जाता है। इसका अर्थ है एल्गोरिथ्म के कई चक्रीय निष्पादन का चयन करने योग्य समूहों की संख्या में वृद्धि के साथ-साथ ग्राफ पर क्लस्टरिंग स्कोर के बाद के स्थगन के साथ, समूहों की संख्या के एक फ़ंक्शन के रूप में गणना की जाती है।

यह स्कोर क्या है, या मीट्रिक, जो चार्ट में देरी हो रही है? इसे कोहनी विधि क्यों कहा जाता है?

एक विशिष्ट ग्राफ इस तरह दिखता है:



स्कोर, एक नियम के रूप में, k- साधनों के उद्देश्य फ़ंक्शन के लिए इनपुट डेटा का एक उपाय है, अर्थात्, इंटरक्लेस्टर दूरी के अंतर दूरी के अनुपात का कुछ रूप।

उदाहरण के लिए, यह स्कोरिंग विधि स्किट-लर्न में के -साधन स्कोरिंग टूल में तुरंत उपलब्ध है।

लेकिन इस ग्राफ पर एक और नज़र डालें। यह कुछ अजीब लगता है। हमारे पास 4, 5 या 6 समूहों की इष्टतम संख्या क्या है?

यह स्पष्ट नहीं है, क्या यह है?

सिल्हूट एक बेहतर मीट्रिक है

सिल्हूट गुणांक की गणना प्रत्येक नमूने के लिए औसत इंट्राक्लस्टर दूरी (ए) और निकटतम क्लस्टर (बी) की औसत दूरी का उपयोग करके की जाती है। सिल्हूट की गणना (b - a) / max(a, b) । मुझे समझाने दो: b a और निकटतम क्लस्टर के बीच की दूरी है जिसमें कोई संबंध नहीं है। आप सभी नमूनों के औसत सिल्हूट मान की गणना कर सकते हैं और इसका उपयोग क्लस्टर की संख्या का अनुमान लगाने के लिए मीट्रिक के रूप में कर सकते हैं।

इस विचार की व्याख्या करने वाला एक वीडियो यहां है:


मान लीजिए कि हमने Scikit-learn से make_blob फ़ंक्शन का उपयोग करके यादृच्छिक डेटा उत्पन्न किया। डेटा चार आयामों और लगभग पाँच क्लस्टर केंद्रों में स्थित हैं। समस्या का सार यह है कि डेटा लगभग पाँच क्लस्टर केंद्रों में उत्पन्न होता है। हालाँकि, k- साधन एल्गोरिथ्म इसके बारे में नहीं जानता है।

समूहों को चार्ट पर प्रदर्शित किया जा सकता है (जोड़ीदार संकेत):



तब हम k = 2 से k = 12 तक के मानों के साथ k- साधन एल्गोरिथ्म चलाते हैं, और फिर हम दो-भाग के लिए डिफ़ॉल्ट मीट्रिक की गणना करते हैं और प्रत्येक रन के लिए औसत सिल्हूट मान, दो आसन्न रेखांकन में प्रदर्शित परिणामों के साथ।



अंतर स्पष्ट है। सिल्हूट का औसत मूल्य k = 5 तक बढ़ जाता है, और फिर k के उच्च मूल्यों के लिए तेजी से घट जाता है। यही है, हमें k = 5 पर एक स्पष्ट चोटी मिलती है, यह मूल डेटासेट में उत्पन्न क्लस्टर की संख्या है।

कोहनी विधि का उपयोग करते समय सिल्हूट ग्राफ में एक शिखर चरित्र होता है, जो नरम रूप से घुमावदार ग्राफ के विपरीत होता है। यह कल्पना करना और औचित्य करना आसान है।

यदि आप डेटा पीढ़ी के दौरान गॉसियन शोर को बढ़ाते हैं, तो क्लस्टर अधिक दृढ़ता से ओवरलैप करेंगे।



इस मामले में, कोहनी विधि का उपयोग करके डिफ़ॉल्ट k- साधनों की गणना करना और भी अधिक अनिश्चित परिणाम देता है। नीचे कोहनी विधि का एक ग्राफ है, जिस पर एक उपयुक्त बिंदु चुनना मुश्किल है जिस पर लाइन वास्तव में झुकती है। क्या यह 4, 5, 6 या 7 है?



इसी समय, सिल्हूट ग्राफ अभी भी 4 या 5 क्लस्टर केंद्रों के क्षेत्र में एक चोटी दिखाता है, जो हमारे जीवन को बहुत सुविधाजनक बनाता है।

यदि आप एक-दूसरे को ओवरलैप करते हुए समूहों को देखते हैं, तो आप देखेंगे कि इस तथ्य के बावजूद कि हमने 5 केंद्रों के आसपास डेटा उत्पन्न किया, उच्च फैलाव के कारण, केवल 4 क्लस्टर संरचनात्मक रूप से प्रतिष्ठित हो सकते हैं। सिल्हूट आसानी से इस व्यवहार को प्रकट करता है और 4 और 5 के बीच समूहों की इष्टतम संख्या दिखाता है।

सामान्य वितरण मिश्रण मॉडल के साथ बीआईसी स्कोर

बेयसियन इंफॉर्मेशन क्रैशन (बीआईसी) जैसे समूहों की सही संख्या निर्धारित करने के लिए अन्य महान मीट्रिक हैं। लेकिन उनका उपयोग केवल तभी किया जा सकता है जब हमें k- साधन विधि से अधिक सामान्यीकृत संस्करण में स्थानांतरित करने की आवश्यकता होती है - सामान्य वितरण (गाऊसी मिक्सचर मॉडल (GMM)) का मिश्रण।

जीएमएम डेटा क्लाउड को सामान्य वितरण के साथ कई डेटासेट के सुपरपोजिशन के रूप में देखता है, जिसमें अलग-अलग माध्य मान और संस्करण होते हैं। और फिर GMM इन औसत और भिन्नताओं को निर्धारित करने के लिए अपेक्षाओं को अधिकतम करने के लिए एक एल्गोरिथ्म का उपयोग करता है।

नियमितीकरण के लिए बी.आई.सी.

आप पहले से ही सांख्यिकीय विश्लेषण में या रैखिक प्रतिगमन का उपयोग करते समय BIC का सामना कर सकते हैं। BIC और AIC (Akaike Information Criterion, Akaike सूचना मानदंड) का उपयोग रैखिक प्रतिगमन में नियमितीकरण तकनीकों के रूप में किया जाता है, चर का चयन करने की प्रक्रिया के लिए।

बीआईसी पर एक समान विचार लागू होता है। सैद्धांतिक रूप से, अत्यंत जटिल समूहों को एक सामान्य वितरण के साथ बड़ी संख्या में डेटासेट के सुपरपोज़िशन के रूप में तैयार किया जा सकता है। इस समस्या को हल करने के लिए, आप असीमित संख्या में ऐसे वितरणों को लागू कर सकते हैं।
लेकिन यह रैखिक प्रतिगमन में मॉडल की जटिलता को बढ़ाने के समान है, जब बड़ी संख्या में गुणों का उपयोग किसी भी जटिलता के डेटा से मेल खाने के लिए किया जा सकता है, केवल सामान्यीकरण की संभावना को खोने के लिए, क्योंकि एक अत्यधिक जटिल मॉडल शोर से मेल खाती है, और वास्तविक पैटर्न से नहीं।

बीआईसी विधि कई सामान्य वितरणों को जुर्माना करती है और दिए गए पैटर्न का वर्णन करने के लिए मॉडल को सरल रखने की कोशिश करती है।

इसलिए, आप बड़ी संख्या में क्लस्टर केंद्रों के लिए GMM एल्गोरिथ्म चला सकते हैं, और BIC मान कुछ बिंदु तक बढ़ जाएगा, और फिर ठीक होने के साथ गिरावट शुरू हो जाएगी।

परिणाम

यहाँ इस लेख के लिए ज्यूपिटर नोटबुक है । बेझिझक कांटे और प्रयोग करें।

हम जेट इन्फोसिस्टम्स में k- साधन एल्गोरिथ्म का उपयोग कर एक शिक्षक के बिना सीखने के दौरान क्लस्टर की सही संख्या चुनने के मामले में लोकप्रिय कोहनी विधि के लिए विकल्पों के एक जोड़े पर चर्चा की।

हमने सुनिश्चित किया कि कोहनी विधि के बजाय, "सिल्हूट" गुणांक और BIC मान (k- साधनों के लिए GMM एक्सटेंशन से) का उपयोग करके बेहतर है कि नेत्रहीन समूहों की अधिकतम संख्या का निर्धारण किया जाए।