स्प्लंक: मशीन लर्निंग अगले स्तर पर

एक साल पहले थोड़ा हमने स्प्लंक मशीन लर्निंग टूलकिट एप्लिकेशन की समीक्षा की, जिसके साथ आप विभिन्न मशीन लर्निंग एल्गोरिदम का उपयोग करके स्प्लंक प्लेटफॉर्म पर मशीन डेटा का विश्लेषण कर सकते हैं।

आज हम उन अपडेट्स के बारे में बात करना चाहते हैं जो पिछले एक साल में सामने आए हैं। कई नए संस्करण जारी किए गए हैं, विभिन्न एल्गोरिदम और विज़ुअलाइज़ेशन जोड़े गए हैं जो स्प्लंक में डेटा विश्लेषण को एक नए स्तर पर ले जाने की अनुमति देगा।

नए एल्गोरिदम

एल्गोरिदम के बारे में बात करने से पहले, यह ध्यान दिया जाना चाहिए कि एक एमएल-एसपीएल एपीआई है जिसके साथ आप 300 से अधिक पायथन एल्गोरिदम के किसी भी खुले स्रोत एल्गोरिदम को लोड कर सकते हैं। हालाँकि, इसके लिए आपको पायथन में कुछ हद तक प्रोग्राम करने में सक्षम होना चाहिए।

इसलिए, हम उन एल्गोरिदम पर ध्यान देंगे जो पहले केवल पायथन में हेरफेर करने के बाद ही उपलब्ध थे, लेकिन अब एप्लिकेशन में एम्बेडेड हैं और आसानी से सभी द्वारा उपयोग किया जा सकता है।



ACF (स्वतःसंक्रमण समारोह)

एक ऑटोक्लेररेशन फ़ंक्शन किसी फ़ंक्शन और इसकी शिफ्ट की गई कॉपी के बीच के समय की राशि के बीच संबंध दिखाता है। एसीएफ आपको डुप्लिकेट अनुभाग खोजने में मदद करता है या सिग्नल की आवृत्ति निर्धारित करता है, अन्य आवृत्तियों पर शोर और कंपन के कारण छिपा हुआ है।

PACF (आंशिक स्वायत्तता समारोह)

निजी आटोक्लेररेशन फ़ंक्शन दो वैरिएबल के बीच सहसंबंध को दर्शाता है, सभी आंतरिक ऑटोक्रॉलेशन मानों के प्रभाव को घटाता है। एक निश्चित अंतराल पर निजी आटोक्लेररेशन सामान्य ऑटोकैरेलेशन के समान है, लेकिन इसकी गणना छोटे लैग के साथ ऑटोकैरेलेशन के प्रभाव को बाहर करती है। व्यवहार में, निजी आटोक्लेरोजेशन आवधिक निर्भरताओं की एक अधिक "स्वच्छ" तस्वीर प्रदान करता है।

एआरआईएमए (ऑटोरेजेशन और मूविंग एवरेज की एकीकृत प्रक्रिया)

ARIMA मॉडल अल्पकालिक पूर्वानुमान के निर्माण के लिए सबसे लोकप्रिय मॉडल में से एक है। ऑटोरेग्रेसिव मूल्य पिछले लोगों पर समय श्रृंखला के वर्तमान मूल्य की निर्भरता को व्यक्त करते हैं, और मॉडल की चलती औसत वर्तमान मूल्य पर पिछली पूर्वानुमान त्रुटियों (जिसे सफेद शोर भी कहा जाता है) के प्रभाव को निर्धारित करता है।



ग्रैडिएंट बूस्टिंग क्लासिफायर और ग्रैडिएंट बूस्टिंग रेजिस्टर

ग्रेडिंग बूस्टिंग एक मशीन लर्निंग विधि है जिसका उपयोग प्रतिगमन और वर्गीकरण समस्याओं के लिए किया जाता है जो कमजोर मॉडल, आमतौर पर पेड़ों के निर्णय के रूप में एक भविष्यवाणी मॉडल बनाता है। वह चरणों में मॉडल का निर्माण करता है, जब प्रत्येक बाद का एल्गोरिदम सभी पिछले एल्गोरिदम की संरचना की कमियों की भरपाई करना चाहता है। प्रारंभ में, बूस्टिंग की अवधारणा इस सवाल के संबंध में काम करती है कि क्या यह संभव है, एक अच्छा प्राप्त करने के लिए एल्गोरिदम सीखने के कई बुरे (यादृच्छिक परिभाषा से थोड़ा अलग) होने के संबंध में। पिछले 10 वर्षों में, तंत्रिका नेटवर्क के साथ-साथ बूस्टिंग सबसे लोकप्रिय मशीन सीखने के तरीकों में से एक बना हुआ है। मुख्य कारण हैं सादगी, बहुमुखी प्रतिभा, लचीलापन (विभिन्न संशोधनों का निर्माण करने की क्षमता), और, सबसे महत्वपूर्ण, उच्च सामान्यीकरण क्षमता।

एक्स-साधन

एक्स-साधन क्लस्टरिंग एल्गोरिदम एक उन्नत k- साधन एल्गोरिथ्म है जो स्वचालित रूप से बेयसियन सूचना मानदंड (बीआईसी) के आधार पर क्लस्टर की संख्या निर्धारित करता है। यह एल्गोरिथ्म उपयोग करने के लिए सुविधाजनक है जब क्लस्टर की संख्या पर कोई प्रारंभिक जानकारी नहीं है जिसमें यह डेटा विभाजित किया जा सकता है।

RobustScaler

यह एक डेटा प्रीप्रोसेसिंग एल्गोरिदम है। एप्लिकेशन StandardScaler एल्गोरिथ्म के समान है, जो डेटा को परिवर्तित करता है ताकि प्रत्येक सुविधा के लिए औसत 0 हो और विचरण 1 हो, जिसके परिणामस्वरूप सभी सुविधाएँ समान पैमाने पर हों। हालाँकि, यह स्केलिंग किसी भी विशिष्ट न्यूनतम और अधिकतम मानों की प्राप्ति की गारंटी नहीं देता है। RobustScaler, StandardScaler के समान है, इसके अनुप्रयोग के परिणामस्वरूप, सुविधाओं के पैमाने समान होंगे। हालांकि, RobustScaler माध्य और विचरण के बजाय माध्यिका और चतुर्थक का उपयोग करता है। यह RobustScaler को आउटलेर्स या माप त्रुटियों को अनदेखा करने की अनुमति देता है, जो अन्य स्केलिंग विधियों के लिए एक समस्या हो सकती है।



TFIDF

एक सांख्यिकीय उपाय का उपयोग किसी दस्तावेज़ के संदर्भ में एक शब्द के महत्व का आकलन करने के लिए किया जाता है जो दस्तावेजों के संग्रह का हिस्सा है। सिद्धांत यह है: यदि कोई शब्द अक्सर किसी दस्तावेज़ में पाया जाता है, जबकि अन्य सभी दस्तावेजों में शायद ही कभी पाया जाता है, इसलिए यह शब्द दस्तावेज़ के लिए बहुत महत्वपूर्ण है।

MLPClassifier

स्प्लंक में पहला तंत्रिका नेटवर्क एल्गोरिदम। एल्गोरिथ्म एक बहुपरत परसेप्ट्रान के आधार पर बनाया गया है, जो डेटा में गैर-रेखीय संबंधों को कैप्चर करेगा।

प्रशासन

नए संस्करणों में, एप्लिकेशन के प्रशासन में महत्वपूर्ण बदलाव आया है।

सबसे पहले, विभिन्न मॉडलों और प्रयोगों तक पहुंच का एक रोल मॉडल जोड़ा गया है।

दूसरे, मॉडल के प्रबंधन के लिए एक नया इंटरफ़ेस पेश किया गया है। अब आप आसानी से देख सकते हैं कि आपके पास किस प्रकार के मॉडल हैं, प्रत्येक मॉडल की सेटिंग्स की जाँच करें (उदाहरण के लिए, कौन से चर का उपयोग इसे प्रशिक्षित करने के लिए किया गया था) और प्रत्येक मॉडल के लिए साझाकरण सेटिंग्स को देखें या अपडेट करें।



तीसरा, प्रयोग प्रबंधन की अवधारणा का उद्भव। अब आप एक शेड्यूल पर प्रयोगों के निष्पादन को कॉन्फ़िगर कर सकते हैं, अलर्ट कॉन्फ़िगर कर सकते हैं। उपयोगकर्ता यह देख सकते हैं कि जब प्रत्येक प्रयोग को चलाने के लिए निर्धारित किया जाता है, तो प्रत्येक प्रयोग के लिए कौन से प्रसंस्करण चरण और पैरामीटर कॉन्फ़िगर किए जाते हैं।
प्रयोग प्रबंधन की नई अवधारणा अब आपको एक साथ कई प्रयोगों को बनाने और प्रबंधित करने का अवसर देती है, रिकॉर्ड करने के लिए कि ये प्रयोग कब किए गए थे और क्या परिणाम प्राप्त हुए थे।

दृश्य

MLTK 3.4 के नवीनतम संस्करण में, एक नए प्रकार के विज़ुअलाइज़ेशन को जोड़ा गया है। प्रसिद्ध बॉक्स प्लॉट या, जैसा कि हम इसे कहते हैं, "मूंछों के साथ बॉक्स।"


बॉक्स प्लॉट का उपयोग वर्णनात्मक आंकड़ों में किया जाता है, इसका उपयोग करके आप आसानी से माध्यिका को देख सकते हैं (या यदि आवश्यक हो, औसत), निचले और ऊपरी चतुर्थक, नमूना और आउटलेर के न्यूनतम और अधिकतम मान। इनमें से कई बक्सों को एक-दूसरे के साथ एक वितरण की तुलना करने के लिए साइड से खींचा जा सकता है। बॉक्स के विभिन्न हिस्सों के बीच की दूरी आपको फैलाव (फैलाव) की डिग्री और डेटा की विषमता निर्धारित करने और शेयरधारकों की पहचान करने की अनुमति देती है।



साल भर में, स्प्लंकिंग में मशीन लर्निंग ने एक बड़ा कदम उठाया है। वहाँ थे:

1. कई नए बिल्ट-इन एल्गोरिदम, जैसे: एसीएफ, पीएसीएफ, एआरआईएमए, ग्रैडिएंट बूस्टिंग क्लैसिकफायर, ग्रैडिएंट बूस्टिंग रेजिस्टर, एक्स-मीन्स, रोबस्टस्केलर, टीएफआईडीएफ, एमएलपीसीफ्लाइज़र;
2. रोल-आधारित एक्सेस मॉडल और मॉडल और प्रयोगों को प्रबंधित करने की क्षमता;
3. विज़ुअलाइज़ेशन बॉक्स प्लॉट