इलास्टिक स्टैक में मशीन लर्निंग (उर्फ एलिटिक्स खोज, उर्फ ​​एल्क)

स्मरण करो कि इलास्टिक स्टैक गैर-संबंधपरक एलेस्टिक्स खोज डेटाबेस, किबाना वेब इंटरफेस और डेटा कलेक्टरों (सबसे प्रसिद्ध लॉगस्टैश, विभिन्न बीट्स, एपीएम और अन्य) पर आधारित है। संपूर्ण सूचीबद्ध उत्पाद स्टैक में से एक अच्छा जोड़ है मशीन लर्निंग एल्गोरिदम का उपयोग करके डेटा विश्लेषण। लेख में, हम समझते हैं कि ये एल्गोरिदम क्या हैं। हम बिल्ली मांगते हैं।

मशीन लर्निंग, शेयरवेयर स्टैक की एक सशुल्क सुविधा है और एक्स-पैक का हिस्सा है। इसका उपयोग शुरू करने के लिए, 30-दिवसीय परीक्षण को सक्रिय करने के लिए सक्रियण के बाद यह पर्याप्त है। परीक्षण अवधि समाप्त होने के बाद, आप इसके विस्तार के लिए समर्थन का अनुरोध कर सकते हैं या सदस्यता खरीद सकते हैं। सदस्यता लागत की गणना डेटा की मात्रा से नहीं, बल्कि उपयोग किए जाने वाले नोड्स की संख्या से की जाती है। नहीं, डेटा की मात्रा, निश्चित रूप से, नोड की संख्या को प्रभावित करती है, लेकिन फिर भी लाइसेंसिंग के लिए यह दृष्टिकोण कंपनी के बजट के संबंध में अधिक मानवीय है। यदि उच्च प्रदर्शन की कोई आवश्यकता नहीं है - तो आप बचा सकते हैं।

एलस्टैटिक स्टैक में ML C ++ में लिखा गया है और JVM के बाहर काम करता है, जो खुद Elasticsearch चलाता है। यही है, प्रक्रिया (जो, वैसे, ऑटोडेटेक्ट कहा जाता है) सब कुछ खाती है जो जेवीएम निगल नहीं करता है। डेमो स्टैंड पर, यह इतना महत्वपूर्ण नहीं है, लेकिन उत्पादक वातावरण में एमएल कार्यों के लिए अलग नोड्स को उजागर करना महत्वपूर्ण है।

मशीन सीखने के एल्गोरिदम को दो श्रेणियों में विभाजित किया गया है - शिक्षक के साथ और बिना । इलास्टिक स्टैक में, एल्गोरिथ्म "कोई शिक्षक नहीं" श्रेणी से है। यह लिंक आपको मशीन लर्निंग एल्गोरिदम के गणितीय उपकरण को देखने की अनुमति देता है।

विश्लेषण करने के लिए, मशीन लर्निंग एल्गोरिदम एलिस्टिक्स खोज इंडेक्स में संग्रहीत डेटा का उपयोग करता है। आप Kibana इंटरफ़ेस और API के माध्यम से विश्लेषण के लिए कार्य बना सकते हैं। यदि आप किबाना के माध्यम से ऐसा करते हैं, तो कुछ बातें जानना आवश्यक नहीं है। उदाहरण के लिए, अतिरिक्त अनुक्रमित जो एल्गोरिथ्म प्रक्रिया में उपयोग करता है।


इलास्टिसर्च डेटाबेस में डेटा संरचना में अनुक्रमित और उनमें संग्रहीत दस्तावेज़ होते हैं। यदि एक संबंधपरक डेटाबेस के साथ तुलना की जाती है, तो सूचकांक की तुलना डेटाबेस स्कीमा, और तालिका में एक प्रविष्टि के साथ एक दस्तावेज़ के साथ की जा सकती है। यह तुलना सशर्त है और उन लोगों के लिए आगे की सामग्री की समझ को आसान बनाने के लिए प्रदान की गई है जिन्होंने केवल एलिटिक्स खोज के बारे में सुना है।

एक ही कार्यक्षमता वेब इंटरफ़ेस के माध्यम से एपीआई के माध्यम से उपलब्ध है, इसलिए अवधारणाओं की स्पष्टता और समझ के लिए, हम यह दिखाएंगे कि किबाना के माध्यम से कैसे कॉन्फ़िगर किया जाए। बाईं ओर मेनू में एक मशीन लर्निंग अनुभाग है जहां आप एक नई नौकरी बना सकते हैं। किबाना इंटरफ़ेस में, यह नीचे की छवि जैसा दिखता है। अब हम प्रत्येक प्रकार के कार्य का विश्लेषण करेंगे और उन प्रकार के विश्लेषणों को दिखाएंगे जिनका निर्माण यहाँ किया जा सकता है।



एकल मीट्रिक - एक मीट्रिक का विश्लेषण, मल्टी मीट्रिक - दो या अधिक मीट्रिक का विश्लेषण। दोनों मामलों में, प्रत्येक मीट्रिक का एक अलग वातावरण में विश्लेषण किया जाता है, अर्थात। एल्गोरिथ्म समानांतर में विश्लेषण किए गए मैट्रिक्स के व्यवहार को ध्यान में नहीं रखता है क्योंकि यह मल्टी मीट्रिक के मामले में लग सकता है। विभिन्न मैट्रिक्स के सहसंबंध को ध्यान में रखते हुए गणना करने के लिए, आप जनसंख्या विश्लेषण लागू कर सकते हैं। और उन्नत कुछ कार्यों के लिए अतिरिक्त विकल्पों के साथ एल्गोरिदम का एक अच्छा-ट्यूनिंग है।

एकल मीट्रिक

एक एकल मीट्रिक में परिवर्तन का विश्लेषण सबसे सरल बात है जो आप यहां कर सकते हैं। Create Job पर क्लिक करने के बाद, एल्गोरिथ्म विसंगतियों की तलाश करेगा।



एकत्रीकरण क्षेत्र में, आप विसंगतियों की खोज के लिए एक दृष्टिकोण चुन सकते हैं। उदाहरण के लिए, मिन असामान्य मूल्यों के साथ ठेठ से कम माना जाएगा। मैक्स, हाइन मीन, लो, मीन, डिस्टिंक्ट और अन्य हैं। सभी कार्यों का विवरण यहां पाया जा सकता है ।

फ़ील्ड फ़ील्ड उस दस्तावेज़ में संख्यात्मक फ़ील्ड को इंगित करता है जिसके द्वारा हम विश्लेषण करेंगे।

बकेट स्पैन फील्ड में, समयरेखा पर अंतराल की बारीकियों जिस पर विश्लेषण किया जाएगा। आप स्वचालन पर भरोसा कर सकते हैं या मैन्युअल रूप से चुन सकते हैं। नीचे दी गई छवि दानेदारता का एक उदाहरण दिखाती है - आप विसंगति को छोड़ सकते हैं। इस सेटिंग का उपयोग करके, आप एल्गोरिथ्म की संवेदनशीलता को विसंगतियों में बदल सकते हैं।



एकत्र किए गए डेटा की अवधि एक महत्वपूर्ण चीज है जो विश्लेषण की प्रभावशीलता को प्रभावित करती है। विश्लेषण में, एल्गोरिथ्म दोहराव अंतराल को निर्धारित करता है, आत्मविश्वास अंतराल (आधारभूत) की गणना करता है और मेट्रिक के सामान्य व्यवहार से विसंगतियों - असामान्य विचलन की पहचान करता है। सिर्फ उदाहरण के लिए:

एक छोटे डेटा अवधि के साथ आधारभूत:



जब एल्गोरिथ्म में कुछ सीखना होता है, तो आधार रेखा इस तरह दिखती है:



कार्य शुरू करने के बाद, एल्गोरिथ्म आदर्श से विषम विचलन निर्धारित करता है और उन्हें विसंगति की संभावना द्वारा रैंक करता है (संबंधित लेबल का रंग कोष्ठक में इंगित किया गया है):

चेतावनी (सियान): 25 से कम
माइनर (पीला): 25-50
मेजर (नारंगी): 50-75
क्रिटिकल (लाल): 75-100

नीचे दिए गए चार्ट में मिली विसंगतियों का उदाहरण दिखाया गया है।



यहां आप 94 नंबर देख सकते हैं, जो एक विसंगति की संभावना को इंगित करता है। यह स्पष्ट है कि चूंकि मान 100 के करीब है, इसका मतलब एक विसंगति है। ग्राफ के नीचे का स्तंभ वहां मीट्रिक मूल्य के प्रकट होने की 0.000063634% की अपमानजनक संभावना दर्शाता है।

किबाना में विसंगतियों की खोज के अलावा, आप पूर्वानुमान चला सकते हैं। यह प्राथमिक तरीके से और विसंगतियों के साथ एक ही दृश्य से किया जाता है - ऊपरी दाएं कोने में पूर्वानुमान बटन।



पूर्वानुमान पहले से अधिकतम 8 सप्ताह पर आधारित है। यहां तक ​​कि अगर आप वास्तव में चाहते हैं, तो आप अब डिजाइन द्वारा नहीं कर सकते।



कुछ स्थितियों में, पूर्वानुमान बहुत उपयोगी होगा, उदाहरण के लिए, जब बुनियादी ढांचे पर उपयोगकर्ता लोड की निगरानी की जाती है।

मल्टी मेट्रिक

हम लोचदार स्टैक में अगली एमएल विशेषता पर चलते हैं - एक बंडल में कई मैट्रिक्स का विश्लेषण। लेकिन इसका मतलब यह नहीं है कि एक मीट्रिक की दूसरे पर निर्भरता का विश्लेषण किया जाएगा। यह सिंगल मेट्रिक के समान है, जिसमें एक स्क्रीन पर केवल बहुत सारे मेट्रिक्स हैं, दूसरे पर एक के प्रभाव की आसान तुलना के लिए। हम जनसंख्या के हिस्से में एक मीट्रिक की दूसरे पर निर्भरता के विश्लेषण के बारे में बात करेंगे।

मल्टी मीट्रिक वाले स्क्वायर पर क्लिक करने के बाद, एक सेटिंग विंडो दिखाई देगी। हम और अधिक विस्तार से उन पर ध्यान केन्द्रित करेंगे।



पहले आपको विश्लेषण और उन पर डेटा के एकत्रीकरण के लिए क्षेत्रों का चयन करने की आवश्यकता है। यहाँ एकत्रीकरण विकल्प सिंगल मैट्रिक ( मैक्स, हाइन मीन, लो, मीन, डिस्टिंक्ट और अन्य) के समान हैं। इसके अलावा, डेटा को वैकल्पिक रूप से फ़ील्ड्स (फ़ील्ड स्प्लिट डेटा ) में से एक में विभाजित किया गया है। उदाहरण में, हमने ओरिजिनएपोर्टपोर्ट क्षेत्र का उपयोग करके ऐसा किया। ध्यान दें कि दाईं ओर स्थित मेट्रिक्स ग्राफ़ अब कई ग्राफ़ के रूप में प्रस्तुत किया गया है।



मुख्य फ़ील्ड्स (Influencers) फ़ील्ड सीधे तौर पर मिली विसंगतियों को प्रभावित करती है। डिफ़ॉल्ट रूप से, हमेशा कम से कम एक मान होगा, और आप अतिरिक्त जोड़ सकते हैं। एल्गोरिदम विश्लेषण में इन क्षेत्रों के प्रभाव को ध्यान में रखेगा और सबसे "प्रभावशाली" मूल्यों को दिखाएगा।

लॉन्च करने के बाद, निम्न चित्र Kibana इंटरफ़ेस में दिखाई देगा।



यह तथाकथित है मूल डेटा के प्रत्येक मूल्य के लिए विसंगतियों का ऊष्मा मानचित्र, जिसे हमने स्प्लिट डेटा में निर्दिष्ट किया है। सिंगल मैट्रिक के साथ, रंग असामान्य विचलन के स्तर को इंगित करता है। एक समान विश्लेषण करना सुविधाजनक है, उदाहरण के लिए, वर्कस्टेशन पर उन लोगों को ट्रैक करने के लिए जहां संदिग्ध रूप से बहुत सारे प्राधिकरण हैं, आदि। हमने पहले ही EventLog विंडोज में संदिग्ध घटनाओं के बारे में लिखा, जिसे यहां एकत्र और विश्लेषण भी किया जा सकता है।

हीटमैप के नीचे विसंगतियों की एक सूची है, प्रत्येक से आप विस्तृत विश्लेषण के लिए एकल मीट्रिक दृश्य पर जा सकते हैं।

आबादी

विभिन्न मैट्रिक्स के बीच सहसंबंधों के बीच विसंगतियों की खोज करने के लिए, इलास्टिक स्टैक में एक विशेष जनसंख्या विश्लेषण है। यह इसकी मदद से है कि आप सर्वर के प्रदर्शन में अन्य लोगों की तुलना में विषम मूल्यों की खोज कर सकते हैं, उदाहरण के लिए, लक्ष्य प्रणाली के अनुरोधों की संख्या में वृद्धि।



इस चित्रण में, जनसंख्या क्षेत्र उस मूल्य को इंगित करता है जिससे विश्लेषण किए गए मीट्रिक संबंधित होंगे। यह प्रक्रिया का नाम है। नतीजतन, हम देखेंगे कि प्रत्येक प्रक्रिया द्वारा प्रोसेसर लोडिंग एक दूसरे को कैसे प्रभावित करती है।

कृपया ध्यान दें कि विश्लेषण किए गए डेटा का ग्राफ एकल मीट्रिक और मल्टी मीट्रिक के मामलों से अलग है। यह विश्लेषण डेटा के मूल्यों के वितरण की एक बेहतर धारणा के लिए डिजाइन द्वारा किबाना में किया जाता है।



ग्राफ से पता चलता है कि पॉइपु सर्वर पर तनाव प्रक्रिया (एक विशेष उपयोगिता द्वारा उत्पन्न) असामान्य रूप से व्यवहार करती है , जो इस विसंगति की घटना को प्रभावित करती है (या एक प्रभावक के रूप में निकला)।

उन्नत

फाइन-ट्यून एनालिटिक्स। उन्नत विश्लेषण के साथ, अतिरिक्त सेटिंग्स किबाना में दिखाई देती हैं। उन्नत टाइल पर बनाएं मेनू पर क्लिक करने के बाद, ऐसी टैब विंडो दिखाई देती है। नौकरी विवरण टैब को जानबूझकर छोड़ दिया गया था, वहां बुनियादी सेटिंग्स सीधे विश्लेषण सेटिंग्स से संबंधित नहीं हैं।



सारांश_count_field_name में, आप वैकल्पिक रूप से एकत्रित मूल्यों वाले दस्तावेज़ों से फ़ील्ड का नाम निर्दिष्ट कर सकते हैं। इस उदाहरण में, प्रति मिनट घटनाओं की संख्या। Gradorization_field_name दस्तावेज़ से फ़ील्ड मान का नाम इंगित करता है, जिसमें किसी प्रकार का चर मान होता है। इस फ़ील्ड पर मास्क करके, आप विश्लेषण किए गए डेटा को सबसेट में तोड़ सकते हैं। पिछले चित्रण में एड डिटेक्टर बटन पर ध्यान दें। नीचे इस बटन पर क्लिक करने का परिणाम है।



यहां एक विशिष्ट कार्य के लिए विसंगति डिटेक्टर स्थापित करने के लिए एक अतिरिक्त सेटिंग्स ब्लॉक है। हम निम्नलिखित लेखों में विशिष्ट उपयोग के मामलों (विशेषकर सुरक्षा के लिए) का विश्लेषण करने की योजना बनाते हैं। एक उदाहरण के लिए, डिसेबल्ड मामलों में से एक को देखें। यह शायद ही कभी दिखने वाले मूल्यों की खोज से जुड़ा हुआ है और दुर्लभ कार्य द्वारा कार्यान्वित किया जाता है ।

फ़ंक्शन फ़ील्ड में, आप विसंगतियों की खोज करने के लिए एक विशिष्ट फ़ंक्शन का चयन कर सकते हैं। दुर्लभ के अलावा, कुछ दिलचस्प कार्य हैं - time_of_day और time_of_week । वे क्रमशः दिन या सप्ताह भर में मेट्रिक्स के व्यवहार में विसंगतियों की पहचान करते हैं। शेष विश्लेषण कार्य प्रलेखन में हैं ।

फ़ील्ड_नाम उस दस्तावेज़ के क्षेत्र को इंगित करता है जिसका विश्लेषण किया जाएगा। By_field_name का उपयोग यहां निर्दिष्ट दस्तावेज़ क्षेत्र के प्रत्येक व्यक्तिगत मूल्य के लिए विश्लेषण परिणामों को अलग करने के लिए किया जा सकता है। यदि आप over_field_name भरते हैं, तो आपको जनसंख्या विश्लेषण मिलता है, जिसकी हमने ऊपर जांच की थी। यदि आप partition_field_name में एक मान निर्दिष्ट करते हैं, तो इस दस्तावेज़ फ़ील्ड पर प्रत्येक मान के लिए व्यक्तिगत आधारभूत गणना की जाएगी (उदाहरण के लिए, सर्वर का नाम या सर्वर पर प्रक्रिया मान के रूप में कार्य कर सकती है)। बहिष्कृत_फ़्रीक्वेंट में, आप सभी या किसी का भी चयन कर सकते हैं, जिसका अर्थ है अक्सर सामना किए गए फ़ील्ड मानों का बहिष्करण (या समावेश)।

लेख में हमने इलास्टिक स्टैक में मशीन सीखने की संभावनाओं के बारे में सबसे संक्षिप्त विचार देने की कोशिश की, पर्दे के पीछे अभी भी बहुत सारे विवरण हैं। हमें उन टिप्पणियों में बताएं जो आप लोचदार स्टैक की मदद से हल करने में सफल रहे और आप किन कार्यों में इसका उपयोग करते हैं। हमसे संपर्क करने के लिए, आप Habré या साइट पर प्रतिक्रिया फ़ॉर्म पर व्यक्तिगत संदेशों का उपयोग कर सकते हैं।