👨‍👩‍👧 ✔️ ⏮️ पुस्तक "एलेस्टिक्स खोज, किबना, लॉगस्टैश और अगली पीढ़ी की खोज इंजन" 👩‍👩‍👧‍👧 🤲🏾 🐲

हाय, हब्रोज़ितेली! हमने इलास्टिक स्टैक पर एक पुस्तक प्रकाशित की है, जिसका उद्देश्य बड़ी मात्रा में डेटा के साथ काम करने वाले विशेषज्ञों और किसी भी प्रारूप में किसी भी स्रोत से उन्हें मज़बूती से निकालना है, साथ ही वास्तविक समय में डेटा की खोज, विश्लेषण और कल्पना करना है। यह पुस्तक आपके लिए है यदि आपको वितरित कंप्यूटिंग और वास्तविक समय डेटा प्रसंस्करण के क्षेत्रों में इलास्टिक स्टैक के काम की एक बुनियादी समझ की आवश्यकता है।

नीचे एकत्रीकरण के बारे में एक मार्ग के बारे में पुस्तक की संरचना प्रदान की जाएगी।

पुस्तक की संरचना

अध्याय 1 "इलास्टिक स्टैक का परिचय" इलास्टिक स्टैक के मुख्य घटकों का परिचय देता है, समग्र संरचना में उनकी भूमिका के बारे में बताता है, प्रत्येक घटक के उद्देश्य का वर्णन करता है। यह अध्याय वितरित, परिमाप्य खोज और विश्लेषण की आवश्यकता पर भी चर्चा करता है, जो कि एलीटेसर्च के साथ हासिल किया गया है। अंत में, एलिस्टिक्स खोज और किबाना को डाउनलोड करने और स्थापित करने के लिए एक गाइड है ताकि आप इन उपकरणों के साथ आरंभ कर सकें।

अध्याय 2, "एलिस्टिक्स खोज के साथ शुरुआत करना", आपको एलिस्टिक्स खोज इंजन के प्रमुख सिद्धांतों से परिचित कराता है, जो इलास्टिक स्टैक की नींव है। आप अनुक्रमणिका, प्रकार, नोड और क्लस्टर जैसी अवधारणाओं से परिचित हो जाएंगे। आप बुनियादी कार्यों को करने के लिए REST API का उपयोग करना भी सीखेंगे।

अध्याय 3, "खोज महत्वपूर्ण है," एलिटिक्स खोज द्वारा प्रदान की गई खोज विधियों पर केंद्रित है। आप पाठ विश्लेषण की मूल बातें, tokenizers, analyzers, और प्रासंगिक खोज की सुविधाओं के बारे में जानेंगे। यह अध्याय प्रासंगिक खोजों के व्यावहारिक उदाहरण भी प्रदान करता है।

अध्याय 4, "एलास्टिसर्च के साथ डेटा का विश्लेषण," विभिन्न प्रकार के एकत्रीकरण के बारे में बात करता है। इसमें ऐसे उदाहरण शामिल हैं जो आपको डेटा विश्लेषण के सिद्धांतों को बेहतर ढंग से समझने में मदद करेंगे। आप सीखेंगे कि विभिन्न प्रकार के एकत्रीकरण का उपयोग कैसे करें - सरल से जटिल तक, विशाल डेटासेट नेविगेट करने के लिए। इस अध्याय को पढ़ने के बाद, आपको पता चल जाएगा कि एकत्रीकरण का कब और किस विकल्प का उपयोग करना बेहतर है।

अध्याय 5, लॉग विश्लेषण, लॉगस्टैश, इसकी वास्तुकला, स्थापना और कॉन्फ़िगरेशन का उपयोग करने की आवश्यकता के बारे में जानकारी प्रदान करता है। इलास्टिक 5 एक Ingest Node टूल प्रदान करता है जो लॉगस्टैश कॉन्फ़िगरेशन को बदल सकता है। इस अध्याय को पढ़ने से, आप सीखेंगे कि इलास्टिक इनस्टोड नोड का उपयोग करके कंटेनर कैसे बनाएं।

अध्याय 6, "लॉगस्टैश के साथ कंटेनर डिजाइनिंग", आपको लॉगस्टैश की एक बुनियादी समझ देता है, जो आपको विभिन्न स्रोतों से डेटा को गतिशील रूप से पहचानने और चयनित फिल्टर के साथ सामान्य करने की अनुमति देता है। आप सीखेंगे कि किस प्रकार फ़िल्टर की एक विस्तृत श्रृंखला लॉगस्टैश को बिना कोड लिखे अन्य वास्तविक समय और निकट-वास्तविक समय स्ट्रीमिंग प्रोसेसिंग फ्रेमवर्क के साथ समेट देती है। आपको बीट्स प्लेटफॉर्म और फाइलबीट घटक से भी परिचित कराया जाएगा जिसका उपयोग दूरस्थ मशीनों से लॉग फाइल (लॉग फाइल) को लाने के लिए किया जाता है।

अध्याय 7, "किबना में डेटा विज़ुअलाइज़िंग," दिखाता है कि आप किबाना का उपयोग कैसे कर सकते हैं और अपने डेटा को प्रभावशाली ढंग से प्रस्तुत कर सकते हैं। एक साधारण डेटा सेट का एक उदाहरण कुछ ही क्लिक में विज़ुअलाइज़ेशन के निर्माण का वर्णन करता है।

अध्याय 8, इलास्टिक एक्स-पैक, इलास्टिक्स खोज विस्तार के बारे में बात करता है। इस समय तक, आप डेटा कंटेनर बनाने के लिए पहले से ही एलिटिक्स खोज और इसके प्रमुख घटक सीखेंगे और विशिष्ट समस्याओं को हल करने के लिए एक्सटेंशन कनेक्ट करने में सक्षम हो सकते हैं। इस अध्याय में आप पढ़ेंगे कि इलास्टिक स्टैक में एक्स-पैक घटकों को कैसे स्थापित करें और कॉन्फ़िगर करें, सुरक्षा और निगरानी की मूल बातें जानें और विभिन्न सूचनाएं कैसे जोड़ें, यह सीखें।

अध्याय 9, "एलिटिक स्टैक इनटू वर्क", इलास्टिक स्टैक कॉम्प्लेक्स को वाणिज्यिक संचालन में डालने के लिए सिफारिशें देता है। आपको अपने आवेदन को लागू करने और संचालन की आवश्यकताओं के अनुसार मानक सेटिंग्स को बदलने के बारे में सिफारिशें प्राप्त होंगी। आप यह भी सीखेंगे कि इलास्टिक क्लाउड क्लाउड सेवाओं का उपयोग कैसे करें।

अध्याय 10 "सेंसर से डेटा के विश्लेषण के लिए एक एप्लिकेशन बनाना" विभिन्न स्रोतों से डेटा के विश्लेषण और प्रसंस्करण के लिए एक एप्लिकेशन के निर्माण का वर्णन करता है। आप सीखेंगे कि एलियटसर्च में डेटा कैसे मॉडल करें, डेटा कंटेनर बनाएं और किबाना में उनकी कल्पना करें। आप यह भी सीखेंगे कि अपने कंटेनरों की सुरक्षा और निगरानी सुनिश्चित करने के लिए एक्स-पैक घटकों का प्रभावी ढंग से उपयोग कैसे करें, विभिन्न घटनाओं की सूचनाएँ प्राप्त करें।

अध्याय 11, सर्वर इन्फ्रास्ट्रक्चर मॉनिटरिंग, सर्वर और अनुप्रयोगों के लिए वास्तविक समय की निगरानी को कॉन्फ़िगर करने के लिए इलास्टिक स्टैक का उपयोग करने की संभावनाओं को प्रदर्शित करता है जो पूरी तरह से इलास्टिक स्टैक पर बनाए जाते हैं। आप बीट्स प्लेटफ़ॉर्म के एक अन्य घटक - मेट्रिकबीट से परिचित होंगे, जिसका उपयोग सर्वर / अनुप्रयोगों की निगरानी के लिए किया जाता है।

योग, औसत, अधिकतम और न्यूनतम मानों का एकत्रीकरण

एक क्षेत्र का योग, एक न्यूनतम या अधिकतम मूल्य, या एक औसत ढूँढना काफी सामान्य ऑपरेशन है। SQL में, योग की गणना के लिए एक क्वेरी निम्नानुसार है:

SELECT sum(downloadTotal) FROM usageReport;

इस प्रकार, डाउनलोडटोटल फ़ील्ड का योग तालिका में सभी प्रविष्टियों के लिए गणना की जाएगी। ऐसा करने के लिए, तालिका में सभी रिकॉर्ड या चयनित संदर्भ में सभी रिकॉर्डों पर जाएं और चयनित फ़ील्ड के मान जोड़ें।

इलास्टिक्स खोज में, आप सम एकत्रीकरण का उपयोग करके एक समान क्वेरी लिख सकते हैं।

राशि एकत्रीकरण

राशि का एक साधारण एकत्रीकरण लिखने का तरीका यहां दिया गया है:

 GET bigginsight/_search { "aggregations": { 1 "download_sum": { 2 "sum": { 3 "field": "downloadTotal" 4 } } }, "size": 0 5 }

शीर्ष स्तर पर एग्स या एकत्रीकरण को एकत्रीकरण के लिए एक आवरण के रूप में काम करना चाहिए।
एकत्रीकरण को एक नाम दें। इस स्थिति में, हम डाउनलोडटोटल फ़ील्ड में राशि एकत्र करते हैं और उपयुक्त नाम download_sum का चयन करते हैं। आप उसे अपनी पसंद की चीज कह सकते हैं। यह फ़ील्ड उपयोगी है जब हमें प्रतिक्रिया परिणामों में इस विशिष्ट एकत्रीकरण को खोजने की आवश्यकता होती है।
हम योग का एकत्रीकरण करते हैं, इसलिए, योग तत्व लागू होता है।
हम डाउनलोडटोटल फ़ील्ड द्वारा शब्दों को एकत्र करना चाहते हैं।
कच्चे परिणामों को प्रतिक्रिया में जाने से रोकने के लिए आकार = 0 निर्दिष्ट करें। हमें केवल एकत्रीकरण परिणाम चाहिए, खोज परिणाम नहीं चाहिए। चूंकि हमने कोई उच्च-स्तरीय क्वेरी तत्व निर्दिष्ट नहीं किए थे, इसलिए क्वेरी सभी दस्तावेज़ों के साथ काम करेगी। हमें प्रतिक्रिया में अप्रमाणित दस्तावेजों (या खोज परिणामों) की आवश्यकता नहीं है।

जवाब इस तरह दिखना चाहिए:

 { "took": 92, ... "hits": { "total": 242836, 1 "max_score": 0, "hits": [] }, "aggregations": { 2 "download_sum": { 3 "value": 2197438700 4 } } }

हम उत्तर के मुख्य मापदंडों को समझेंगे।

हिट.टोटल तत्व अनुरोध संदर्भ से मेल खाते दस्तावेजों की संख्या दर्शाता है। यदि कोई अतिरिक्त क्वेरी या फ़िल्टर निर्दिष्ट नहीं किया गया है, तो टाइप या इंडेक्स के सभी दस्तावेज़ शामिल होंगे।
अनुरोध के साथ सादृश्य द्वारा, यह उत्तर इस रूप में प्रस्तुति के लिए एकत्रीकरण के अंदर रखा गया है।
हमारे द्वारा अनुरोध किए गए एकत्रीकरण की प्रतिक्रिया को डाउनलोड_सम कहा जाता है, इसलिए, हम उसी नाम के साथ तत्व के अंदर राशि के एकत्रीकरण से अपना उत्तर प्राप्त करते हैं।
एकत्रीकरण राशि को लागू करने के बाद वास्तविक मूल्य प्रदर्शित किया जाता है।

औसत, अधिकतम, न्यूनतम मानों का एकत्रीकरण बहुत समान है। हम संक्षेप में उन पर विचार करेंगे।

औसत एकत्रीकरण

औसत का एकत्रीकरण अनुरोध के संदर्भ में सभी दस्तावेजों का औसत पाता है:

 GET bigginsight/_search { "aggregations": { "download_average": { 1 "avg": { 2 "field": "downloadTotal" } } }, "size": 0 }

राशि के एकत्रीकरण से ध्यान देने योग्य अंतर इस प्रकार हैं।

हमने एक और नाम, डाउनलोड_आवरेज चुना, ताकि यह स्पष्ट हो कि यह एकत्रीकरण औसत मूल्य की गणना करने के लिए डिज़ाइन किया गया है।
प्रदर्शन के लिए एकत्रीकरण का प्रकार राशि के बजाय औसत है, जैसा कि पिछले उदाहरण में है।

प्रतिक्रिया की संरचना पिछली उपधारा से उत्तर के समान है, लेकिन मूल्य क्षेत्र में हम अनुरोधित फ़ील्ड का औसत मूल्य देखेंगे।

न्यूनतम और अधिकतम मूल्यों के एकत्रीकरण समान हैं।

न्यूनतम एकत्रीकरण

संपूर्ण इंडेक्स / प्रकार में डाउनलोडटोटल फ़ील्ड का न्यूनतम मान ज्ञात करें:

 GET bigginsight/_search { "aggregations": { "download_min": { "min": { "field": "downloadTotal" } } }, "size": 0 }

अधिकतम मूल्य का एकत्रीकरण

संपूर्ण इंडेक्स / प्रकार में डाउनलोडटल फ़ील्ड का अधिकतम मान ज्ञात करें:

 GET bigginsight/_search { "aggregations": { "download_max": { "max": { "field": "downloadTotal" } } }, "size": 0 }

ये बहुत सरल एकत्रीकरण हैं। अब आइए आँकड़ों और उन्नत आँकड़ों के अधिक जटिल एकत्रीकरण को देखें।

आंकड़ों और उन्नत आंकड़ों का एकत्रीकरण

ये एकत्रण एक एकल क्वेरी के भीतर और अतिरिक्त प्रश्न किए बिना कुछ सामान्य सांख्यिकीय मूल्यों की गणना करते हैं। इस तथ्य के कारण कि आंकड़ों की गणना एक बार में की जाती है, और कई बार अनुरोध नहीं किया जाता है, एलिटिक्स खोज संसाधन सहेजे जाते हैं। क्लाइंट कोड भी आसान हो जाता है अगर आप कई तरह के डेटा में रुचि रखते हैं। एकत्रीकरण आँकड़ों के उदाहरण पर एक नज़र डालें।

सांख्यिकी एकत्रीकरण

आंकड़ों का एकत्रीकरण एक रन में राशि, औसत, अधिकतम, न्यूनतम मूल्य और दस्तावेजों की कुल संख्या की गणना करता है:

 GET bigginsight/_search { "aggregations": { "download_stats": { "stats": { "field": "downloadTotal" } } }, "size": 0 }

संरचना पर आंकड़े का अनुरोध करना अन्य मीट्रिक एकत्रीकरण के समान है जिसके बारे में आप पहले से ही जानते हैं; यहां कुछ खास नहीं होता है।

जवाब इस तरह दिखना चाहिए:

 { "took": 4, ..., "hits": { "total": 242836, "max_score": 0, "hits": [] }, "aggregations": { "download_stats": { "count": 242835, "min": 0, "max": 241213, "avg": 9049.102065188297, "sum": 2197438700 } } }

जैसा कि आप देख सकते हैं, डाउनलोड_स्टेट्स तत्व के उत्तर में कुल, न्यूनतम, अधिकतम, औसत और कुल शामिल हैं। यह निष्कर्ष बहुत सुविधाजनक है, क्योंकि यह अनुरोधों की संख्या को कम करता है और क्लाइंट कोड को सरल करता है।

उन्नत आँकड़ों के एकत्रीकरण पर एक नज़र डालें।

उन्नत सांख्यिकी का एकत्रीकरण

विस्तारित आँकड़ों का एकत्रीकरण पिछले विकल्प के अलावा कुछ और आँकड़े देता है:

 GET bigginsight/_search { "aggregations": { "download_estats": { "extended_stats": { "field": "downloadTotal" } } }, "size": 0 }

जवाब इस तरह दिखेगा:

 { "took": 15, "timed_out": false, ..., "hits": { "total": 242836, "max_score": 0, "hits": [] }, "aggregations": { "download_estats": { "count": 242835, "min": 0, "max": 241213, "avg": 9049.102065188297, "sum": 2197438700, "sum_of_squares": 133545882701698, "variance": 468058704.9782911, "std_deviation": 21634.664429528162, "std_deviation_bounds": { "upper": 52318.43092424462, "lower": -34220.22679386803 } } } }

उत्तर में आपको वर्गों, विसंगति, मानक विचलन और इसकी सीमाओं का योग भी मिलता है।

बिजली एकत्रीकरण

बिजली एकत्रीकरण का उपयोग करके अद्वितीय तत्वों की गणना की जा सकती है। यह क्वेरी परिणाम की खोज के समान है, जैसा कि नीचे दिखाया गया है:

 select count(*) from (select distinct username from usageReport) u;

किसी विशेष क्षेत्र के लिए अद्वितीय मानों की शक्ति या संख्या का निर्धारण करना काफी सामान्य कार्य है। उदाहरण के लिए, यदि आपके पास आपकी साइट के विभिन्न आगंतुकों से क्लिक स्ट्रीम (क्लिक-स्ट्रीम) है, तो आप यह पता लगाना चाह सकते हैं कि किसी दिए गए दिन, सप्ताह या महीने में साइट पर कितने अद्वितीय आगंतुक हैं।

आइए जानें कि उपलब्ध नेटवर्क ट्रैफ़िक डेटा का उपयोग करके अद्वितीय आगंतुकों की संख्या कैसे प्राप्त करें:

 GET bigginsight/_search { "aggregations": { "unique_visitors": { "cardinality": { "field": "username" } } }, "size": 0 }

बिजली एकत्रीकरण की प्रतिक्रिया अन्य मीट्रिक एकत्रीकरण के समान है:

 { "took": 110, ..., "hits": { "total": 242836, "max_score": 0, "hits": [] }, "aggregations": { "unique_visitors": { "value": 79 } } }

अब जब हमने सबसे सरल प्रकार के एकत्रीकरण का पता लगाया है, तो हम कुछ खंडों के एकत्रीकरण पर विचार कर सकते हैं।

लेखकों के बारे में

प्रणव शुक्ला वैलेंस डेटालैब्स के संस्थापक और प्रमुख हैं, जो एक इंजीनियर, दो बच्चों के पति और पिता हैं। JVM- आधारित प्रोग्रामिंग भाषाओं का उपयोग करते हुए बड़े डेटा वास्तुकार और पेशेवर प्रोग्रामर। प्रणव फॉर्च्यून 500 कंपनियों और स्टार्टअप्स के लिए 14 वर्षों से उद्यम अनुप्रयोगों का विकास कर रहे हैं। उनकी मुख्य विशेषज्ञता जेवीएम, जावा / स्काला, हडोप इकोसिस्टम, अपाचे स्पार्क और नोएसक्यूएल डेटाबेस पर आधारित स्केलेबल, डेटा-संचालित अनुप्रयोगों का निर्माण है। सक्रिय रूप से बड़े डेटा संगठन, एनालिटिक्स और मशीन लर्निंग से संबंधित क्षेत्रों में विकास।

प्रणव ने अन्य कंपनियों को अपनी प्रतिस्पर्धात्मकता बढ़ाने के लिए डेटा का उपयोग करने में मदद करने के लिए वैलेंस डेटालैब्स की स्थापना की। Valens DataLabs बड़े डेटा और वेब प्रौद्योगिकियों के साथ काम करने के लिए क्लाउड एप्लिकेशन की एक नई पीढ़ी बनाने में माहिर है। कंपनी का काम लचीली प्रथाओं के उपयोग, दुबला विनिर्माण के सिद्धांतों, परीक्षणों और व्यवहार के आधार पर विकास, निरंतर एकीकरण और सतत सॉफ्टवेयर सिस्टम की निरंतर तैनाती पर आधारित है।

शरत कुमार एम। एन। ने टेक्सास विश्वविद्यालय, डलास, यूएसए से कंप्यूटर विज्ञान में स्नातकोत्तर की उपाधि प्राप्त की। वह आईटी उद्योग में दस वर्षों से अधिक समय से काम कर रहे हैं, वर्तमान में एलिस्टिक्स खोज के लिए ओरेकल समाधान डेवलपर की स्थिति रखते हैं, जो इलास्टिक स्टैक के समर्थक हैं। एक उत्साही वक्ता, उन्होंने कई विज्ञान और प्रौद्योगिकी सम्मेलनों में बात की है, जिसमें ओरेकल कोड इवेंट भी शामिल है। शरत - इलास्टिक सर्टिफाइड इंस्ट्रक्टर (इलास्टिक सर्टिफाइड इंस्ट्रक्टर) - दुनिया के उन कुछ तकनीकी विशेषज्ञों में से एक जिन्हें इलास्टिक इंक। "इलास्टिक के रचनाकारों से" प्रशिक्षण का अधिकार देने का अधिकार दिया। वह मशीन लर्निंग और डेटा साइंस में भी एक उत्साही हैं।

साइंस एडिटर के बारे में

Marcelo Ochoa अर्जेंटीना के नेशनल यूनिवर्सिटी ऑफ़ सेंट्रल ब्यूनस आयर्स (Universidad Nacional del Centro de la Provincia de Buenos Aires), अर्जेंटीना में सटीक विज्ञान संकाय की प्रयोगशाला में काम करता है। वह स्कॉट्स (www.scotas.com) का सीटीओ है, जो अपाचे सोलर और ओरेकल तकनीकों का उपयोग करके छद्म वास्तविक समय के समाधानों में माहिर है। मार्सेलो विश्वविद्यालय में काम करने और ओरेकल और बड़ी डेटा प्रौद्योगिकियों से संबंधित परियोजनाओं में संलग्न होने का प्रबंधन करता है। पहले, उन्होंने डेटाबेस, वेब और जावा प्रौद्योगिकियों के साथ काम किया। एक्सएमएल दुनिया में, मार्सेलो को अपाचे कोकून प्रोजेक्ट के लिए डीबी जनरेटर डेवलपर के रूप में जाना जाता है। उन्होंने ओपन सोर्स प्रोजेक्ट्स जैसे DBPrism, DBPrism CMS, और Restlet.org बनाने में भाग लिया, जहाँ उन्होंने Oracle XDB रेस्टलेट एडॉप्टर पर काम किया, जो JVM डेटाबेस के अंदर देशी REST वेब सेवाओं को लिखने का एक विकल्प है।

2006 से, वह ओरेकल एसीई कार्यक्रम में भाग ले रहे हैं, और हाल ही में डॉकर मेंटर परियोजना में शामिल हुए।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए कूपन पर 25% की छूट

पुस्तक के पेपर संस्करण के भुगतान पर, पुस्तक का एक इलेक्ट्रॉनिक संस्करण ई-मेल द्वारा भेजा जाता है।

पुस्तक "एलेस्टिक्स खोज, किबना, लॉगस्टैश और अगली पीढ़ी की खोज इंजन"