सर्वर एनालिटिक्स सिस्टम

यह विश्लेषणात्मक प्रणालियों पर लेख की एक श्रृंखला का दूसरा भाग है ( भाग 1 से लिंक )।



आज इसमें कोई संदेह नहीं है कि सटीक डेटा प्रोसेसिंग और परिणामों की व्याख्या लगभग किसी भी प्रकार के व्यवसाय में मदद कर सकती है। इस संबंध में, विश्लेषणात्मक प्रणालियां मापदंडों के साथ तेजी से भरी हुई हैं, अनुप्रयोगों में ट्रिगर्स और उपयोगकर्ता घटनाओं की संख्या बढ़ रही है।

इस वजह से, कंपनियां अपने विश्लेषकों को विश्लेषण के लिए अधिक से अधिक "कच्ची" जानकारी देती हैं और इसे सही निर्णयों में बदल देती हैं। एक कंपनी के लिए एक विश्लेषिकी प्रणाली के महत्व को कम करके आंका नहीं जाना चाहिए, और सिस्टम को स्वयं विश्वसनीय और टिकाऊ होना चाहिए।

ग्राहक विश्लेषण

क्लाइंट एनालिटिक्स एक ऐसी सेवा है जो एक कंपनी अपनी वेबसाइट या एप्लिकेशन को आधिकारिक एसडीके के माध्यम से जोड़ती है, अपने स्वयं के कोड आधार में एकीकृत करती है और ईवेंट ट्रिगर का चयन करती है। इस दृष्टिकोण में एक स्पष्ट खामी है: सभी एकत्र किए गए डेटा को पूरी तरह से संसाधित नहीं किया जा सकता है जैसा आप किसी भी चयनित सेवा की सीमाओं के कारण चाहते हैं। उदाहरण के लिए, एक प्रणाली में MapReduce कार्यों को चलाना आसान नहीं होगा, दूसरे में आप अपना मॉडल नहीं चला पाएंगे। सेवाओं के लिए एक और खामी एक नियमित (प्रभावशाली) बिल होगी।
बाजार पर कई क्लाइंट एनालिटिक्स समाधान हैं, लेकिन जल्द या बाद में, विश्लेषकों को इस तथ्य का सामना करना पड़ता है कि कोई भी कार्य के लिए उपयुक्त कोई सार्वभौमिक सेवा नहीं है (जबकि इन सभी सेवाओं के लिए कीमतें लगातार बढ़ रही हैं)। इस स्थिति में, कंपनियां अक्सर सभी आवश्यक कस्टम सेटिंग्स और क्षमताओं के साथ अपनी खुद की एनालिटिक्स प्रणाली बनाने का निर्णय लेती हैं।

सर्वर विश्लेषण

सर्वर एनालिटिक्स एक ऐसी सेवा है जिसे किसी कंपनी में अपने स्वयं के सर्वर पर और आमतौर पर अपने प्रयासों से तैनात किया जा सकता है। इस मॉडल में, सभी उपयोगकर्ता घटनाओं को आंतरिक सर्वर पर संग्रहीत किया जाता है, जिससे डेवलपर्स को भंडारण के लिए विभिन्न डेटाबेसों की कोशिश करने और सबसे सुविधाजनक वास्तुकला चुनने की अनुमति मिलती है। और यहां तक ​​कि अगर आप अभी भी कुछ कार्यों के लिए तृतीय-पक्ष क्लाइंट एनालिटिक्स का उपयोग करना चाहते हैं, तो भी यह संभव होगा।
सर्वर एनालिटिक्स को दो तरीकों से तैनात किया जा सकता है। पहला: कुछ खुले स्रोत उपयोगिताओं का चयन करें, अपनी मशीनों पर तैनात करें और व्यावसायिक तर्क विकसित करें।

आकर्षण आते हैं	विपक्ष
आप कुछ भी अनुकूलित कर सकते हैं	अक्सर यह बहुत मुश्किल होता है और व्यक्तिगत डेवलपर्स की आवश्यकता होती है।

दूसरा: खुद को तैनात करने के बजाय सास सेवाएं (अमेज़ॅन, Google, एज़्योर) लें। सास के बारे में अधिक विस्तार से हम तीसरे भाग में बताएंगे।

आकर्षण आते हैं	विपक्ष
यह मध्यम मात्रा में सस्ता हो सकता है, लेकिन बड़ी वृद्धि के साथ यह अभी भी बहुत महंगा हो जाएगा	सभी मापदंडों को नियंत्रित नहीं कर सकते
प्रशासन पूरी तरह से सेवा प्रदाता के कंधों पर स्थानांतरित हो जाता है	यह हमेशा ज्ञात नहीं होता है कि सेवा के अंदर क्या है (इसकी आवश्यकता नहीं हो सकती है)

सर्वर एनालिटिक्स कैसे इकट्ठा करें

यदि हम क्लाइंट एनालिटिक्स का उपयोग करने से दूर होना चाहते हैं और अपने स्वयं को इकट्ठा करना चाहते हैं, तो सबसे पहले हमें नई प्रणाली की वास्तुकला पर विचार करना होगा। नीचे मैं चरण दर चरण आपको बताऊंगा कि क्या विचार करना है, प्रत्येक चरण की आवश्यकता क्यों है और आप किन साधनों का उपयोग कर सकते हैं।

1. डाटा अधिग्रहण

जैसे क्लाइंट एनालिटिक्स के मामले में, सबसे पहले, कंपनी के विश्लेषक उन घटनाओं के प्रकार चुनते हैं, जिन्हें वे भविष्य में अध्ययन करना चाहते हैं और उन्हें एक सूची में इकट्ठा करते हैं। आमतौर पर, ये कार्यक्रम एक निश्चित क्रम में होते हैं, जिसे "इवेंट पैटर्न" कहा जाता है।

इसके बाद, कल्पना करें कि एक मोबाइल एप्लिकेशन (वेबसाइट) में नियमित उपयोगकर्ता (डिवाइस) और कई सर्वर हैं। उपकरणों से सर्वर तक घटनाओं को सुरक्षित रूप से स्थानांतरित करने के लिए, एक मध्यवर्ती परत की आवश्यकता होती है। वास्तुकला के आधार पर, कई अलग-अलग घटना कतारें हो सकती हैं।

अपाचे काफ्का एक पब / उप कतार है जिसका उपयोग घटनाओं को इकट्ठा करने के लिए कतार के रूप में किया जाता है।

2014 में Kvor की एक पोस्ट के अनुसार, Apache Kafka के निर्माता ने फ्रांज काफ्का के बाद सॉफ्टवेयर का नाम रखने का फैसला किया क्योंकि "यह रिकॉर्डिंग के लिए अनुकूलित प्रणाली है" और क्योंकि वह काफ्का के कार्यों से प्यार करती थी। - विकिपीडिया

हमारे उदाहरण में, कई डेटा निर्माता और उनके उपभोक्ता (डिवाइस और सर्वर) हैं, और काफ्का उन्हें एक दूसरे से जोड़ने में मदद करता है। उपभोक्ताओं को अगले चरणों में अधिक विस्तार से वर्णित किया जाएगा, जहां वे मुख्य अभिनेता होंगे। अब हम केवल डेटा उत्पादकों (घटनाओं) पर विचार करेंगे।

काफ्का कतार और विभाजन की अवधारणाओं को कूटबद्ध करता है; विशेष रूप से, इसके बारे में कहीं और पढ़ना बेहतर है (उदाहरण के लिए, प्रलेखन में )। विवरण में जाने के बिना, कल्पना करें कि दो अलग-अलग ओएस के लिए एक मोबाइल एप्लिकेशन लॉन्च किया गया है। फिर प्रत्येक संस्करण घटनाओं की अपनी अलग धारा बनाता है। निर्माता काफ्का को घटनाओं को भेजते हैं, उन्हें एक उपयुक्त कतार में दर्ज किया जाता है।

( यहां से तस्वीर)

इसी समय, काफ्का आपको टुकड़ों में पढ़ने और मिनी-चमगादड़ के साथ घटनाओं के प्रवाह को संसाधित करने की अनुमति देता है। काफ्का एक बहुत ही सुविधाजनक उपकरण है जो बढ़ती जरूरतों (उदाहरण के लिए, घटनाओं के जियोलोकेशन द्वारा) के साथ अच्छी तरह से तराजू है।

आमतौर पर एक शार्क पर्याप्त है, लेकिन स्केलिंग (हमेशा की तरह) के कारण चीजें अधिक कठिन हो जाती हैं। संभवत: कोई भी उत्पादन में केवल एक भौतिक शार्द का उपयोग नहीं करना चाहेगा, क्योंकि वास्तुकला में दोष सहिष्णु होना चाहिए। काफ्का के अलावा, एक और प्रसिद्ध समाधान है - RabbitMQ। हमने इवेंट एनालिटिक्स के लिए एक कतार के रूप में उत्पादन में इसका उपयोग नहीं किया (यदि आपके पास ऐसा अनुभव है, तो टिप्पणियों में इसके बारे में बताएं!)। हालाँकि, उन्होंने AWS Kinesis का उपयोग किया।

अगले चरण पर जाने से पहले, हमें सिस्टम की एक और अतिरिक्त परत का उल्लेख करने की आवश्यकता है - कच्चे लॉग का भंडारण। यह एक आवश्यक परत नहीं है, लेकिन यह उपयोगी होगा यदि कुछ गलत हो जाता है और काफ्का में घटनाओं की कतारें रीसेट हो जाती हैं। कच्चे लॉग के भंडारण के लिए एक जटिल और महंगे समाधान की आवश्यकता नहीं होती है, आप बस उन्हें सही क्रम में (यहां तक ​​कि एक हार्ड ड्राइव पर) कहीं रिकॉर्ड कर सकते हैं।

2. घटना प्रसंस्करण प्रसंस्करण

हम सभी घटनाओं को तैयार करने और उन्हें उपयुक्त कतारों में रखने के बाद, हम प्रसंस्करण कदम पर आगे बढ़ते हैं। यहां मैं दो सबसे सामान्य प्रसंस्करण विकल्पों के बारे में बात करूंगा।

पहला विकल्प अपाचे सिस्टम पर स्पार्क स्ट्रीमिंग को सक्षम करना है। सभी अपाचे उत्पाद HDFS में रहते हैं, एक सुरक्षित फ़ाइल प्रतिकृति फ़ाइल सिस्टम। स्पार्क स्ट्रीमिंग एक आसान-उपयोग उपकरण है जो डेटा और स्केल को अच्छी तरह से स्ट्रीमिंग करने की प्रक्रिया करता है। हालांकि, इसे बनाए रखना थोड़ा मुश्किल हो सकता है।

एक अन्य विकल्प अपने स्वयं के ईवेंट हैंडलर का निर्माण करना है। ऐसा करने के लिए, उदाहरण के लिए, आपको पायथन एप्लिकेशन लिखना होगा, इसे डॉकटर में बनाना होगा और काफ्का कतार की सदस्यता लेनी होगी। जब ट्रिगर कर्ता में हैंडलर पर आते हैं, तो प्रसंस्करण शुरू हो जाएगा। इस पद्धति के साथ, आपको लगातार चलने वाले एप्लिकेशन रखने होंगे।

मान लीजिए कि हमने ऊपर वर्णित विकल्पों में से एक को चुना है और स्वयं प्रसंस्करण के लिए आगे बढ़ें। प्रोसेसर को डेटा की वैधता की जांच करके, कचरा और "टूटी" घटनाओं को छानना शुरू करना चाहिए। सत्यापन के लिए हम आमतौर पर सेर्बस का उपयोग करते हैं। उसके बाद, आप डेटा मैपिंग कर सकते हैं: विभिन्न स्रोतों से डेटा को सामान्य किया जाता है और सामान्य लेबल में जोड़ा जाता है।

3. डेटाबेस

तीसरा चरण सामान्यीकृत घटनाओं को बनाए रखना है। तैयार-किए गए विश्लेषणात्मक प्रणाली के साथ काम करते समय, हमें अक्सर उनसे संपर्क करना होगा, इसलिए एक सुविधाजनक डेटाबेस चुनना महत्वपूर्ण है।

यदि डेटा एक निश्चित स्कीमा पर अच्छी तरह से फिट बैठता है, तो आप क्लिकहाउस या कुछ अन्य कॉलम डेटाबेस चुन सकते हैं। इसलिए एकत्रीकरण बहुत जल्दी काम करेगा। नकारात्मक पक्ष यह है कि योजना सख्ती से तय की गई है और इसलिए शोधन के बिना मनमानी वस्तुओं को तह करना विफल होगा (उदाहरण के लिए, जब एक गैर-मानक घटना होती है)। लेकिन आप वास्तव में तेजी से गिन सकते हैं।

असंरचित डेटा के लिए, आप NoSQL ले सकते हैं, उदाहरण के लिए, Apache Cassandra । यह एचडीएफएस पर काम करता है, अच्छी तरह से दोहराया जाता है, आप कई उदाहरण उठा सकते हैं, गलती सहनशील।

आप कुछ आसान ले सकते हैं, उदाहरण के लिए, MongoDB । यह काफी धीमा है और छोटे संस्करणों के लिए है। लेकिन प्लस यह है कि यह बहुत सरल है और इसलिए शुरू करने के लिए उपयुक्त है।

4. एकत्रीकरण

सभी घटनाओं को ध्यान से सहेजने के बाद, हम उस बैच से सभी महत्वपूर्ण जानकारी एकत्र करना चाहते हैं जो आए और डेटाबेस को अपडेट करें। विश्व स्तर पर, हम प्रासंगिक डैशबोर्ड और मैट्रिक्स प्राप्त करना चाहते हैं। उदाहरण के लिए, घटनाओं से उपयोगकर्ता प्रोफ़ाइल इकट्ठा करने और किसी तरह व्यवहार को मापने के लिए। ईवेंट्स को एकत्र किया जाता है, एकत्र किया जाता है और फिर से बचाया जाता है (पहले से ही उपयोगकर्ता तालिकाओं में)। उसी समय, आप सिस्टम का निर्माण कर सकते हैं ताकि आप एक फ़िल्टर को एग्रीगेटर-समन्वयक से भी जोड़ सकें: उपयोगकर्ताओं को केवल एक निश्चित प्रकार के ईवेंट से एकत्रित करें।

उसके बाद, यदि टीम में किसी को केवल उच्च-स्तरीय विश्लेषण की आवश्यकता है, तो आप बाहरी विश्लेषिकी प्रणालियों को जोड़ सकते हैं। आप फिर से मिक्सपेन ले सकते हैं। लेकिन चूंकि यह काफी महंगा है, इसलिए सभी उपयोगकर्ता घटनाओं को वहां नहीं भेजते हैं, लेकिन केवल उसी की जरूरत होती है। ऐसा करने के लिए, आपको एक समन्वयक बनाने की आवश्यकता है जो कुछ कच्ची घटनाओं या कुछ ऐसी चीज़ों को प्रसारित करेगा जो हम खुद बाहरी प्रणालियों, एपीआई या विज्ञापन प्लेटफार्मों के लिए पहले से एकत्र करते हैं।

5. सामने

आपको फ्रंटएंड को बनाए गए सिस्टम से कनेक्ट करना होगा। एक अच्छा उदाहरण redash सेवा है, डेटाबेस के लिए एक GUI जो पैनल बनाने में मदद करता है। बातचीत कैसे काम करती है:

1. उपयोगकर्ता SQL क्वेरी बनाता है।
2. जवाब में, एक टैबलेट प्राप्त करता है।
3. उसके लिए, वह एक 'नया दृश्य' बनाती है और उसे एक सुंदर शेड्यूल मिलता है जिसे पहले से ही अपने लिए बचाया जा सकता है।

सेवा में विज़ुअलाइज़ेशन ऑटो-अपडेट हैं, आप अपनी निगरानी को कॉन्फ़िगर और ट्रैक कर सकते हैं। सेल्फ होस्ट के मामले में, और सैस $ 50 प्रति माह का खर्च कैसे किया जाएगा, यह रैडश निशुल्क है।

निष्कर्ष

उपरोक्त सभी चरणों को पूरा करने के बाद, आप अपना सर्वर एनालिटिक्स बनाएंगे। कृपया ध्यान दें कि यह केवल क्लाइंट एनालिटिक्स को जोड़ने का इतना आसान तरीका नहीं है, क्योंकि सब कुछ स्वतंत्र रूप से कॉन्फ़िगर करने की आवश्यकता है। इसलिए, अपनी खुद की प्रणाली बनाने से पहले, यह उन संसाधनों के साथ एक गंभीर विश्लेषण प्रणाली की आवश्यकता की तुलना करने के लायक है, जिन्हें आप इसे समर्पित करने के लिए तैयार हैं।
यदि आपने सब कुछ गणना की और पाया कि लागत बहुत अधिक है, तो अगले भाग में मैं बात करूंगा कि सर्वर एनालिटिक्स का एक सस्ता संस्करण कैसे बनाया जाए।

पढ़ने के लिए धन्यवाद! मुझे टिप्पणियों में सवाल करने में खुशी होगी।