विश्लेषिकी के लिए डोपिंग: आपको अपाचे ज़ेपेलिन पर ध्यान क्यों देना चाहिए

जल्दी या बाद में, हर कोई डेटा के लिए एनालिटिक्स में आता है। इसके बिना बड़े मल्टीप्लेयर गेम्स (और एकल खिलाड़ी) में, यह कहीं नहीं जाना है। कितने उपयोगकर्ता नए मोड को पसंद करते हैं; विमुद्रीकरण के कमजोर बिंदु कहाँ हैं; जहां खिलाड़ियों की भागीदारी बढ़ाने के लिए गेम डिजाइनर देखना है; और एक लाख और चीजें - सब कुछ गिना जाता है। और यह सब उन निर्णयों को प्रभावित करता है जो डेवलपर्स तब करते हैं।

लेकिन वे अलग-अलग तरीकों से एनालिटिक्स को लागू करते हैं: कोई तीसरे पक्ष के समाधान (सरल, लेकिन अनम्य) खरीदता है, कोई खुद के लिए लिखता है (लंबी और महंगी), जबकि कोई सिर्फ प्रोग्रामर द्वारा कई बुनियादी मैट्रिक्स पर विचार करता है और परेशान नहीं करता है।

इसलिए, मैं एक उपकरण के बारे में बात करूंगा जो सभी के लिए उपयोगी होगा। जो लोग सिर्फ एनालिटिक्स का निर्माण शुरू कर रहे हैं, वे स्क्रैच से "घुटने से एक सिस्टम" बनाने में सक्षम होंगे, और तैयार समाधान वाली कंपनियां अपने दृष्टिकोण को "बढ़ावा" देने में सक्षम होंगी।

यह अपाचे ज़ेपेलिन के बारे में है। यह एक बहुक्रियाशील इंटरैक्टिव शेल है जो आपको विभिन्न डेटा स्रोतों को क्वेरी करने, परिणामों की प्रक्रिया करने और कल्पना करने की अनुमति देता है।

एक काफी करीब एनालॉग ज्यूपिटर नोटबुक है, लेकिन ज़ेपेलिन कुछ हद तक डेटाबेस के साथ काम करने के लिए तैयार है। यह "दुभाषियों" की अवधारणा का उपयोग करता है - प्लगइन्स जो भाषा और / या डेटाबेस के लिए बैकएंड प्रदान करते हैं।

उपयोगकर्ता के लिए ज्यूपिटर की तरह ज़ेपेलिन, नोटबुक फ़ाइलों के एक सेट की तरह दिखता है, जिसमें पैराग्राफ शामिल होते हैं जिसमें अनुरोध लिखे और निष्पादित होते हैं। अंतर्निहित विज़ुअलाइज़र का उपयोग करते हुए, प्रश्नों के एक सेट के साथ एक लैपटॉप आसानी से एक पूर्ण डेटा डैशबोर्ड में बदल सकता है।



हम स्थापना और कॉन्फ़िगरेशन के मुद्दों को जानबूझकर संबोधित नहीं करेंगे - यह साइट पर प्रलेखन में दोनों है और नेटवर्क पर आप विभिन्न डेटाबेस के लिए कई ट्यूटोरियल पा सकते हैं। लेख का उद्देश्य मुद्दे के उपयोगकर्ता पक्ष के बारे में बात करना है, उपकरण के दिलचस्प अनुप्रयोग (सबसे स्पष्ट नहीं सहित) और विश्लेषकों द्वारा इससे निकाले जाने वाले लाभ, चाहे वे पहले से ही उपयोग किए गए समाधान की परवाह किए बिना हों।

एक उदाहरण के रूप में, मैं आपको बताता हूं कि हम इसे Pixonic में क्यों उपयोग करते हैं (बस मामला जब कंपनी का अपना उत्पादक एनालिटिक्स सिस्टम पहले से ही है)।

तो, चलो क्रम में चलते हैं।

ओमनिवोर ज़ेपेलिन

विभिन्न डेटा स्रोतों का संयोजन - एक डैशबोर्ड के भीतर
- इसके प्रमुख फायदों में से एक। मानक विधानसभा के हिस्से के रूप में, दुभाषियों का एक प्रभावशाली सेट शामिल है (NoSQL और संबंधपरक डेटाबेस के लिए)।

व्यवहार में, यह निम्नलिखित देता है:

1. मौजूदा डेटाबेस और एनालिटिक्स सिस्टम वाली अधिकांश कंपनियां इसे "आउट ऑफ द बॉक्स" (जहाँ तक यह एक ओपन सोर्स प्रोडक्ट, हेयर्स पर लागू होता है) का उपयोग कर सकती हैं। अधिक विदेशी डेटाबेस वाले उत्साही स्वयं दुभाषिया लिख ​​सकते हैं, क्योंकि उत्पाद की वेबसाइट पर एक लेख है ।
2. छोटी कंपनियां, यदि वांछित हैं, तो वे अपने एनालिटिक्स सिस्टम को विशेष रूप से डेटाबेस और ज़ेपेलिन से एक इंटरफ़ेस के रूप में बना सकती हैं।
3. जैसा कि सहकर्मियों के साथ संवाद करने का अनुभव है, कई लोगों के लिए, डेटा को अलग-अलग स्रोतों से झुकाया जा सकता है, विभिन्न डेटाबेस (ले-ए-गशी!) में संग्रहीत किया जाता है, कोई व्यक्ति अतिरिक्त तृतीय-पक्ष विश्लेषिकी सेवाओं का उपयोग कर सकता है। तदनुसार, विश्लेषकों को कभी-कभी आपस में इस तरह के एक menagerie के "दोस्त बनाने" का कार्य होता है। ज़ेपेलिन आपको एक नोटबुक के अंदर प्रत्येक पैराग्राफ के लिए अपने स्वयं के दुभाषिया का उपयोग करने की अनुमति देता है, जो आपको एक ही स्थान पर विभिन्न स्रोतों से प्रश्नों के परिणाम प्रदर्शित करने की अनुमति देगा।

ज़ेपेलिन + पायथन / आर

ज़ेपेलिन न केवल विभिन्न डेटाबेस के लिए एक वेब इंटरफ़ेस है, बल्कि यह प्रोग्रामिंग भाषाओं में स्क्रिप्ट निष्पादित करने के लिए एक इंटरैक्टिव शेल के रूप में भी कार्य कर सकता है। इसमें आर और पायथन के लिए दुभाषिए शामिल हैं, इसलिए यह सामान्य RStudio और Jupyter का एक विकल्प हो सकता है। हां, यह विशिष्ट आईडीई की तुलना में कम सुविधाएं प्रदान करता है (उदाहरण के लिए, कोई ऑटो-प्रतिस्थापन नहीं है), लेकिन यह फायदे से ऑफसेट है, जिसके बारे में हम नीचे चर्चा करेंगे।

एक ही पायथन के साथ संयोजन में, ज़ेपेलिन की शक्ति कई गुना बढ़ जाती है: यहां आप थर्ड-पार्टी सेवाओं (पिछले पैराग्राफ पर हाय) से एपीआई के माध्यम से डेटा प्राप्त कर सकते हैं, और नियमित डेटाबेस प्रश्नों के अलावा डेटा प्रोसेस करने की क्षमता, साथ ही इन प्रक्रियाओं को स्वचालित कर सकते हैं। ज़ेपेलिन अनावश्यक इशारों के बिना मुकुट द्वारा डैशबोर्ड को अपडेट करने का समर्थन करता है (फिर से, सहकर्मियों के निर्णयों पर एक त्वरित नज़र दिखाता है कि यह प्रतीत होता है कि तुच्छ कार्य कभी-कभी बहुत ही चालाक तरीके से हल करना पड़ता है)। खैर, मिठाई के लिए: इसमें एक अंतर्निहित संस्करण नियंत्रण प्रणाली है - आदिम, लेकिन अधिकांश विश्लेषिकी कार्यों के लिए पर्याप्त है।

हम कंपनी में सक्रिय रूप से जटिल डेटा प्रोसेसिंग के लिए AppMetr (आंतरिक एनालिटिक्स सिस्टम) के साथ पायथन का उपयोग करते हैं। इसलिए, ज़ेपेलिन की कोशिश करने का विचार विशेष रूप से हमारी लिपियों के संबंध में दिखाई दिया - हमने इसे कई प्रकार से संबंधित दिनचर्या को सरल बनाने की क्षमता के रूप में देखा, उदाहरण के लिए, परिणामों की कल्पना करने के लिए।

दुनिया में सब कुछ कल्पना करें - एक क्लिक के साथ

ज़ेपेलिन एक चित्र को सारांश आरेखों के सिद्धांत के अनुसार काम करने वाले कई मूल विज़ुअलाइज़र के रूप में एक पैराग्राफ में प्रदर्शित कर सकता है: इंटरफ़ेस में, उन फ़ील्ड्स का चयन किया जाता है जिन पर कुल्हाड़ियों का निर्माण किया जाएगा और प्रदर्शित मूल्यों को कैसे एकत्र किया जाएगा। परिणामस्वरूप आरेख क्लिक करने योग्य होते हैं और विभिन्न वर्गों में डेटा को देखना आसान बनाते हैं।

ऐसा प्रतीत होता है कि मामूली कार्यक्षमता विश्लेषकों के परिणामों के 95% तक के परिणामों को देखने में शामिल है। आप एक्सेल में डाउनलोड करने के अंतहीन निर्यात को केवल रेखांकन के लिए रोक सकते हैं, और यहां तक ​​कि ऐसे डरावने शब्दों को भी भूल सकते हैं जैसे कि matplotlib, bokeh और ggplot2 - स्क्रिप्ट के परिणाम भी कुछ क्लिक्स के साथ ग्राफ़ में बदल जाते हैं।

हालांकि, अधिक जटिल विज़ुअलाइज़ेशन के लिए, ग्राफिक पुस्तकालयों के नामों को फिर से याद किया जा सकता है - ज़ेपेलिन ने पायथन और आर के लिए सबसे लोकप्रिय ग्राफिक पुस्तकालयों के साथ अंतर्निहित एकीकरण किया है:

सहयोग और इंटरफ़ेस कॉन्फ़िगरेशन

ज़ेपेलिन स्थानीय रूप से काम कर सकता है और बस एक एनालिटिक्स टूल के रूप में उपयोग किया जा सकता है, लेकिन यदि आप इसे सर्वर पर तैनात करते हैं, तो आप इसे एलडीएपी के माध्यम से कॉर्पोरेट एनालिटिक्स सेवा में बदल सकते हैं और यदि आप चाहें तो सेटिंग्स का उपयोग कर सकते हैं। एनालिटिक्स की जरूरतों के आधार पर, यह प्रोजेक्ट मेट्रिक्स के लिए डैशबोर्ड के एक सेट के रूप में कार्य कर सकता है, साथ ही स्क्रिप्ट और डाउनलोड की सामान्य रिपॉजिटरी, या, उदाहरण के लिए, विश्लेषकों के लिए एक साथ काम करने के लिए एक स्थान। एक अच्छा बोनस: किसी भी फाइल को एक्सचेंज करने या कॉनफ्लुएंस में एक नया डॉक शुरू करने की आवश्यकता नहीं है - आप बस डैशबोर्ड के लिंक को छोड़ सकते हैं।

इस पहलू में, इंटरफ़ेस को अनुकूलित करने में लचीलापन और मूल्यों को दर्ज करने के लिए सरल रूप उत्पन्न करने की क्षमता एक महत्वपूर्ण भूमिका निभाती है। बेशक, विश्लेषकों को एसक्यूएल प्रश्नों और आर कोड की दृष्टि से सहज महसूस होता है, लेकिन यह अप्रस्तुत उपयोगकर्ताओं को एक बेवकूफ में ड्राइव कर सकता है। इसलिए, ज़ेपेलिन डैशबोर्ड में, आप कोड छिपा सकते हैं (जो, उदाहरण के लिए, ज्यूपिटर के लिए एक समस्या है), दिनांक और अन्य बदलते मापदंडों में प्रवेश करने के लिए फ़ील्ड बनाएं और ग्राहक को एक साफ और समझदार रूप दें।

हमारी कंपनी में, कई प्रक्रियाओं को एनालिटिक्स से जोड़ा जाता है, इसलिए, विभिन्न विभागों को समय-समय पर कुछ विशिष्ट उतराई की आवश्यकता होती है, उदाहरण के लिए, नवीनतम आंकड़ों के अनुसार बैलेंस टेबल को पुनर्गणना करना। इस तरह की चीजों के लिए लंबे समय से लिखा गया है, लेकिन किसी और को उन्हें चलाना होगा। क्या आपने कभी जुपिटर का उपयोग करने के लिए 20 खेल डिजाइनरों को सिखाने की कोशिश की है? नतीजतन, हमने स्क्रिप्ट को ज़ेपेलिन में स्थानांतरित करके इस समस्या को हल किया, जहां, उदाहरण के लिए, डीजी को केवल एक बटन पर क्लिक करके डेटा की आवश्यकता हो सकती है। या एक नहीं:



इस समय जो बहुत महत्वपूर्ण है वह यह है कि सभी इंटरफ़ेस तैयारी और कॉन्फ़िगरेशन प्रोग्रामर (या, भगवान न करे, यूएक्स डिट्स) को शामिल किए बिना, विश्लेषकों द्वारा विशेष रूप से खुद ही होते हैं।

समानांतर प्रक्रियाओं के लाभ

ज़ेपेलिन कई प्रक्रियाओं में काम करता है, जिसमें से एक दिलचस्प बोनस इस प्रकार है - यह आपको प्रत्येक लैपटॉप के लिए और प्रत्येक उपयोगकर्ता के लिए एक अलग पायथन उदाहरण चलाने की अनुमति देता है। इस प्रकार, ट्रिकी सेटिंग्स के बिना, आप समानांतर में कई स्वैच्छिक प्रसंस्करण स्क्रिप्ट चला सकते हैं - बस अलग-अलग लैपटॉप में ऐसा करके, और पूरा होने की प्रतीक्षा किए बिना काम करना जारी रखें। यह एक स्थानीय प्रतिलिपि के मामले में भी काम करता है, और जब सर्वर पर तैनात किया जाता है, तो सामान्य रूप से स्थानीय कंप्यूटरों से गणना का हिस्सा निकालना संभव होता है, उन्हें सर्वर पर प्रदर्शन करना।

साइटों में पैराग्राफ एम्बेड करना

यदि आपके पास सर्वर पर ज़ेपेलिन तैनात है, तो आप अपने किसी भी पैराग्राफ (क्वेरी परिणाम या ग्राफ़ के साथ) के लिए एक लिंक प्राप्त कर सकते हैं और इसे साइट पर एक iframe के रूप में प्रकाशित कर सकते हैं (यह बहुत सरलता से किया जाता है, साइट में एक ट्यूटोरियल है)। व्यवहार में, विश्लेषकों को शायद ही कभी बाहरी संसाधनों पर कुछ परिणाम प्रकाशित करने की आवश्यकता होती है, लेकिन यह विज़ुअलाइज़र को आंतरिक सेवाओं (उसी अनुरूपता में) को जोड़ने के लिए बहुत सुविधाजनक हो सकता है। तो आप रिपोर्ट बना सकते हैं जिसमें पाठ में सीधे इंटरैक्टिव रूप और विज़ुअलाइज़र हैं।

आत्म वर्णन करने वाली रिपोर्ट

मार्कडाउन समर्थन आपको ग्राफ़ और टेबल के अलावा डैशबोर्ड पर स्वरूपित पाठ के साथ पैराग्राफ जोड़ने की अनुमति देता है। नतीजतन, आप विवरणों के साथ दृश्य रिपोर्ट बना सकते हैं, जहां उपयोगकर्ता तुरंत किसी समस्या पर डेटा देख सकता है, यह सब ग्राफ़ पर देख सकता है और विश्लेषकों से परिणामों की व्याख्या पढ़ सकता है। जुपिटर के विपरीत, जिसमें मार्कडाउन समर्थन भी है, ज़ेपेलिन इंटरैक्टिव रूप बनाता है और परिणामों को बहुत तेज़ी से कल्पना करता है, और परिणाम अंतिम उपयोगकर्ता के लिए अधिक सटीक और सुलभ है, जो महत्वपूर्ण है।

इस प्रकार, यह विश्लेषकों के सामान्य अनुसंधान का एक त्वरित और स्पष्ट विकल्प है। एक नियम के रूप में, विश्लेषकों का काम निम्नानुसार संरचित है: विश्लेषकों को खेल के कुछ पहलू का अध्ययन करने का काम दिया जाता है। वे डेटा तैयार करते हैं, परिकल्पना का परीक्षण करते हैं, समर्थन परिणामों की कल्पना करते हैं, कहते हैं, आरेख के साथ और एक रिपोर्ट लिखते हैं (उदाहरण के लिए, संगम में)। यह एक सही, बल्कि श्रमसाध्य प्रक्रिया है। हमारे मामले में, आप समय बर्बाद किए बिना, इन बहुत उतार-चढ़ाव और लिपियों के साथ एक लैपटॉप स्केच कर सकते हैं, तुरंत रेखांकन के साथ परिणामों का वर्णन कर सकते हैं, और अगले पैराग्राफ में अपने निष्कर्ष का वर्णन कर सकते हैं:



बेशक, ज़ेपेलिन के पास डांटने के लिए कुछ है, यह अभी भी हमेशा काम नहीं करता है (यह अभी भी एक खुला स्रोत है), वेब इंटरफ़ेस बहुत अधिक रैम खाती है, किसी को पूर्ण आईडीई के कार्यों की कमी हो सकती है। लेकिन पहले से ही कई दिलचस्प उपयोगकर्ता मामले हैं जहां यह उपयोगी हो सकता है - क्योंकि यह निश्चित रूप से विश्लेषकों का ध्यान आकर्षित करता है ( और निश्चित रूप से, समुदाय जितना बड़ा होगा, भविष्य में उतना ही बेहतर हो सकता है )।

छोटी कंपनियों के लिए, यह मुख्य उपकरण बन सकता है, क्योंकि यह आपको डेटाबेस पर एक संपूर्ण एनालिटिक्स सिस्टम जोड़ने की अनुमति देता है। मौजूदा एनालिटिक्स टूलकिट के साथ बड़ी कंपनियों के लिए - एक उपयोगी जोड़ जो मुख्य प्रणाली को प्रतिस्थापित नहीं करेगा, लेकिन कई उपयोगी लाभ प्रदान करेगा।