Tableau से ClickHouse में डेटा के साथ काम करने के लिए TabPy

ब्रांड और लोगों के बीच संचार का निर्माण हम Dentsu Aegis Network में हर दिन करते हैं, और डेटा विश्लेषण इस कार्य का एक अभिन्न अंग है। कुछ मामलों में, इस प्रक्रिया के लिए डेटा विज्ञान की आवश्यकता नहीं है (हालांकि हमारे पास एक है), फिर हम झांकी बीआई प्लेटफॉर्म का उपयोग करते हैं। इसका मुख्य लक्ष्य हमारे कर्मचारियों और ग्राहकों को स्क्रिप्ट, एसक्यूएल क्वेरी आदि लिखने के बिना डेटा की खपत के लिए एक सुविधाजनक इंटरफ़ेस देना है।

इस लेख में, हम वर्णन करेंगे कि कैसे हम क्लिकहाउस के साथ बातचीत करने वाली झांकी की समस्या को हल करने में कामयाब रहे।

समस्या का सामान्य विवरण

हमें एक क्लासिक चुनौती का सामना करना पड़ा। हमारे पास लोग हैं। उन्हें फल पसंद है। कुछ लोग एक फल को पसंद करते हैं, कुछ सभी फलों को पसंद करते हैं, और बाकी फलों के किसी भी संयोजन को पसंद कर सकते हैं।

इसलिए, यह आवश्यक है कि उपयोगकर्ता को झांकी में बनाए गए डैशबोर्ड में मनमाने ढंग से कई फलों का चयन करने में सक्षम करें और देखें कि सेट से कितने लोग कम से कम एक फल पसंद करते हैं। बेशक, हमारे पास फल नहीं थे, लेकिन लोग वास्तविक थे, यह "फल" पर है कि समस्या को समझना आसान है।

हमारे मामले में डेटा की मात्रा काफी बड़ी है। 13 हजार अलग-अलग "फल" थे। सबसे लोकप्रिय "फल" के लगभग 34 मिलियन प्रशंसक थे। औसतन, 450 हजार लोग प्रत्येक "फल" से प्यार करते हैं। कुल फल प्रेमी - 282 मिलियन।

पहला माथे का घोल

ऐसा हुआ कि इस कार्य का डेटा हमारे पास PostgreSQL (PG) और ClickHouse (CH) में था। पीजी में "फल" पर एक संदर्भ तालिका थी, सीएच में - एक संरचना के साथ एक बड़ी तालिका: "फल" की पहचानकर्ता और इस "फल" से प्यार करने वाले व्यक्ति की पहचानकर्ता। झांकी में सीएच के लिए कोई मूल संबंधक नहीं है, और मैं अभी भी डेटा को कहीं स्थानांतरित नहीं करना चाहता था, क्योंकि इसके लिए मौजूदा सिस्टम के गंभीर रूप से काम करने की आवश्यकता होगी।

हमने ODBC ड्राइवर का उपयोग करके झांकी को CH से जोड़ने का प्रयास किया और देखें कि क्या होता है।

• सभी ODBC ड्राइवर समान रूप से उपयोगी नहीं हैं। हमें एक निश्चित संस्करण की आवश्यकता होती है जिसमें कार्यक्षमता का आवश्यक हिस्सा काम करता है, लेकिन इस बात की कोई गारंटी नहीं है कि यदि आपको अचानक इसकी आवश्यकता है तो बाकी काम करेंगे।
• हम सभी डेटा को झांकी निकालने में सक्षम नहीं थे, क्योंकि यह 13,000 * 450,000 = 5,850,000,000 रिकॉर्ड है।

अगला, हमने सीएच डेटाबेस के लिए क्वेरी के अंदर नमूने का उपयोग करने का निर्णय लिया, अर्थात्, "फलों" के चयनित संयोजन के प्रेमियों की संख्या का अनुमान लगाने के लिए सभी लोगों पर नहीं, लेकिन अर्क को छोटा करने के लिए पांच प्रतिशत नमूने पर। इसके अलावा, हमने तुरंत "फल" नामों को प्राप्त करने के लिए पीजी "फल" निर्देशिका के साथ सीएच से एक आंतरिक जुड़ाव बनाया। इससे मदद मिली - हमारा अर्क 5 घंटे में उत्पन्न होने में सक्षम था।

हमें दिन में एक बार डैशबोर्ड में डेटा अपडेट करने की आवश्यकता थी, इसलिए अर्क को अपडेट करने के 5 घंटे ठीक लगते हैं - हम रात में अपडेट करेंगे। लेकिन भविष्य में हमें अतिरिक्त क्षमताओं की आवश्यकता होगी: अधिक "फल" होने चाहिए; तदनुसार, जिन लोगों के प्रतिच्छेदन की गणना करने की आवश्यकता है, उनके समूहों की संख्या और आकार भी बढ़ना चाहिए। इसलिए, अर्क का एक लंबा अपडेट हमारे सभी विकल्प पर नहीं है।

इसके अलावा, सैंपलिंग के कारण एक और समस्या थी। ऐसा हुआ कि डैशबोर्ड के विभिन्न हिस्सों में संख्याएँ, जिन्हें माना जाना चाहिए, हमारे देश में भिन्न थे। यह इस तथ्य के कारण था कि एक स्थान पर हमने एक फल के प्रेमियों की संख्या को सटीक रूप से गिना, और कुछ हिस्सों में फलों के संयोजन के साथ - गलत। न तो हमें और न ही हमारे उपयोगकर्ताओं को यह परिणाम पसंद आया।

तब हमने फैसला किया कि अर्क बिल्कुल न बनाएं। भारी मात्रा में डेटा लोड करने से बचने के लिए, हमने डेटासेट को विभाजित किया और सीएच के लिए लाइव कनेक्शन का उपयोग किया। डेटासेट के बीच, अंतर्निहित ताबूत संपादन संबंध कार्यक्षमता का उपयोग करके एक कनेक्शन स्थापित किया गया था। पीजी डेटासोर्स को प्राथमिक और सीएच से द्वितीयक के रूप में जोड़ा गया था, जो "फल" पहचानकर्ता का उपयोग करके दोनों तालिकाओं में था।

इस प्रकार, हम प्राथमिक (डेटा सम्मिश्रण) का उपयोग करके माध्यमिक डेटा स्रोत को फ़िल्टर करने में सक्षम थे। लेकिन हम असफल रहे, क्योंकि फ़िल्टर को एक डेटा स्रोत से दूसरे में फेंकने के बाद, हमें परिणामी सबसेट (COUNTD) में लोगों को गिनने के कार्य का उपयोग करना पड़ा, और डेटा सम्मिश्रण में एक सीमा होती है जो बस इसे करने की अनुमति नहीं देती है। इस तरह के डेटा कनेक्शन के साथ सीधे कार्य करना सिद्धांत में काम नहीं करता है।

एक वर्कअराउंड है जो इस झांकी सीमा को दरकिनार करने में मदद करता है, लेकिन इसका उपयोग अपेक्षाकृत छोटे डेटासेट पर किया जा सकता है, जो स्पष्ट रूप से हमारे मामले में नहीं है।

उसके बाद, हमने एक और विकल्प की कोशिश की। डेटासेट अभी भी विभाजित थे और सीएच के लिए लाइव कनेक्शन का उपयोग किया था। यहां, "फलों" के प्रशंसकों के साथ एक डेटासेट के लिए "फलों" के विवरण के साथ एक डेटासेट के एक फिल्टर को एक्शन का उपयोग करके झांकी के अंदर फेंक दिया गया था। लेकिन असुविधाजनक यूआई के कारण यह विकल्प अंततः फिट नहीं हुआ। उपयोगकर्ता को परिचित फ़िल्टर के बजाय, उपयोगकर्ता को पूरी सूची को देखना होगा और cntrl + क्लिक के माध्यम से "फलों" का चयन करना होगा, जबकि लागू फ़ंक्शन अनुपस्थित था जब सभी चयनित मान एक बार में लागू होते हैं।

नतीजतन, हमारे सभी प्रयासों के बाद, हमें अर्क और नमूने के साथ विकल्प पर लौटना पड़ा, बहुत धीमी गति से और केवल एक अनुमानित उत्तर देने के लिए।

समाधान मिला

जाहिर है, हमें झांकी निकालने में सभी डेटा खींचने की जरूरत नहीं है। उपयोगकर्ता सभी डेटा को एक साथ देखने के लिए असहज है - उन सभी लोगों की संख्या जो "फल" से प्यार करते हैं। उसे औसतन "फल" के एक सेट की आवश्यकता होती है। यह एक दया है कि झांकी को यह पता नहीं है कि यह कैसे करना है।

हमारी टीम में ऐसे लोग हैं जो पायथन में लिखते हैं। इसलिए, हमने इस दिशा में आगे बढ़ने के लिए अपनी खोज का फैसला किया और टैबपी को पाया।

TabPy एक वेब सेवा है जो आपको Tableau में लागत के अंदर पायथन स्क्रिप्ट निष्पादित करने का परिणाम प्राप्त करने की अनुमति देती है।

यह कैसे काम करता है:

1. झांकी, TabPy के साथ बातचीत करती है और बदले में, पायथन के साथ तथाकथित स्क्रिप्ट फंक्शंस का उपयोग करती है। स्क्रिप्ट फ़ंक्शंस में पायथन स्क्रिप्ट ही होती है, आवश्यक डेटा प्रकार के परिणाम, और तर्क जो हम इस फ़ंक्शन को पास करते हैं। हमारे मामले में, तर्क "फल" के पहचानकर्ता थे, जिन प्रेमियों की संख्या हम गिनना चाहते थे।
2. TabPy प्राप्त स्क्रिप्ट फ़ंक्शंस टेक्स्ट को स्क्रिप्ट में कनवर्ट करता है और इसे दुभाषिया के पास भेजता है। सीएच आधार से कनेक्शन हमारे द्वारा स्क्रिप्ट के अंदर दर्ज किया गया था।
3. इसके बाद, TabPy निष्पादित स्क्रिप्ट का परिणाम Tableau में वापस करता है।

स्क्रिप्ट फ़ंक्शंस में, तर्क हमेशा सरणियों के रूप में पारित किए जाते हैं, परिणाम भी एक सरणी द्वारा वापस किया जाता है।

सब कुछ ठीक से काम नहीं किया। मुख्य बात जो हमें समझ में आई: झांकी में एक परिकलित क्षेत्र में सीधे पायथन स्क्रिप्ट लिखना एक अच्छा विचार नहीं है। दो कारणों से:

1. स्क्रिप्ट फ़ंक्शंस के अंदर, कभी-कभी परिचित पायथन सिंटैक्स का उपयोग करना मुश्किल होता है। उदाहरण के लिए, एकाधिक उद्धरण स्वीकार नहीं किए जाते हैं।
2. डैशबोर्ड के भविष्य के समर्थन के बारे में सोचते हुए, हमने महसूस किया कि अगर हमें किसी तरह स्क्रिप्ट को बदलने की आवश्यकता है, तो हर बार हमें इसे झांकी की किताब में ही बदलना होगा। और यह स्पष्ट रूप से सबसे अच्छा तरीका नहीं है, क्योंकि हम डैशबोर्ड के लिए मैनुअल समर्थन से बचने के लिए अपनी पूरी कोशिश कर रहे हैं।

इसलिए, हमने एक और चीज का उपयोग किया - टैबपी क्लाइंट ।

TabPy Client एक लाइब्रेरी है जो आपको TabPy सर्वर पर पायथन स्क्रिप्ट प्रकाशित करने और फिर उन्हें Tableau के अंदर कॉल करने की अनुमति देता है। इसका उपयोग करते समय, झांकी के अंदर एक स्क्रिप्ट लिखने के बजाय, हम इसमें निर्दिष्ट मापदंडों का उपयोग करके TabPy सर्वर पर पड़ी .py फ़ाइल को कॉल करते हैं, इस पर तर्क पास करते हैं, और इसे निष्पादित करते हैं।

इस दृष्टिकोण ने TabPy और Tableau का उपयोग करके हमारी समस्याओं को हल किया। स्क्रिप्ट को परिचित विकास परिवेश में लिखा और परखा गया है और पुस्तक से अलग संग्रहीत किया गया है, जिसे अब मैनुअल समर्थन की आवश्यकता नहीं है।

हमारी विशिष्ट समस्या को हल करने के लिए, हमें निम्नलिखित कार्य करने होंगे।
सबसे पहले हमने TabPy Client का उपयोग किए बिना इसे हल करने का प्रयास किया। इस स्थिति में, निम्न प्रपत्र का एक गणना फ़ील्ड झांकी के अंदर बनाया गया था:
इसने काम किया, लेकिन ऊपर वर्णित समस्याएं थीं। जब हमने TabPy क्लाइंट का पता लगाया, तो हमें महसूस हुआ कि गणना क्षेत्र और स्क्रिप्ट को विभाजित करके, हमें एक अधिक सुविधाजनक और सही प्रणाली मिलती है। यह कैसे गणना क्षेत्र और स्क्रिप्ट के साथ .py फ़ाइल की तरह दिखता है:
यहाँ आप देख सकते हैं कि TabPy Client के लिए 'People_count_test' पहचानकर्ता है, जिसकी बदौलत यह स्पष्ट है कि इस गणना क्षेत्र में किस स्क्रिप्ट को निष्पादित किया जाना है।

और अंत में, यह दृष्टिकोण था जिसने हमें पूरी तरह से संतुष्ट किया।

परिणाम

उपयोगकर्ता संतुष्ट हैं क्योंकि वे मनमाने ढंग से "फलों" का एक संयोजन चुन सकते हैं और जल्दी से उनमें से कम से कम एक के प्रशंसकों की संख्या प्राप्त कर सकते हैं, और डैशबोर्ड के विभिन्न हिस्सों में संख्या समान हैं।

BI डेवलपर्स प्रसन्न हैं कि आप झांकी के साथ झांकी के साथ काम कर सकते हैं, बिना इसे सीधे कनेक्ट करने के लिए।

हमारी झांकी सर्वर प्रसन्न है कि आपको रात में एक बड़ा अर्क बनाने की आवश्यकता नहीं है।

आमतौर पर, TabPy BI डेवलपर्स को डेटा के साथ काम करने की अधिक स्वतंत्रता देता है, जब Tableau के पास बॉक्स से उपयुक्त समाधान नहीं होता है। उदाहरण के लिए, डेटा साइंस मॉडल को सीधे झांकी में एम्बेड करने के लिए, लेकिन यह पूरी तरह से एक और कहानी है ...

यह लेख मेरे सहयोगियों दिमित्री शेर्बेंको ( dima_vs ) और सुखोवेव इवान ( suho_v ) आरएंडडी डेंटसु एजिस नेटवर्क रूस के साथ संयुक्त रूप से लिखा गया था।