कैसे Tinkoff.ru ने ज़ेपेलिन के साथ विश्लेषिकी को स्वचालित किया

Tinkoff.ru वित्तीय सेवा बाजार में कई सेवाएं विकसित करता है। हमारे विश्लेषकों, डेवलपर्स, प्रौद्योगिकीविदों और प्रबंधकों ने अपने रोजमर्रा के कार्यों को हल किया। हर दिन हम बाजार पर सबसे अच्छा उत्पाद बनाने के लिए विचार, विश्लेषण, विकास और सब कुछ करते हैं।

मैं आंतरिक विकास विभाग में एक बैकेंड प्रोग्रामर के रूप में काम करता हूं। हम नई व्यावसायिक लाइनें लॉन्च करने में मदद करते हैं, वर्कफ़्लो को स्वचालित करते हैं और पैसे के एक बैंक को बचाने की कोशिश करते हैं जहां यह संभव है (उदाहरण के लिए, किसी प्रकार के महंगे सॉफ़्टवेयर के लिए लाइसेंस खरीदने से इनकार करना)। हमारे वर्कफ़्लो बहुत मानक हैं: प्रबंधक व्यावसायिक सुविधाओं के साथ आते हैं, टेक्नोलॉजिस्ट उन्हें औपचारिक रूप देते हैं और कार्य निर्धारित करते हैं, विश्लेषक डेटा का विश्लेषण करते हैं, और डेवलपर्स पहले से ही उन्हें सौंपे गए कार्यों को हल करते हैं। जीवन में सब कुछ अधिक जटिल है, लेकिन आप पहले से ही जानते हैं।

हमारे व्यापार ग्राहकों में से एक हमारा ग्राहक निष्ठा विभाग है - टिंकऑफ टारगेट। इससे पहले कि मैं विश्लेषिकी स्वचालन के बारे में बात करूं, मैं समझाऊंगा कि हमारा वफादारी कार्यक्रम कैसे काम करता है।

Tinkoff.ru वफादारी कार्यक्रम या हम लोगों को कैशबैक कैसे वितरित करते हैं

लगभग सभी आधुनिक बैंक कैशबैक जारी करते हैं: रूबल, मील या तोते में (ऐसे बिंदु जो आप कुछ विशिष्ट पर खर्च कर सकते हैं)।

हम कोई अपवाद नहीं हैं, हम सब कुछ के लिए 1% का मानक कैशबैक जारी करते हैं और 3 चयनित श्रेणियों (उदाहरण के लिए, "परिवहन", "सिनेमा", "स्मृति चिन्ह" और इसी तरह) के लिए 5%। आपको बहुत सारे ऐसे कैशबैक नहीं देने होंगे (लेकिन मैं वास्तव में चाहता हूं), और इसलिए हमारे पास बैंक भागीदारों से विशेष ऑफ़र हैं जो कैशबैक देना चाहते हैं। इसलिए, लॉयल्टी प्रोग्राम्स की बिजनेस लाइन के हिस्से के रूप में, हम पारस्परिक रूप से लाभकारी परिस्थितियों पर अपने ग्राहकों को कैशबैक जारी करने के लिए विभिन्न कंपनियों को खोजने और मनाने की कोशिश कर रहे हैं। ये कंपनियां हमारी साझेदार हैं।

हम यह कैसे करते हैं? कल्पना कीजिए कि बाजार पर एक सशर्त कंपनी याब्लो है। हमारे कैशबैक कार्यक्रम में याब्लो को आकर्षित करने का सबसे अच्छा तरीका है कि वह अपने उत्पाद या सेवा को बेचने में मदद करें। यहाँ कार्य साथी के लिए दर्शकों को आकर्षित करना है। उदाहरण के लिए, वे ग्राहक जो प्रतियोगियों से खरीदे जाते हैं या वे ग्राहक जो याब्लो के अस्तित्व के बारे में नहीं जानते हैं। और यह भी, यह संभव है कि यबलोक के लिए उन ग्राहकों का चयन करना जो उनकी प्रोफ़ाइल के लिए सबसे उपयुक्त हैं और जो वास्तव में याब्लो चाहते हैं, वे अभी इसके बारे में नहीं जानते हैं - यह कृत्रिम बुद्धिमत्ता और मशीन सीखने के बारे में है।

ऐसे लक्षित दर्शकों के चयन का कार्य विश्लेषकों के पास है। हमारे पास उनमें से दो हैं, और कई भागीदार हैं - 1000 से अधिक। इसके अलावा, विश्लेषकों के पास अभी भी बहुत सारे दिलचस्प काम हैं, और जैसा कि भागीदारों की संख्या बढ़ती है, सही दर्शकों को चुनना एक दिनचर्या में बदल जाता है। इस तरह की दिनचर्या को स्वचालित करने की जरूरत है और बटन पर एक क्लिक में (या बटन के बिना बेहतर)। इसके अलावा, इस तरह के कार्यों को करने की बहु-चरण प्रक्रिया मानव कारक के कारण होने वाली त्रुटियों को मजबूर करती है। आगे मैं आपको बताऊंगा कि कैसे हम इस तरह के नियमित काम से छुटकारा पाने में कामयाब रहे।

हम एनालिटिक्स कैसे बनाते हैं

Tinkoff.ru पर, अधिकांश विश्लेषक अपने दैनिक कार्यों में Apache Zeppelin का उपयोग करते हैं। हमने लंबे समय से इस उपकरण को सेवा में लिया है और इसे सक्रिय रूप से विकसित कर रहे हैं (यहां तक ​​कि खुले स्रोत के लिए भी)। सभी कर्मचारियों के पास डेटा और रिपोर्टिंग के वैश्विक भंडार तक पहुंच है, अर्थात, सुविधाजनक विश्लेषणात्मक भाषा का उपयोग करने की संभावना के साथ सभी Tinkoff.ru विश्लेषणात्मक संसाधनों तक।

ज़ेपेलिन जावा में लिखा गया है और इसमें आधुनिक भाषाओं और प्रौद्योगिकियों के कई व्याख्याकार शामिल हैं, जिनमें पायथन, हाइव, स्पार्क, ग्रूवी, आर और कई अन्य शामिल हैं। लिखित लिपियों को लैपटॉप में संग्रहित किया जाता है, जिसमें पैराग्राफ शामिल होते हैं; बाह्य रूप से, कार्यशील वातावरण का UI बृहस्पति के समान होता है । और आवेदन की मुख्य स्क्रीन इस प्रकार है:


यहां प्रत्येक व्यावसायिक लाइन की अपनी कार्यशील निर्देशिका है जिसमें पढ़ने और संपादन अधिकारों में अंतर है।

हमारे (डेवलपर्स) के लिए एक बहुत बड़ा प्लस बहुत सुविधाजनक और इंटरैक्टिव एपीआई की उपलब्धता है। एपीआई के साथ, जीवन आसान हो जाता है। इस उपकरण के साथ एपीआई के माध्यम से, आप वेब यूआई को दरकिनार करके कुछ भी कर सकते हैं। इसलिए हमारी परियोजना में विश्लेषकों के काम के परिणामों को एकीकृत करने का विचार आया।

हमारे प्रोजेक्ट के बारे में संक्षेप में

हमारे बैकएंड को जावा, फ्रंटेंड में कोणीय 5 में लिखा गया है (चूंकि परियोजना युवा नहीं है, यूआई का हिस्सा वाडिन में लिखा गया है, जिसे हम धीरे-धीरे छुटकारा पा रहे हैं)। अधिकांश परियोजना प्रबंधकों के साथ काम करने के लिए एक वेब अनुप्रयोग है, जहां वे भागीदारों के साथ संबंध बनाते हैं, नए विशेष प्रस्ताव बनाते हैं, उनके KPI के कार्यान्वयन की निगरानी करते हैं, आदि। हमारे पास एक भागीदार का व्यक्तिगत खाता है जहां बैंक का कोई भी साझेदार अपने लॉन्च किए गए विशेष प्रस्तावों (अभिवृद्धि, सक्रियता, आदि) के आंकड़ों का अवलोकन कर सकता है, सामान्य रूप से समझौतों, खातों और दस्तावेज़ संबंधों को डाउनलोड और हस्ताक्षर कर सकता है।


हम एसओएपी वेब सेवा के माध्यम से मोबाइल बैंक और वेब पोर्टल को "बोनस" अनुभाग में भेजते हैं। वहाँ एक लैंडिंग प्रतिक्रिया में लिखा है, जहां कोई भी निष्ठा कार्यक्रम में भाग लेने के लिए एक अनुरोध छोड़ सकता है। हमने कैशबैक और विशेष किस्तों की गणना, विभिन्न बैंकिंग सेवाओं के साथ एकीकरण के लिए विभिन्न मैकेनिक्स को लागू किया है।

अपाचे ज़ेपेलिन के साथ एकीकरण

परंपरागत रूप से, नए साझेदारों को आकर्षित करने के लिए, प्रबंधकों ने विश्लेषकों को एक पत्र भेजा जिसमें एक लक्ष्य दर्शकों को उत्पन्न करने के लिए साझेदार इच्छाओं का एक सेट होता है। विश्लेषकों ने भाषाओं और जादू की कॉपी-पेस्ट के चिड़ियाघर में पहले से लिखी गई लिपियों का इस्तेमाल किया।

जाहिर है, आवश्यकताओं की उचित औपचारिकता के साथ, आप एक सार्वभौमिक स्क्रिप्ट लिख सकते हैं, जो हमने किया था। और औपचारिक डेटा दर्ज करने के लिए उन्होंने एक सुविधाजनक यूआई लिखा। यह केवल हमारे वेब एप्लिकेशन में अपाचे ज़ेपेलिन के साथ काम को लागू करने के लिए बना हुआ है। इस तरह के एकीकरण की योजना की योजना इस प्रकार है:


साथी के साथ संचार के दौरान प्रबंधक अनुप्रयोग में एक कार्य बनाता है, लक्ष्य दर्शकों को बनाने के लिए फार्म पर मापदंडों को भरता है। इस तरह के मापदंडों का एक उदाहरण इस प्रकार है:

• श्रेणियाँ बीसीसी और / या एमसीसी कोड जिसमें ग्राहक एक निश्चित औसत चेक के साथ कुछ निश्चित समय के लिए एक निश्चित अवधि में लेनदेन या लेनदेन करता है।
• प्रतिस्पर्धी कंपनियाँ जिनमें ग्राहक एक निश्चित अवधि में परिवहन या परिवहन करता है।

और दूसरा।

इस तरह के बहुत सारे पैरामीटर हैं और वे सभी UI पर औपचारिक हैं। प्रारंभिक मापदंडों में प्रवेश करने के बाद, प्रबंधक पीढ़ी ऑपरेशन शुरू करता है और एल्गोरिथ्म अपना काम शुरू करता है:

1. चूंकि हमारी सभी स्क्रिप्ट एक नोटबुक में लिखी गई हैं और हम इसे बदलना नहीं चाहते हैं, हम इसे एक अलग निर्देशिका में क्लोन करते हैं। हमारे अनुरोध के जवाब में ज़ेपेलिन हमें क्लोन की आईडी लौटाता है, जिसके द्वारा हम नए लैपटॉप से ​​संपर्क करेंगे। क्लोनिंग वर्किंग स्क्रिप्ट भी प्रशासन के लिए सुविधाजनक है, क्योंकि हम हमेशा उन स्क्रिप्ट को देख सकते हैं जो किसी विशिष्ट कार्य के लिए निष्पादित की गई थीं और समस्या का पता लगाती हैं।
2. संस्करण जेपेलिन एपीआई 0.8 के साथ शुरू , एक नया लैपटॉप बनाने के बाद, आपको बाद के प्रशासन के लिए सीआरयूडी एक्सेस की आवश्यकता होगी।
3. एक काम करने वाले लैपटॉप के पहले पैराग्राफ में, एक नियम के रूप में, चर घोषित किए जाते हैं और उनके प्रारंभिक डिफ़ॉल्ट मान सेट किए जाते हैं, जिन्हें प्रतिस्थापित किया जाना चाहिए। इस स्तर पर, हम अपने पैराग्राफ को लैपटॉप (चर और औपचारिक डेटा के आरंभ के साथ) में सम्मिलित करते हैं, जिसे हम भेजने से पहले बनाते हैं।
4. अगला, POST विधि के लिए एक हल्के अनुरोध के साथ, हम निष्पादन के लिए अपना लैपटॉप लॉन्च करते हैं। या यों कहें, हम अपने पैराग्राफ को एक बार में चलाते हैं, ताकि सभी लिपियों के निष्पादन पर नजर रखी जा सके और एप्लिकेशन में लक्षित दर्शकों की पीढ़ी की स्थिति प्रदर्शित की जा सके।
5. ऑपरेशन के अंत में, प्रबंधक एक अधिसूचना प्राप्त करता है (यदि वह प्रगति की स्थिति की निगरानी नहीं करता है)। स्क्रिप्ट का परिणाम दर्शकों के साथ उत्पन्न CSV फ़ाइल है, जिसे एक साझा निर्देशिका में संग्रहीत किया जाता है। विशेष ऑफ़र लॉन्च करते समय, हम कई ऑडियंस उत्पन्न कर सकते हैं और ऑफ़र में जोड़ते समय उन्हें एक अलग प्रकार के साथ चिपका सकते हैं। और विभिन्न प्रकारों के साथ दर्शकों के लिए, हम लचीले ढंग से कैशबैक की शर्तों और आकार को निर्धारित कर सकते हैं।

थोड़ा अशिष्ट विश्लेषण

मोटे अनुमान के अनुसार, लक्ष्य दर्शकों के संग्रह के स्वचालन ने विश्लेषकों के 30% से अधिक कार्य समय (विश्लेषकों और प्रबंधकों के बीच संचार पर खर्च किए गए समय की गिनती नहीं) को जारी करने का नेतृत्व किया।

जून 2018 से जनवरी 2019 तक, पूरी की गई पीढ़ी के कार्यों की संख्या 400 से अधिक है। संचार प्रबंधकों के अनुसार और आवश्यक परिणाम प्राप्त करने के लिए, उन्होंने 0.5 से 4 घंटे खर्च किए, औसत समय ~ 2 घंटे के लक्षित दर्शकों के रूप में लेने में, 800 से अधिक मानव-घंटे बचाए गए। (100 से अधिक कार्य दिवसों)।

निष्कर्ष में

ज़ेपेलिन के साथ एकीकरण के लिए सबसे महत्वपूर्ण बात यह है कि लक्ष्य दर्शक पीढ़ी प्रक्रिया के सभी चरणों में मानव कारक को कम करना था। एक नियम के रूप में, पार्टनर के लिए उपयुक्त दर्शकों के निर्माण में त्रुटियां, आरोपों के बाद पहचानी जाती हैं। एक विशेष ऑफ़र की शुरुआत के बाद, सभी को कैशबैक देना, वित्तीय लागतों को कम से कम करना बहुत मुश्किल है, और गलतियों के लिए आपको महंगा भुगतान करना होगा।

एक और बड़ा प्लस प्रक्रिया के प्राथमिक स्रोत के प्रति जिम्मेदारी में बदलाव है, जैसा कि मानव कारक का "अड़चन" अब प्रबंधक द्वारा प्रारंभिक डेटा गठन के क्षेत्र में है। और इसका मतलब यह है कि जो पीढ़ी के काम को बनाता है और शुरुआती मापदंडों में भर जाता है, वह इस पर अधिक ध्यान देता है।

वर्तमान में, हम एकीकरण विकसित करना और विश्लेषणात्मक कार्यों को स्वचालित करना जारी रखते हैं। इसलिए, ज़ेपेलिन में लिखी गई स्क्रिप्ट के रिमोट लॉन्च का उपयोग करते हुए, एप्लिकेशन से हम प्रबंधकों के लिए विभिन्न प्रकार की विश्लेषणात्मक रिपोर्ट उत्पन्न करते हैं जो पहले अनुरोध पर व्यक्तिगत रूप से तैयार किए गए थे।