विपणन डेटा की एक झील - राक्षसी तालिकाओं से रिपोर्ट और विज़ुअलाइज़ेशन तक

नमस्ते! आवश्यक जानकारी होने पर, आप बहुत सी उपयोगी (या कई बेतहाशा हानिकारक) चीजें कर सकते हैं, यह इस बात पर निर्भर करता है कि यह जानकारी किसके पास है और यह क्या प्रेरित करती है। जानकारी के साथ काम करने के लिए, आपको जो अपलोड करने की ज़रूरत है, रिपोर्ट्स को संकलित करें, आपको इस जानकारी को कहीं स्टोर करने की आवश्यकता है। इसलिए हमने मार्केटिंग डेटा की एक विशाल झील बनाई

मेरा नाम एंड्री नौमोव है, मैं कॉर्पोरेट डेटा प्रबंधन टीम में काम करता हूं और विपणन और बिक्री के लिए एक उत्पाद बनाता हूं। हमारा कार्य इस झील को डेटा के साथ भरना है (क्योंकि डेटा के बिना यह किस प्रकार की झील है) ताकि व्यवसायिक लोग और कर्मचारियों के बीच प्रत्यक्ष उपयोगकर्ता दोनों को विस्तृत विश्लेषण बनाने की आवश्यकता हो।


कटौती के तहत - हमें इस तरह की झील की आवश्यकता क्यों थी, हमने इसे कैसे बनाया, यह देश के अंदर और बाहर नए बिक्री बाजारों में प्रवेश करने में कैसे मदद करता है, साथ ही साथ भविष्य के लिए हमारी योजनाओं के बारे में भी।

इसकी आवश्यकता क्यों है

एकल डेटा झील के निर्माण से पहले, सूचना के प्रसंस्करण के साथ स्थिति वांछित होने के लिए बहुत कुछ छोड़ दिया। नहीं, सब कुछ काम करता है, लेकिन यह बहुत बेहतर हो सकता है। सबसे पहले, मैं आपको बताता हूं कि लोग हमारी मार्केटिंग में कैसे काम करते हैं।

वे कई डेटा स्रोतों से जबरदस्त जानकारी के साथ काम करते हैं। ये SIBUR के अंदर और बाहर के स्रोत हैं, जो स्वतंत्र रूप से उपलब्ध हैं और केवल सदस्यता, मुफ़्त और भुगतान द्वारा उपलब्ध हैं। सामान्य तौर पर, चिड़ियाघर अभी भी है। इस जानकारी में से अधिकांश विशाल, समतल फ़ाइलें हैं जिनके साथ काम करने के लिए विशेष सॉफ़्टवेयर की आवश्यकता होती है। अक्सर एक ही समय में - प्रत्येक प्रकार के डेटा का अपना सॉफ़्टवेयर। यह स्पष्ट है, अक्सर यह सॉफ़्टवेयर अस्थिर या स्वैच्छिक रूप से काम करता है।

उदाहरण के लिए, विपणन के अधिकांश काम कमोडिटी फ्लो (आयात और निर्यात सहित) के अध्ययन से जुड़े होते हैं, उनकी मदद से आप समझ सकते हैं कि कौन सा सामान रूस छोड़ रहा है और इसके विपरीत, आ रहे हैं। यहाँ हम वास्तव में उन उत्पादों में रुचि रखते हैं जिन्हें SIBUR प्रत्यक्ष या अप्रत्यक्ष रूप से बेच या बना सकता है। इस प्रणाली द्वारा संसाधित की जाने वाली जानकारी महीनों के लिए बैचों में आती है। किसी प्रकार के समझदार विश्लेषण का निर्माण करने के लिए, एक वर्ष या एक दशक में, असंभव था, क्योंकि हम सॉफ्टवेयर की सीमाओं पर आराम करते थे - उसी एक्सेल में एक निश्चित अधिकतम लाइनें होती हैं। और हमने एक लाख से अधिक पंक्तियों के लिए तालिकाओं को पुनः प्राप्त किया। काम करने वाले पीसी ने इस तरह के बदमाशी को तुच्छ नहीं किया।

और ये सिर्फ एक स्रोत के रूप में कमोडिटी फ्लो हैं, और ऐसे कई स्रोत हैं - रेलवे के आंकड़े भी हैं, कंपनी की बिक्री पर आंतरिक प्रणालियों की जानकारी, विशेषज्ञ स्रोत, बाहरी एजेंसियों से आदेशित रिपोर्ट और बहुत कुछ।

क्या करें?

एक कार्य था - एक ही स्थान पर प्रलेखन का एक संस्करण बनाना ताकि प्रत्येक उपयोगकर्ता एक विज़ुअलाइज़ेशन टूल का उपयोग करके डेटा के साथ काम कर सके और एनालिटिक्स का निर्माण कर सके। Do विकल्प में, डेटा तैयार करने के बहुत चरण के कारण हमारे पास विपणक का बेतहाशा अवक्षेपण था। यह सच है कि हमारे विपणक डेटा इंजीनियरों के रूप में काम करने में बहुत समय बिताते हैं। यह गलत है।

एक वर्ष से अधिक के संदर्भ में डेटा का काम करना और उसका विश्लेषण करना बहुत मुश्किल था। क्योंकि वर्ष के लिए कुछ डेटा तैयार करने और अपलोड करने के बावजूद, उन्हें पूरी तरह से साफ करना पड़ता था। डुप्लिकेट से, गलतियों से, गलत नामों से। उदाहरण के लिए, कुछ पंक्तियों के एकीकरण की आवश्यकता थी, किसी के पास टेबल में हमारी विशाल मातृभूमि थी जिसे "रूस" कहा जाता था, किसी को - "रूसी संघ", और किसी ने सफलतापूर्वक "आरएफ" में प्रवेश किया। यह सब एक दृष्टिकोण से कम किया जाना था, और, जैसा कि आप जानते हैं, देश के नाम के साथ उदाहरण एकमात्र से दूर है और सबसे स्पष्ट नहीं है।

और बात यह है कि हम एक होल्डिंग कंपनी हैं, हमारे पास कई संगठन हैं, और हर किसी के नाम में "SIBUR" शब्द नहीं है। इसलिए, सूची को खोजने की कोशिश करना और कुछ क्लिक में नामों को फ़िल्टर करना चाहते हैं ताकि केवल होल्डिंग कंपनी को देखा जा सके, परिणाम प्राप्त करना आसान नहीं था।

इसके अलावा, कितने लोग - काम की समस्याओं को हल करने के लिए इतने सारे दृष्टिकोण। डाटा प्रोसेसिंग, फ़िल्टरिंग, मैपिंग और संयोजन के लिए प्रत्येक कर्मचारी की अपनी कार्यप्रणाली थी। समस्या यह है कि यह तकनीक एक कर्मचारी के सिर में मौजूद है। इसलिए, उस समय एक विशिष्ट व्यक्ति के लिए बहुत कुछ बंधा हुआ था। यह भी सबसे मजेदार कहानी नहीं है, क्योंकि आपको कुछ उतारने की ज़रूरत है - और व्यक्ति छुट्टी पर है। और बैठो, उसकी प्रतीक्षा करो। क्योंकि इसके बिना वे या तो इसे बहुत लंबे समय तक करेंगे, या वे इसे गलत करेंगे।

सामान्य तौर पर, हमने यह सुनिश्चित करने का निर्णय लिया कि किसी व्यक्ति विशेष पर निर्भरता नहीं थी, किसी भी उपयोगकर्ता के लिए सभी जानकारी सामान्य और उसी स्तर पर सुलभ थी, जिसकी आवश्यकता हो सकती है।

ऐसा करने के लिए, हम पहले व्यापार में गए और उनके साथ स्पष्ट किया कि कौन से डेटा स्रोत उनके लिए सबसे दिलचस्प होंगे। हमने उन्हें चुना, उनके लिए डेटा झील प्रौद्योगिकियों के साथ एक पायलट डेटा वेयरहाउस तैयार किया (हमने इस झील का विस्तार से और इस पोस्ट में आरेख के साथ वर्णन किया है)। और फिर, कई ईटीएल टूल का उपयोग करते हुए, उन्होंने इन सभी आवश्यक स्रोतों को एक बार वहाँ डाला: कमोडिटी फ़्लो, उत्पाद आँकड़े आदि, इसे सावधानी से डेटाबेस (वर्टिका) में डाल दिया। कार्य यह था कि जो कुछ भी संभव है उसका एकीकरण करना, जो हमने किया।

डेटा विज़ुअलाइज़ेशन के लिए, हम झांकी का उपयोग करते हैं, इसके सर्वर संस्करण को रिपॉजिटरी के लिए खराब कर दिया गया था और हमने उपयोगकर्ताओं को एक ही बार में सभी डेटा तक पहुंच प्रदान की थी। उपयोगकर्ता, मुझे कहना होगा, इससे पहले कि आप बैठते थे और तालिकाओं (विशाल तालिकाओं) को देखते थे, लेकिन अब आपके पास सब कुछ सुंदर और सुविधाजनक रूप से दिखाई दे रहा है।


उत्पाद प्रवाह विश्लेषण


उत्पाद विश्लेषण

प्रतियोगी विश्लेषण

बेशक, हमारे विश्लेषकों को स्क्रीन पर धब्बा लाइनों का एक गुच्छा नहीं दिखता है, लेकिन काफी वास्तविक संख्या और समकक्षों के नाम हैं, लेकिन हम उन्हें नहीं दिखा सकते हैं।

उपयोगकर्ताओं से आगे उपयोगी प्रतिक्रिया मिली। हमें यह समझने के लिए दिया गया था कि कच्चा डेटा (कच्चा) उनके लिए बहुत दिलचस्प नहीं है, क्योंकि उनमें से प्रत्येक अपने स्वयं के पूर्व-प्रशिक्षण में लगे हुए थे। इसलिए, हमने सबसे लगातार मैपिंग और नाम बदलने, समकक्षों को फिर से लिखना और कई त्रुटियों को ठीक करना शुरू किया - कॉलम में डुप्लिकेट और विराम चिह्न हो सकते हैं, कोई कंपनी के नाम के बगल में अपने समकक्षों में प्रवेश कर सकता है। सामान्य तौर पर, पर्याप्त कचरा था।

उन्होंने देशों को एक सामान्य दृष्टिकोण के लिए लाया, इससे उन्हें क्षेत्र के आधार पर ढहने और उन्हें खोलने में मदद मिली - कर्मचारी दक्षिण अमेरिका या उत्तर के देशों में सीआईएस में कुछ क्लिक में अनलोडिंग कर सकते हैं, जो उचित विश्लेषण के लिए काफी महत्वपूर्ण है। पतन एक सुविधाजनक बात है, इसलिए हमने इस प्रथा को कानूनी संस्थाओं तक विस्तारित करने का निर्णय लिया - जैसे देशों के साथ, केवल होल्डिंग्स और व्यक्तिगत कानूनी संस्थाओं का पैमाना।

बाजार के साथ काम करने के लिए विश्लेषण क्यों महत्वपूर्ण है

किए गए काम के लिए धन्यवाद, आयात और निर्यात के संदर्भ में पिछले 15-20 वर्षों की रिपोर्ट प्रदर्शित करना संभव हो गया, और साथ ही साथ पागल नहीं होने और काम करने वाले पीसी के एक जोड़े को नहीं जलाने के लिए। अब आप इस समयावधि को ले सकते हैं और इसे वर्ष तक तैनात कर सकते हैं या महीने में विफल हो सकते हैं।

तो यहाँ है। कमोडिटी फ्लो में टीएनवीईडी जैसी वस्तु है, जो विदेशी आर्थिक गतिविधियों का वस्तु नामकरण है। यह अधिकतम 10 अंक है। अधिक संख्या - किसी विशेष उत्पाद का संकेत जितना अधिक विशिष्ट होगा।

कॉफी उदाहरण देखें।

09 - कॉफी, चाय, दोस्त, परागुआयन चाय, मसाले। सुंदर सामान्य श्रेणी।
0901 2 - यह पहले से ही बता देगा कि हम भुनी हुई कॉफी के बारे में बात कर रहे हैं।
0901 21 - कैफीन के साथ भुना हुआ कॉफी (गैर-भुना हुआ और डिकैफ़िनेटेड का एक अलग कोड है)।
0901 21 000 2 - वही अंतिम 10 अंक, यह पहले से ही रोबस्टा (Coffea canephora) है।

वही हमारे लिए मायने रखने वाले उत्पादों के लिए जाता है। वह है - जिसे हम बेचते हैं और उत्पादन करते हैं। बेशक, कॉफी भी महत्वपूर्ण है, लेकिन अभी तक हम इसका इतनी मात्रा में उपभोग नहीं करते हैं जितना कि आयात पर आंकड़े उतारना।

और उनके निर्माण के लिए आवश्यक पॉलिमर, प्लास्टिक और कच्चे माल हमारे लिए महत्वपूर्ण हैं।

यहां कोड पहले से ही इस तरह दिखते हैं।

39-40 - प्लास्टिक और उसके लेख; रबर, रबर और उसके लेख।
3901 - प्राथमिक रूपों में एथिलीन पॉलिमर
3901 1 - 0.94 से कम के विशिष्ट गुरुत्वाकर्षण के साथ पॉलीथीन
3901 10 100 0 - रैखिक पॉलीथीन।

और इसलिए प्रत्येक बहुलक या कच्चे माल के प्रकार के लिए, हम सामान्य से विशेष तक असफल हो जाते हैं। यह देखने में परेशान क्यों। प्रवाह पर डेटा का उपयोग करते हुए, यह कुछ विस्तार से समझा जा सकता है कि वर्ष में रूसी संघ में एक निश्चित मात्रा में पॉलिमर आयात किए गए थे। या कच्चा माल। यही है, कोई भी हमारे द्वारा उत्पादित उत्पादों को देश के बाहर खरीदता है, जिसमें हम रूसी संघ में शामिल हैं। इसके अलावा, यह देखने का अवसर है कि इसे किस हद तक खरीदा गया है, उन्नत एनालिटिक्स के लोगों की मदद से, आप सही कीमतों पर लक्ष्य बना सकते हैं, और अंततः उसी उत्पाद के साथ ऐसे ग्राहक तक पहुंचना संभव बनाते हैं, लेकिन जो हम यहां करते हैं, और उसे ऐसे उत्पाद की पेशकश करते हैं। उचित मूल्य। यह देखते हुए कि वह सीमा शुल्क और परिवहन पर खर्च करता है।

निर्यात के साथ ही। जिन उत्पादों में हम रुचि रखते हैं उनमें से एक अक्सर विदेशों में निर्यात किया जाता है। लिहाजा, बहुत स्थिर और अच्छे पैमाने पर इसकी मांग है। तो, आप देख सकते हैं कि यह क्या है, यह किसके पास जाता है और वे इसके लिए कितना भुगतान करते हैं। फिर यह पता लगाएं कि क्या हम लॉजिस्टिक्स की लागतों को ध्यान में रखते हुए भी ऐसा कर सकते हैं या नहीं।

और यह एक ही क्षेत्र में प्रतियोगियों की गतिविधि को देखने में भी मदद करता है और, यदि आवश्यक हो, तो उनकी संख्या को समायोजित करें।

लेकिन यह बहुत आसान होगा यदि TNVED ने हमेशा यह स्पष्ट किया कि क्या सामान यात्रा कर रहे थे, ठीक?

इसलिए, कुछ नागरिक एक अलग TNVED कोड के तहत पॉलीथीन का आयात करते हैं, लेकिन यहां हमारे विश्लेषक वस्तुओं के प्रवाह के डेटा में अन्य क्षेत्रों का अध्ययन कर सकते हैं, और फिर, संकेतों की समग्रता से, समझ सकते हैं कि यह वास्तव में पॉलीथीन है, और कोड में संकेत नहीं दिया गया है। यह निर्यात और आयात के अतिरिक्त संस्करणों को देखने में मदद करता है, जो पहले चेक में ध्यान आकर्षित कर सकता है। इस तरह के आंकड़ों के आधार पर, हम पहले से ही अनुमान लगा सकते हैं - और अचानक यह हमारे लिए अतिरिक्त उत्पादन को खोलने के लिए समझ में आता है, जो संख्याओं और मात्राओं को देखते हुए भुगतान करेगा।

हम स्वयं कर्मचारियों के विश्लेषण और विशेषज्ञता की मदद से इस तरह की रिपोर्टों को समृद्ध कर सकते हैं - डेटाबेस में एक नया क्षेत्र दिखाई देता है, उदाहरण के लिए, "उत्पाद", जिसमें से अब चयन करना और रिपोर्ट बनाना भी संभव है। और प्रत्येक विशिष्ट उत्पाद के लिए (और यह TNVED और सहकर्मियों के विशेषज्ञ ज्ञान दोनों द्वारा निर्धारित किया जाता है), देखो कि हमारे पास देश के अंदर कुछ संभावित ग्राहक हैं, और इसके बाहर कई और अधिक। इसलिए, आप उनके लिए कच्चे माल, या यहां तक ​​कि अंतिम उत्पाद बनाना शुरू कर सकते हैं।

हमें गहराई तक जाने की जरूरत है

आप आगे बढ़ सकते हैं - देश के भीतर ऐसे प्राप्तकर्ता चुनकर, हम देख सकते हैं कि ये लोग अभी भी उन सामानों से अपने लिए क्या ऑर्डर करते हैं जिनसे हम संबंधित हैं। अचानक, वे न केवल पॉलीथीन, बल्कि पॉलीप्रोपाइलीन, साथ ही कुछ प्रकार की बीओपीपी फिल्म में रुचि रखते हैं? यह एक विशेष उपभोक्ता के बारे में ज्ञान का एक व्यापक दायरा बताता है, जिसका अध्ययन करने के बाद, आप तुरंत उसे सामान, और सही मूल्य और आरामदायक स्थिति प्रदान कर सकते हैं।

अब हमारे पास क्या है

हम पुनरावृत्त रूप से काम करना जारी रखते हैं - हम डेटा दर्ज करते हैं, उपयोगकर्ताओं से प्रतिक्रिया एकत्र करते हैं और अपने विश्लेषणात्मक नियमों को परिष्कृत करते हैं। यह एक तरह का टीम वर्क बन जाता है, हम उनसे कुछ सीखते हैं, वे हमसे, क्योंकि उनके पास बहुत अच्छा विशेषज्ञ ज्ञान है, और हमारे पास तकनीकी ज्ञान है।

इस डेटा के सबसे महत्वपूर्ण स्रोतों और बुनियादी तैयारी को डाउनलोड करने के बाद, हम अंत में परीक्षण भंडारण (सभी समय हम अभी भी परीक्षण में हैं, हाँ) का मुकाबला करने के लिए आगे बढ़ते हैं। यह बहुत सारी समस्याओं को दूर करेगा, क्योंकि मुकाबला = प्रमाणित है, और यह बहुत सारे डेटा को संग्रहीत करता है जिसे परीक्षण (वाणिज्यिक रहस्य और अन्य चीजें जो एनालिटिक्स के लिए भी महत्वपूर्ण हैं) को खिलाया नहीं जा सकता है। अब यह वास्तव में बड़ी संख्या में स्रोतों के साथ डेटा की एक झील होगी। उद्धरण डेटा सहित - उन्नत एनालिटिक्स से हमारे सहकर्मी कई कारकों का विश्लेषण करके किसी विशेष उत्पाद के लिए कीमतों की भविष्यवाणी करने में सक्षम हैं - ये कंपनी के शेयर, उत्पादन के क्षेत्रों में प्राकृतिक आपदाएं, विलय और अधिग्रहण के बारे में अफवाहें और यहां तक ​​कि किसी से असफल ट्वीट भी हो सकते हैं। नेतृत्व।

प्रीडिक्टिव एनालिटिक्स डेटा का उपयोग करता है और पूर्वानुमान प्रदान करता है, इन्हीं पूर्वानुमानों को डेटा लेक में जोड़ा जाता है, और मार्केटिंग उन्हें अपनी रिपोर्ट और एनालिटिक्स के लिए उपयोग कर सकती है।

यह एक झील के भीतर डेटा के ऐसे चक्र को चालू करता है। अब तक हर कोई खुश है - व्यवसाय, समीक्षा यथासंभव सकारात्मक है, क्योंकि वे समझते हैं कि इस परियोजना को कितना समय और प्रयास बचाता है, और विश्लेषकों ने खुद को।

इसलिए हम काम कर रहे हैं। और जो हमारे साथ डेटा से अधिकतम निकालना चाहता है - hh.ru पर नौकरी पृष्ठ पर आपका स्वागत है।