हम SIBUR में डेटा के प्रसंस्करण, भंडारण और विश्लेषण की एक प्रणाली का निर्माण कैसे करते हैं

2018 की शुरुआत में, हमने सक्रिय रूप से कंपनी में उत्पादन और प्रक्रियाओं के डिजिटलीकरण की प्रक्रिया शुरू की। पेट्रोकेमिकल क्षेत्र में, यह केवल एक फैशन प्रवृत्ति नहीं है, बल्कि दक्षता और प्रतिस्पर्धा बढ़ाने की दिशा में एक नया विकासवादी कदम है। व्यवसाय की बारीकियों को ध्यान में रखते हुए, जो, बिना किसी डिजिटलीकरण के, अच्छे आर्थिक परिणामों को दर्शाता है, डिजीटलाइजर्स को एक मुश्किल काम का सामना करना पड़ता है: कंपनी में स्थापित प्रक्रियाओं को बदलना काफी श्रमसाध्य कार्य है।

हमारा डिजिटलीकरण दो केंद्रों और उनके संबंधित कार्यात्मक ब्लॉकों के निर्माण के साथ शुरू हुआ।

यह "डिजिटल टेक्नोलॉजी फ़ंक्शन" है, जिसमें सभी उत्पाद क्षेत्र शामिल हैं: प्रक्रियाओं का डिजिटलकरण, IIoT और उन्नत विश्लेषिकी, साथ ही एक डेटा प्रबंधन केंद्र जो एक स्वतंत्र क्षेत्र बन गया है।



और डेटा कार्यालय का मुख्य कार्य डेटा के आधार पर निर्णय लेने की संस्कृति को पूरी तरह से लागू करना है (हाँ, हाँ, डेटा-चालित निर्णय), साथ ही सिद्धांत रूप में, डेटा के साथ काम करने से संबंधित सभी चीज़ों को कारगर बनाना: एनालिटिक्स, प्रोसेसिंग , भंडारण और रिपोर्टिंग। ख़ासियत यह है कि हमारे सभी डिजिटल उपकरणों को न केवल सक्रिय रूप से अपने स्वयं के डेटा का उपयोग करना होगा, अर्थात, वे जो वे स्वयं उत्पन्न करते हैं (उदाहरण के लिए, मोबाइल डिटॉर्स, या IIoT सेंसर), लेकिन बाहरी डेटा भी, जहां और क्यों की आवश्यकता है, इसकी स्पष्ट समझ के साथ। उपयोग करने के लिए।

मेरा नाम अर्टिओम दानिलोव है, मैं SIBUR में इन्फ्रास्ट्रक्चर एंड टेक्नोलॉजी डिपार्टमेंट का प्रमुख हूं, इस पोस्ट में मैं आपको बताऊंगा कि हम पूरे SIBUR के लिए एक बड़े डेटा प्रोसेसिंग और स्टोरेज सिस्टम का निर्माण कैसे और किस आधार पर करते हैं। शुरू करने के लिए, हम केवल शीर्ष-स्तरीय वास्तुकला के बारे में बात करेंगे और आप हमारी टीम का हिस्सा कैसे बन सकते हैं।

यहां ऐसे क्षेत्र हैं जो डेटा कार्यालय में काम को शामिल करते हैं:

1. डेटा के साथ काम करें

जो लोग हमारे डेटा काम की सूची और सूचीकरण में सक्रिय रूप से शामिल हैं। वे समझते हैं कि किसी विशेष फ़ंक्शन की क्या आवश्यकता है, यह निर्धारित कर सकता है कि किस तरह के विश्लेषिकी की आवश्यकता हो सकती है, निर्णय लेने के लिए क्या मैट्रिक्स की निगरानी की जानी चाहिए और किसी विशेष व्यावसायिक क्षेत्र में डेटा का उपयोग कैसे किया जाता है।

2. बीआई और डेटा विज़ुअलाइज़ेशन

दिशा पहले के साथ निकटता से संबंधित है और आपको पहली टीम से लोगों के काम के परिणामों की कल्पना करने की अनुमति देती है।

3. डेटा गुणवत्ता नियंत्रण की दिशा

यहां डेटा गुणवत्ता नियंत्रण उपकरण पेश किए जाते हैं और इस तरह के नियंत्रण की पूरी कार्यप्रणाली लागू की जाती है। दूसरे शब्दों में, यहां के लोग सॉफ़्टवेयर लागू करते हैं, विभिन्न जांच और परीक्षण लिखते हैं, समझते हैं कि विभिन्न प्रणालियों के बीच क्रॉस-चेक कैसे होते हैं, उन कर्मचारियों के कार्यों पर ध्यान दें जो डेटा गुणवत्ता के लिए जिम्मेदार हैं, और एक सामान्य कार्यप्रणाली भी स्थापित करते हैं।

4. NSI का प्रबंधन

हम एक बड़ी कंपनी हैं। हमारे पास कई अलग-अलग प्रकार की निर्देशिकाएं हैं - और ठेकेदार, और सामग्री, और उद्यमों की एक निर्देशिका ... सामान्य तौर पर, मेरा विश्वास है, पर्याप्त निर्देशिकाओं से अधिक हैं।

जब कोई कंपनी सक्रिय रूप से अपनी गतिविधियों के लिए कुछ खरीदती है, तो आमतौर पर इन निर्देशिकाओं को भरने के लिए विशेष प्रक्रियाएं होती हैं। अन्यथा, अराजकता ऐसे स्तर पर पहुंच जाएगी कि "पूरी तरह से" शब्द से काम करना असंभव होगा। हमारे पास भी ऐसी प्रणाली (एमडीएम) है।

यहां समस्याएं हैं। मान लीजिए, क्षेत्रीय प्रभागों में से एक में, जिसमें हमारे पास बहुत कुछ है, कर्मचारी बैठते हैं और सिस्टम में डेटा दर्ज करते हैं। इस विधि से उत्पन्न होने वाले सभी परिणामों के साथ, हाथ से योगदान करें। यही है, उन्हें डेटा दर्ज करने की आवश्यकता है, सत्यापित करें कि सिस्टम में डुप्लिकेट के बिना सब कुछ सही रूप में आया। उसी समय, कुछ चीजें, कुछ विवरण और आवश्यक फ़ील्ड भरने के मामले में, आपको स्वतंत्र रूप से खोज और Google करना होगा। उदाहरण के लिए, आपके पास एक कंपनी टिन है, और आपको अन्य जानकारी की आवश्यकता है - आप विशेष सेवाओं और रजिस्टर के माध्यम से जांचते हैं।

यह सब डेटा, ज़ाहिर है, पहले से ही कहीं न कहीं है, इसलिए इसे केवल स्वचालित रूप से खींचना सही होगा।

पहले, कंपनी, सिद्धांत रूप में, एक भी स्थिति नहीं थी, एक स्पष्ट टीम जो ऐसा करेगी। कई बिखरे हुए विभाजन थे जो मैन्युअल रूप से डेटा दर्ज करते थे। लेकिन आमतौर पर ऐसी संरचनाओं के लिए यह मुश्किल होता है कि डेटा के साथ काम करने की प्रक्रिया में वास्तव में क्या और कहाँ बिल्कुल तैयार किया जाना चाहिए ताकि सब कुछ सही हो। इसलिए, हम NSI के प्रारूप और प्रबंधन संरचना की समीक्षा कर रहे हैं।

5. डेटा वेयरहाउस (डेटा नोड) का कार्यान्वयन

यह वही है जो हमने इस क्षेत्र में करना शुरू किया।

आइए तुरंत शब्दों को परिभाषित करें, अन्यथा मैं जिन वाक्यांशों का उपयोग करता हूं, वे कुछ अन्य अवधारणाओं के साथ अंतर कर सकते हैं। मोटे तौर पर, डेटा नोड = डेटा लेक + डेटा वेयरहाउस। थोड़ा और मैं इसे और अधिक विस्तार से प्रकट करूंगा।

आर्किटेक्चर

सबसे पहले, हमने यह पता लगाने की कोशिश की कि किस तरह के डेटा के साथ काम करना है - कौन से सिस्टम हैं, कौन से सेंसर हैं। हम समझ गए कि स्ट्रीमिंग डेटा की तरह क्या होगा (यह वही है जो उद्यम खुद अपने सभी उपकरणों से उत्पन्न करते हैं, यह IIoT और इसी तरह है) और शास्त्रीय सिस्टम, विभिन्न सीआरएम, ईआरपी और जैसे।

हमने महसूस किया कि वर्तमान प्रणालियों में डेटा सीधे वॉल्यूम में बहुत बड़े होने के लिए पर्याप्त नहीं होगा, लेकिन डिजिटल टूल और IIoT की शुरूआत के साथ उनमें से बहुत कुछ होगा। और क्लासिक अकाउंटिंग सिस्टम से बहुत विषम डेटा भी होगा। इसलिए, वे ऐसी योजना की वास्तुकला के साथ आए।



ब्लॉकों पर आगे का विवरण।

भंडारण

यह हमारे मंच का मुख्य आधार है। डेटा को प्रोसेस करने और स्टोर करने के लिए क्या उपयोग किया जाता है। चुनौती 60 से अधिक विभिन्न प्रणालियों से डेटा डाउनलोड करने की है जब वे उन्हें वितरित करना शुरू करते हैं। यही है, आम तौर पर सभी डेटा होते हैं जो कुछ निर्णय लेने के लिए उपयोगी हो सकते हैं।

चलो डेटा के निष्कर्षण और प्रसंस्करण के साथ शुरू करते हैं। इन उद्देश्यों के लिए, हम स्ट्रीमिंग और पैकेट डेटा के साथ-साथ स्ट्रीमिंग प्रोसेसिंग टूल के लिए NiFi ETL टूल का उपयोग करने की योजना बनाते हैं: प्राथमिक डेटा रिसेप्शन और डिकोडिंग के लिए फ़्लुम, बफ़रिंग के लिए काफ्का, फ़्लिकर और स्पार्क स्ट्रीमिंग डेटा धाराओं के प्रसंस्करण के लिए मुख्य उपकरण के रूप में।

एसएपी स्टैक सिस्टम के साथ काम करना सबसे मुश्किल है। आपको एसएपी से एक अलग ईटीएल उपकरण - एसएपी डेटा सेवाओं का उपयोग करके डेटा पुनर्प्राप्त करना होगा।

भंडारण उपकरणों के रूप में, हम क्लोर्डा हडोप प्लेटफॉर्म (HDFS, HBASE, हाइव, इम्पाला), वर्टिका विश्लेषणात्मक DBMS और, व्यक्तिगत मामलों, इलास्टिक्स के लिए उपयोग करने की योजना बनाते हैं।

असल में, हम सबसे उन्नत स्टैक का उपयोग करते हैं। हां, आप हम पर टमाटर फेंकने की कोशिश कर सकते हैं और उस पर ताना मार सकते हैं जिसे हम सबसे आधुनिक स्टैक कहते हैं, लेकिन वास्तव में - यह है।

हम विरासत विकास तक सीमित नहीं हैं, लेकिन हम अपने मंच के स्पष्ट उद्यम उन्मुखीकरण के कारण औद्योगिक समाधान में रक्तस्रावी धार का उपयोग नहीं कर सकते हैं। इसलिए, हो सकता है कि हम हॉर्टन को न खींचें, लेकिन खुद को क्लाउड तक सीमित रखें, जहां भी संभव हो, हम निश्चित रूप से एक नए टूल को खींचने की कोशिश कर रहे हैं।



एसएएस डेटा गुणवत्ता का उपयोग डेटा गुणवत्ता को नियंत्रित करने के लिए किया जाता है, और इस सभी अच्छाई को प्रबंधित करने के लिए एयरफ्लो का उपयोग किया जाता है। हम ELK स्टैक के माध्यम से पूरे प्लेटफ़ॉर्म की निगरानी करते हैं। हम Tableau पर सबसे अधिक भाग के लिए विज़ुअलाइज़ेशन करने की योजना बनाते हैं, SAP BO पर कुछ पूरी तरह से स्थिर रिपोर्ट।

हम पहले से ही समझते हैं कि मानक बीआई समाधानों के माध्यम से कार्यों के हिस्से को महसूस नहीं किया जा सकता है, क्योंकि बहुत सारे कार्डबोर्ड नियंत्रणों के साथ बहुत ही परिष्कृत वास्तविक समय दृश्य की आवश्यकता होती है। इसलिए, हम अपने स्वयं के विज़ुअलाइज़ेशन फ्रेमवर्क को लिखेंगे, जिसे विकास के तहत डिजिटल उत्पादों में एम्बेड किया जा सकता है।

डिजिटल प्लेटफॉर्म के बारे में

यदि आप थोड़ा और व्यापक रूप से देखें, तो अब डिजिटल प्रौद्योगिकी फ़ंक्शन के हमारे सहयोगी एक एकल डिजिटल प्लेटफ़ॉर्म का निर्माण कर रहे हैं, जिसका कार्य जल्दी से हमारे अपने अनुप्रयोगों को विकसित करना है।

डेटा लेक इस प्लेटफॉर्म के तत्वों में से एक है।
इस गतिविधि के भाग के रूप में, हम समझते हैं कि हमें विश्लेषणात्मक डेटा तक पहुँचने के लिए एक सुविधाजनक इंटरफ़ेस लागू करने की आवश्यकता होगी। इसलिए, हम डेटा डेटा को और अधिक सुविधाजनक पहुंच के लिए डेटा एपीआई और उत्पादन वस्तु मॉडल को लागू करने की योजना बनाते हैं।

हम और क्या करते हैं और हमें क्या चाहिए

डेटा संग्रह और प्रसंस्करण के अलावा, सभी मशीन लर्निंग, साथ ही IIoT फ्रेमवर्क, हमारे मंच पर काम करेगा। झील प्रशिक्षण और काम करने वाले मॉडल के लिए डेटा के स्रोत के रूप में और कार्य मॉडल के लिए क्षमता के रूप में कार्य करेगी। मंच के शीर्ष पर काम करने वाला एक एमएल ढांचा पहले से तैयार है।



अभी मेरे पास एक टीम है, कुछ आर्किटेक्ट और 6 डेवलपर्स हैं, इसलिए हम सक्रिय रूप से नए लोगों की तलाश कर रहे हैं (मुझे डेटा आर्किटेक्ट और डेटा इंजीनियरों की आवश्यकता है ) जो हमें मंच के विकास में मदद करेंगे। आपको विरासत में इधर-उधर टटोलना नहीं पड़ता है (विरासत केवल सिस्टम से प्रवेश द्वार पर है), स्टैक ताजा है।



यही वह जगह है जहां सूक्ष्मताएं होंगी - यह एकीकरण में है। पुराने को नए से जोड़ना, ताकि वह ठीक काम करे और समस्याओं को हल करे, एक चुनौती है। इसके अलावा, विभिन्न मैट्रिक्स का आविष्कार, काम करना और लटका देना आवश्यक होगा।

डेटा संग्रह सभी प्रमुख प्रणालियों - 1 सी, एसएपी और बाकी सब चीजों के एक समूह से किया जाता है। यहां एकत्रित आंकड़ों के आधार पर, सभी एनालिटिक्स, सभी भविष्यवाणियां, सभी डिजिटल रिपोर्टिंग का निर्माण किया जाएगा।

संक्षेप में, हम डेटा के काम को वास्तव में अच्छा बनाना चाहते हैं। उदाहरण के लिए, विपणन और बिक्री - वे लोग हैं जो हाथ से सभी आंकड़े एकत्र करते हैं। यही है, वे बैठते हैं और 5 अलग-अलग प्रणालियों से अलग-अलग प्रारूपों में डेटा को अलग करते हैं, उन्हें 5 अलग-अलग कार्यक्रमों से लोड करते हैं, फिर इन सभी को एक्सेल में लोड करते हैं। फिर वे जानकारी को एकीकृत एक्सेल तालिकाओं में सारांशित करते हैं, किसी तरह वे दृश्य बनाने की कोशिश करते हैं।

सामान्य तौर पर, वैगन यह सब समय लेता है। हम ऐसी समस्याओं को अपने प्लेटफॉर्म से हल करना चाहते हैं। और निम्नलिखित पोस्टों में हम आपको विस्तार से बताएंगे कि हमने तत्वों को एक साथ कैसे जोड़ा और सिस्टम के सही संचालन की स्थापना की।

वैसे, इस टीम में आर्किटेक्ट और डेटा इंजीनियरों के अलावा, हमें यह देखकर खुशी होगी:

• द्वि डेवलपर्स
• डेटा गुणवत्ता विशेषज्ञ
• बैकएंड डेवलपर्स
• NSI के विशेषज्ञ
• डेटा पार्टनर