दोस्तों उद्योग और बड़ा डाटा कैसे बनाये

एक दिन एक डिजिटलीकरण विशेषज्ञ कारखाने में आता है। वह इधर-उधर गया, वहाँ चला गया, अपना माथा सिकोड़ लिया और कहा: “मुझे पता है कि तुम यहाँ कुछ कैसे अनुकूलित कर सकते हो। आप विशेष रूप से बचाएंगे! इस उत्पादन डेटा के लिए बस मुझे एक्सेस, ओओ, दें। " जवाब में, संयंत्र सिकुड़ गया। “यहां हमारे पास बिक्री विश्लेषक हैं। टर्बाइन के बारे में कुछ कहना है - बहुत स्मार्ट सीमेंस टर्बाइन। और बाकी उपकरणों के लिए, कुछ भी नहीं था। ”

आपने दो दुनियाओं के संघर्ष के बारे में एक लघु-उद्योग और एनालिटिक्स पढ़ा। हम केवल पिछले एक से हैं, और यहां बताया गया है कि यह हमारे लिए कैसा है: एक तरफ, डेटा प्रबंधन प्रोटोकॉल नाम में बड़ी संख्या में अंक जो कि उपकरण प्रबंधन और सामान्य मनुष्यों के लिए दुर्गम के लिए बनाए गए थे। अन्य पर - विश्लेषणात्मक प्रणाली, सुंदर रिपोर्टिंग, सुविधाजनक डैशबोर्ड और अन्य सुविधाएं।


हर उत्पादन उच्च तकनीकी स्तर तक नहीं पहुंचा है। लेकिन सभी को मदद की जरूरत है। फोटो में फिल्म "प्लांट" से एक फ्रेम।

इस पोस्ट में, हम आपको बताएंगे कि कैसे हम एक मानवीय चेहरे (एक साधारण डेटा वैज्ञानिक के मानकों द्वारा) को फैशन करने की कोशिश करते हैं - व्यापार विश्लेषकों को औद्योगिक डेटा को संसाधित करने और सुंदर बीआई रिपोर्टिंग का उपयोग करने में सक्षम करने के लिए।

अब हमारे पास क्या है

हाल ही में, हम एक गैस प्रसंस्करण कंपनी का दौरा कर रहे थे। कंपनी बड़ी है, कई कारखानों को जोड़ती है। हम कंट्रोल रूम में चले गए। वहां सब कुछ बहुत अच्छी तरह से सुसज्जित है: प्रत्येक डिस्पैचर में 6-8 मॉनिटर हैं, और दीवारों पर विशाल प्लाज्मा हैं। यह सिर्फ इन plasmas की सामग्री है ... वांछित होने के लिए बहुत कुछ छोड़ देता है। विंडोज से इस खिड़की के शीर्ष पर एक अजीब दिखने वाला नक्शा, बेवकूफ तीर, जो भयानक यातना से बच गया और कुछ नंबर दिखा।

"क्यों इतना vyrviglaznoe?" - हम पूछते हैं। "यह सबसे अच्छा है जिसे हम अपने औद्योगिक सिस्टम से बाहर निकाल सकते हैं," हम जवाब में सुनते हैं। किसी घटना के लिए डिस्पैचर का प्रतिक्रिया समय आमतौर पर 30 सेकंड से अधिक नहीं होना चाहिए, लेकिन इस तरह के इंटरफ़ेस के साथ मिलना आसान नहीं है। यहाँ कोई बीआई और गंध नहीं है।

एक और गैर-इंटरफ़ेस कहानी। डेटा वैज्ञानिक संयंत्र में आते हैं और कहते हैं: "इन आंकड़ों को अपनी स्थापना के बारे में दें, और हम इसमें 95% सटीकता के साथ समस्याओं का अनुमान लगा सकते हैं।" ठीक है, कम से कम वे ऐसा वादा करते हैं। वे संयंत्र में सिर हिलाते हैं, और डेटा वैज्ञानिकों के लिए स्क्रिप्ट काफ्का की सबसे अच्छी परंपराओं में शुरू होती है। स्पॉट डेटा संग्रह। सौ प्रणालियों के अनुसार। प्रत्येक के लिए, आपको पाँच कथन लिखने होंगे। पांचवें घुटने तक एक व्यक्तिगत जीवनी और वंशावली संलग्न करें। सभी विश्लेषणों को पास करें, उन्हें एक स्वतंत्र विषय पर निबंध में संलग्न करें और बॉस के अच्छे मूड को पकड़ें। और तभी हम सफलता पर भरोसा कर सकते हैं। अधिक ठीक है, आशा है।

फैक्टरी विश्लेषण

ऊपर वर्णित लोगों की समस्याओं को हल करने के लिए, आपको विश्लेषिकी के साथ उद्योग मित्र बनाने की आवश्यकता है। ऐसा करने के लिए, हम एक एकीकृत वास्तुकला के साथ एक एकल प्रणाली का निर्माण कर रहे हैं। ऐसी प्रणाली पूरी तरह से विभिन्न प्रकार के डेटा के साथ काम कर सकती है और उनके आधार पर विश्लेषणात्मक समस्याओं को हल कर सकती है। हम एक एकीकृत वास्तुकला के साथ एक प्रणाली का निर्माण कर रहे हैं, न कि कुछ सार्वभौमिक, क्योंकि सार्वभौमिक प्रणाली किसी भी समस्या को समान रूप से बुरी तरह से हल करती हैं। एक जटिल वास्तुकला में, हम विभिन्न प्रकार के डेटा के एनालिटिक्स टूल को जोड़ते हैं। यहाँ यह है कि यह कैसा दिख सकता है:



उत्पादन में कई प्रकार के डेटा होते हैं। व्यापार प्रणालियों और लेखा प्रणालियों से क्लासिक संबंधपरक डेटा हैं। उपकरण सेंसर से डेटा है - समय श्रृंखला। वीडियो एनालिटिक्स से घटनाएँ होती हैं - उन्हें डेटालेक में डाल दिया जाता है और उन पर एकीकृत निगरानी की जाती है (अब यह एक लोकप्रिय विषय है)। व्यापार प्रणालियों से लॉग होते हैं जिन्हें आगे की प्रक्रिया के लिए अनुक्रमित करने की आवश्यकता होती है (हम अपाचे सोलर का उपयोग करते हैं) उत्पादन की निगरानी में क्या हो रहा है इसकी एक वास्तविक तस्वीर प्राप्त करने के लिए खाते की निगरानी कैमरों में हो रही है और यह मूल्यांकन करने के लिए कि ऑपरेटर कुछ घटनाओं का जवाब कैसे देते हैं। और यह सब नहीं है, प्रत्येक उत्पादन की आवश्यकताओं का अपना संयोजन है। और अंत में, डेटा के साथ सभी काम एक एकल पारिस्थितिकी तंत्र के भीतर जुड़ा होना चाहिए, जो लचीले एक्सेस सेटिंग्स और सामान्य विश्लेषण टूल के साथ एक केंद्रीकृत भंडारण में डेटा एकत्र करने की अनुमति देगा।

हाल ही में हमारे पास एक परियोजना थी: संयंत्र के तकनीकी मोड की निगरानी के साथ-साथ कच्चे माल की गुणवत्ता को व्यवस्थित करने के लिए। निगरानी प्रणाली को वास्तविक समय में सभी महत्वपूर्ण संकेतकों की निगरानी करनी चाहिए और बहुत मूल सूत्रों का उपयोग करते हुए मानकों के साथ उनकी तुलना करनी चाहिए। हम एक डेटाबेस से कच्चे माल की प्रयोगशाला विश्लेषण, और दूसरे से उपकरण प्रदर्शन संकेतक लेते हैं।

नतीजतन, ऑपरेटर को अपनी स्थापना में क्या हो रहा है, इसकी एक व्यापक तस्वीर मिलती है: आपको जिस पर ध्यान देने की आवश्यकता है, क्या वह काम को रोकने के लायक है और यह कितना गंभीर है। आदर्श कार्य से प्रत्येक विचलन के लिए, ऑपरेटर को विफलता के कारण को ठीक करना होगा। इस प्रकार, घटनाओं पर ज्ञान का आधार विकसित हुआ है।

उसी समय, सभी विश्लेषिकी एक सुंदर और सुविधाजनक बीआई-सिस्टम के माध्यम से प्रदर्शित की जाती हैं। यह आपको न केवल सरल रिपोर्टिंग का निर्माण करने की अनुमति देता है, बल्कि समझने योग्य और सहज जानकारी पैनल (डैशबोर्ड) भी बनाने की अनुमति देता है। और यह एक और तर्क है कि विश्लेषणात्मक प्रणालियों के साथ औद्योगिक डेटा मित्र बनाने के लिए इतना महत्वपूर्ण क्यों है। NDA के कारणों के लिए, हम इस प्रोजेक्ट से डैशबोर्ड नहीं दिखा सकते हैं, लेकिन इसके विपरीत हम BI सिस्टम और औद्योगिक सिस्टम को विज़ुअलाइज़ करने के दृष्टिकोण के सार्वजनिक उदाहरण देते हैं।

यहाँ बीआई रिपोर्ट की तरह लग सकता है:



और यहाँ स्काडा इंटरफ़ेस है:



हमारे प्लेटफ़ॉर्म के विकास के हिस्से के रूप में, हम भविष्य कहनेवाला एनालिटिक्स को जोड़ने पर विचार कर रहे हैं, जो कारण पैटर्न का खुलासा करता है। विभिन्न कारणों से अलग-अलग परिदृश्य होते हैं। उदाहरण के लिए, निर्धारित रखरखाव के बाद कच्चे माल की खराब गुणवत्ता या उपकरणों के अनुचित समायोजन से अंतिम उत्पाद या उपकरण की विफलता की गुणवत्ता में कमी हो सकती है।

एक एनालिटिक्स सिस्टम के लिए मुख्य आवश्यकताओं में से एक वह गति है जिस पर सूचना प्राप्त होती है। यह सेंसरों से टेलीमेट्री और वास्तविक समय मोड के पास संकेतक की गणना (कार्यशाला के लिए एकत्रीकरण संकेतकों के तथ्य / तथ्य) की गणना है। यह आपको उत्पादन के परिचालन प्रबंधन को समायोजित करने की अनुमति देता है।

कुछ इस तरह से काम करता है एक बहादुर नई दुनिया। लेकिन वास्तव में बारीकियां हैं।

औद्योगिक डेटा विश्लेषण, या उत्पादन में व्यावसायिक बुद्धि का सिरदर्द

डेटा एनालिटिक्स के लिए सुविधाजनक रूप में औद्योगिक प्रणालियों (जो वास्तव में कोई नहीं एकत्र करता है) से डेटा कैसे कम करें? औद्योगिक डेटा के लिए मानक प्रोटोकॉल में से एक OPC DA / HDA है। यह खुला हुआ प्रतीत होता है, लेकिन केवल संघ के सदस्यों को इसके विनिर्देशों तक पहुंच प्राप्त है। संघ में सदस्यता महंगी है, और इस प्रोटोकॉल के स्थिर खुले कार्यान्वयन मौजूद नहीं हैं।

इसे और अन्य औद्योगिक प्रोटोकॉल को आधुनिक एनालिटिक्स सिस्टम से जोड़ने के लिए , हम प्रत्येक प्रोटोकॉल के लिए प्रवेश द्वार बनाते हैं। यह औद्योगिक समाधानों की एक अलग टीम द्वारा किया जाता है। प्रोटोकॉल के नामों में बड़ी संख्या उन्हें प्रेरित करती है। टीम को औद्योगिक कनेक्टर लिखने का अनुभव है (उदाहरण के लिए, ओपीसी डीए / एचडीए प्रोटोकॉल का उपयोग करके, पीआई एसडीके, आदि का उपयोग करके)।

लेकिन बड़े डेटा की दुनिया के साथ औद्योगिक प्रोटोकॉल को जोड़ने के लिए, हम अपाचे NiFi का उपयोग करते हैं - Hadoop पारिस्थितिकी तंत्र से एक उपकरण जो आपको स्ट्रीमिंग प्रोसेसिंग मोड में एकीकरण को लागू करने की अनुमति देता है।

उद्योग और एनालिटिक्स के बीच इस सबसे महत्वपूर्ण पुल का निर्माण करके, हम परिचित Hadoop स्टैक पर समस्या को हल करने में सक्षम थे। औद्योगिक परियोजनाओं में, हम अक्सर अपने घरेलू साझेदार अर्नदता के वितरण का उपयोग करते हैं। अपाचे फीनिक्स के साथ, हम SQL का उपयोग करके JDBC डेटा का चयन करते हैं। हाल के संस्करणों में, फीनिक्स को समय श्रृंखला के साथ काम करने के लिए अच्छी तरह से अनुकूलित किया गया है जो हमेशा औद्योगिक परियोजनाओं में दिखाई देता है।

हम एक विक्रेता के उत्पादों के साथ जटिल विश्लेषणात्मक प्रणाली को बंद करने में सक्षम थे, जो महत्वपूर्ण है जब यह उद्यम समाधान की बात आती है। अपाचे स्पार्क का उपयोग सेटिंग्स की गणना करने के लिए किया जाता है (उपकरण ऑपरेटिंग मोड में विचलन), परिकलित संकेतक और अन्य KPI - Hadoop पारिस्थितिकी तंत्र के भीतर वास्तविक समय मोड में वितरित गणना करने के लिए एक घटक।

बारीकियों

काश, औद्योगिक प्रोटोकॉल जटिल होते। पहली बार हमने पीआई के साथ एकीकरण करने की योजना बनाई, हमें उम्मीद थी कि हम इसका मानक जेडीबीसी इंटरफ़ेस लेंगे और हमें सरल और त्वरित खुशी होगी। और जब उन्होंने इंटरफ़ेस के साथ काम करना शुरू किया, तो यह पता चला कि इसकी बैंडविड्थ वर्तमान डेटा को लोड करने के लिए पर्याप्त नहीं थी। कहानी डाउनलोड करने का उल्लेख नहीं। लेकिन कनेक्टर का अपना आंतरिक एसडीके एपीआई है, जो डेटा के साथ जल्दी से काम कर सकता है। इसलिए हमने इस एपीआई पर एक विशेष गेटवे लिखा और समस्या को हल किया।

हमने इस समस्या के समाधान के लिए इस तरह से संपर्क किया कि अंत में हमें एक प्रदर्शन के रूप में विचलन की अवधि की प्रस्तुति मिले। ऐसा करने के लिए, यह गणना करना आवश्यक था कि संकेतक कितनी बार और कब मानक से परे चले गए। यदि आप विचलन की तलाश में पूरी कहानी का विश्लेषण करते हैं, तो इसके लिए बहुत सारे संसाधनों की आवश्यकता होगी। इसलिए हम सिर्फ मूल्यों की एक श्रृंखला के माध्यम से चले गए, प्रत्येक बाद और पिछले तुलना। यदि दोनों सामान्य हैं / सामान्य नहीं हैं - कोई विचलन नहीं है / यह जारी है। यदि दोनों में से कोई भी सामान्य नहीं है - हम क्रमशः विचलन की शुरुआत या समाप्ति की गणना करते हैं। इसलिए हम विश्लेषकों और प्रौद्योगिकीविदों के आंकड़ों के साथ एक शोकेस बनाते समय कंप्यूटिंग शक्ति को बचाने में सक्षम थे।

संभावनाओं

उद्योग में इन परियोजनाओं का उद्देश्य न केवल सब कुछ सुंदर और स्पष्ट करना है, बल्कि उत्पादन के लिए एक विश्लेषणात्मक मंच तैयार करना है, एक डिजिटल उद्यम पर जाएं, जहां एक ही स्थान पर सभी घटनाओं को इकट्ठा करना और विश्लेषण करना संभव है।

वर्णित मंच के लिए, यह एक बार में कई विभागों के लिए उपयोगी है। हमने उन लोगों की समस्या को हल कर दिया है जो उत्पादन का प्रबंधन करते हैं। यदि पहले ऑपरेटर उपकरण संचालन में मामूली विचलन का जवाब नहीं दे सकते थे, तो अब उन्हें प्रत्येक गैर-अनुपालन के लिए प्रबंधन को रिपोर्ट करना होगा। यह इस समय मूल्य प्रदान करता है। हमने डिजिटाइज़र और आरएंडडी सेवाओं को उत्पादन के बारे में जानकारी का एक सुविधाजनक स्रोत दिया, जो हमें किसी भी समय के लिए किसी भी घटना का विश्लेषण करने की अनुमति देता है - यह भविष्य में मूल्य प्रदान करेगा।

अब हम सक्रिय रूप से ऐसे तकनीकी प्लेटफार्मों के विकास में लगे हुए हैं, जो कार्यान्वयन के साथ प्रयोग कर रहे हैं। सामान्य तौर पर, हम उत्पादन नियंत्रण को स्वचालित करने के लिए उद्योग को मैन्युअल नियंत्रण से दूर करने का प्रयास करते हैं, जैसा कि इलॉन मास्क के कारखानों में होता है।

हम सभी के साथ बातचीत करने में प्रसन्न होंगे - दोनों बड़े डेटा के डेवलपर्स और आर्किटेक्ट (जिन्हें हम अपनी टीम के लिए आमंत्रित कर सकते हैं), और डिजिलॉकर, उत्पादन प्रबंधकों के साथ, उन्हें हमारे अनुभव के बारे में बताएं और साथ काम करने के लिए विकल्पों की पेशकश करें। सभी के लिए, हम बड़ी डेटा-बैठकें करते हैं, जिस पर हम सभी मुद्दों और सुझावों पर चर्चा करने में प्रसन्न होते हैं।

मेरा मेल EOsipov@croc.ru है