डेटा मॉडल शब्दकोश

मिखाइल कोनोवालोव, एकीकरण परियोजना सहायता विभाग के प्रमुख, आईसीडी आईटी निदेशालय

शुभ दिन, Khabrovites!

लक्ष्य

डाउनलोड को प्रबंधित करने के लिए एक व्यवस्थित दृष्टिकोण। हम यह बताना चाहते हैं कि रिपॉजिटरी के फिलिंग को कैसे सुव्यवस्थित और स्वचालित किया जाए, और साथ ही साथ विभिन्न स्रोतों से प्रवाह में भ्रमित न हों।

प्रस्तावना

जितनी जल्दी या बाद में, किसी भी कंपनी के कॉर्पोरेट डेटाबेस में एक क्षण आता है, जब यह आकार बढ़ता है कि आर्किटेक्ट की आंख प्रणाली की अनिश्चितता (अराजकता) को पकड़ना बंद कर देती है, और विभिन्न स्रोतों से सभी प्रकार के डाउनलोड के एक बेकाबू द्रव्यमान में बदल जाती है।

आप भाग्यशाली हैं यदि आपका सिस्टम खरोंच (पहली तालिका से) से विकसित किया गया था और एक वास्तुकार, डेवलपर्स और विश्लेषकों की एक टीम द्वारा चलाया गया था। और इसके अलावा, इस वास्तुकार ने सक्षम रूप से डेटा वेयरहाउस मॉडल का नेतृत्व किया। लेकिन जीवन बहुआयामी है, ज्यादातर मामलों में डीडब्ल्यूएच अनायास बढ़ता है, पहले 30 टेबल थे, फिर हमने आवश्यकतानुसार थोड़ा और जोड़ा, और फिर हमें यह पसंद आया और हमने हर अवसर के लिए जोड़ना शुरू किया, और अब हमारे पास पाँच हज़ार से अधिक हैं, हाँ परतें, मंचन और शोकेस अभी भी दिखाई दिए। और यह सब "खुशी" हम पर एक के परिणामस्वरूप गिर गई, लेकिन बहुत सुविधाजनक प्रक्रिया है, जो एक कठिन कारण संबंध है:

• व्यवसाय कहता है: “हमें इस तरह के डेटा की आवश्यकता है। नई रिपोर्ट चाहिए »
• विश्लेषक देख रहा है
• डेवलपर लागू करता है
• आर्किटेक्ट डेटा मॉडल में समन्वय और योगदान देता है

लेकिन, एक नियम के रूप में, वास्तविकता में अंतिम बिंदु मौजूद नहीं है। और यह केवल उन बड़ी कंपनियों में एक निश्चित समय पर दिखाई देता है जो अपने DWH में बढ़ी हैं, जहां एक साफ-सुथरा आर्किटेक्ट डेटाबेस में सूचना की अखंडता का प्रबंधन करता है। इस तरह के रिपॉजिटरी पिछली संरचना की समीक्षा का प्रतिनिधित्व करते हैं, जिसे फिर से बनाया गया था, और अक्सर फिर से बनाया गया था, जो पिछले (दस्तावेज नहीं) संस्करण पर एक नजर के साथ था।

तो, एक संक्षिप्त सारांश:

1. कोई DWH नहीं है जो तुरंत पैदा हुआ था और पहले तालिकाओं के एक सेट के साथ एक नियमित डेटाबेस का प्रतिनिधित्व नहीं करता था;
2. वह सब कुछ जो अब मौजूद है, और एक स्पष्ट रूप से एल्गोरिथ्म और प्रलेखित संरचना है, पिछले घटनाक्रम से "कड़वा अनुभव" के परिणामस्वरूप प्राप्त किया गया था।

यदि आप "सही" DWH के खुश मालिक हैं, या इस खुश मालिक की टीम का हिस्सा हैं, तो यह लेख "सिद्धांत रूप में" आपको दिलचस्प लग सकता है। और अगर आपको बस समीक्षा के माध्यम से जाना है, या (आपको मना किया है) पुनर्निर्माण, तो यह लेख आपके जीवन को बहुत सरल कर सकता है।

चूंकि सूचना स्रोतों की अकल्पनीय मात्रा हो सकती है, इसलिए विभिन्न वस्तुओं के डाउनलोड और अधिभार धाराओं की कम से कम एक ही संख्या होती है, और अक्सर बहुत अधिक होती है, क्योंकि प्रत्येक डेटाबेस ऑब्जेक्ट एक से अधिक परिवर्तनों से गुजर सकता है इससे पहले कि उसका डेटा अंत उपयोगकर्ता द्वारा बनाया जा सके। व्यवसाय की रिपोर्ट। लेकिन यह उसके लिए है, व्यापार के लिए, न कि अपने स्वयं के आनंद के लिए कि यह पूरा पारिस्थितिक तंत्र "पोत से पोत में आधान" के लिए बनाया गया था।

Oracle का उपयोग हमारे भंडारण के डेटाबेस के रूप में किया जाता है। एक बार, निर्माण के चरण में, हमारे डेटाबेस के केंद्रीय कोर में सैकड़ों टेबल के एक जोड़े शामिल थे। हमने मंचन और दुकान की खिड़कियों के बारे में नहीं सोचा। लेकिन, जैसा कि वे कहते हैं, "सब कुछ बहता है, सब कुछ बदल जाता है", और अब हम बड़े हो गए हैं! व्यवसाय नई आवश्यकताओं को निर्धारित करता है, और विभिन्न एमएस एसक्यूएल, साइबेस, वर्टिका, एक्सेस डेटाबेस के साथ एकीकरण पहले से ही दिखाई दिया है। जहां से जानकारी हमारे पास प्रवाहित नहीं होती है, एक्सएमएल और जेएसएन एक्सचेंज जैसे थर्ड-पार्टी सिस्टम के साथ ऐसा एक्सक्लूसिव भी दिखाई देता है, और सूचना स्रोत के रूप में एक्सएलएस फाइल पूरी तरह से एनाक्रोनॉस्टिक है।

जीवन ने हमें समीक्षा के माध्यम से जाना और डेटा मॉडल को अपडेट किया, बनाए रखा और बनाए रखा। यहाँ मुख्य कोर के कुछ हिस्सों में से एक है:


अंजीर। 1

यह किसके लिए है, लेकिन मेरे लिए - यह केवल एक व्हामैन पेपर पर पढ़ने योग्य है, और A0 थोड़ा छोटा होगा, 4A0 से बेहतर होगा, स्क्रीन पर यह आंख या कल्पना को नहीं देता है।

अब याद रखें कि यह केवल कोर (कोर डेटा लेयर) है, या इसके मुख्य भाग के रूप में, पूर्ण कोर में कई सबसिस्टम होते हैं जो मुख्य एक से अधिक अवर नहीं होते हैं। प्राथमिक डेटा लेयर और डेटा मार्ट लेयर को भी इसमें जोड़ा जाता है। इसके अलावा - अधिक, प्राथमिक परत डेटा स्रोतों से इसकी जानकारी प्राप्त करती है, और यह, जैसा कि ऊपर उल्लेख किया गया है, विभिन्न डेटाबेस और फाइलें। दूसरी ओर, दुकान की खिड़कियों की परत तक, विभिन्न रिपोर्टिंग सिस्टम उपभोक्ता द्वारा जुड़ जाते हैं।

सबसे पहले, जब पीएल / एसक्यूएल में लागू कुछ डेटाबेस टेबल और लोडिंग एल्गोरिदम थे, तो डेटा अपडेट को समझने में कोई विशेष कठिनाइयां नहीं थीं। लेकिन DWH के उदय के साथ, एक रणनीतिक निर्णय Informatica PowerCenter को खरीदने का था। इस उपकरण की सभी सुविधा के साथ, लोडिंग की विश्वसनीयता और विकास के दृश्य के संदर्भ में, इस उपकरण के कई नुकसान हैं। नीचे दिया गया आंकड़ा DWH लोड करने के लिए स्टार्टअप अनुक्रम के लिए एक मॉडल दिखाता है।


अंजीर। 2

सबसे महत्वपूर्ण दोष यह है कि विषयगतता या इसके बजाय, केवल वास्तुकार ही यह गारंटी दे सकता है कि बिलों से पहले पोस्टिंग लोड नहीं की गई है। दुर्भाग्य से, DWH की वृद्धि के साथ, सूचना का प्रवेश भी बढ़ता है। भौतिक डेटा मॉडल (छवि 1) और इस डेटा (छवि 2) को लोड करने के तर्क को ध्यान में रखते हुए, निर्माण अभी भी प्राप्त किया गया है।

क्या करना है और इसे कैसे चलाना है, आप पूछते हैं। स्वाभाविक रूप से: एक शानदार वास्तुकार के पास, जो इन पेचीदगियों के सभी कनेक्शनों को समझने में सक्षम है। जो सभी प्रवाह की निगरानी करेगा, नए प्रवाह का समन्वय करेगा, और पोस्टिंग तालिका को खाता तालिका से पहले लोड होने से रोकेगा। बेशक, यह सब एल्गोरिदम में सीवन किया गया है और डाउनलोड कटऑफ द्वारा विनियमित किया गया है, लेकिन शुरू में केवल एक वास्तुकार ही डाउनलोड को एक सख्त अनुक्रम को समझ और सेट कर सकता है, और इस तरह की शाखाओं के साथ गलतियों की संभावना बहुत अधिक है।

सिद्धांत

अब मैं डेटा मॉडल शब्दकोश के मुख्य विचारों को बताने की कोशिश करूंगा, साथ ही यह किस कार्य को हल करता है।

चूंकि भंडारण में डेटा टेबल में हैं, और डेटा स्रोत आंशिक रूप से टेबल हैं, और आंशिक रूप से दृश्य हैं, बाद वाले स्वयं टेबल हैं। तब एक सरल विचार इस प्रकार है - एक टेबल बनाने के लिए - टेबल निर्भरता संरचना। 3NF फॉर्म इसके लिए पूरी तरह से अनुकूल है।

सबसे पहले, DWH इकाई डेटा को भरना, हम इसे (लक्ष्य) कहते हैं , सबसे सामान्य मामले में, विभिन्न तालिकाओं से चयन के रूप में प्रतिनिधित्व किया जा सकता है। चाहे वह Oracle टेबल हो, SyBase, MSSQL, xls-files या कुछ और, यह इतना महत्वपूर्ण नहीं है, यह सब, हम उनके स्रोत (स्रोत) कहते हैं । यही है, हमारे पास एक स्रोत है जो लक्ष्य में बहता है।

दूसरे, प्रत्येक DWH इकाई में एक-दूसरे के संदर्भ होते हैं।

तीसरा, विभिन्न DWH संस्थाओं के डाउनलोड शुरू करने का कालक्रम है।

यह छोटे के लिए मामला है, लागू करने के लिए - कैसे? ऐसा लगता है कि यह आपके डीडब्ल्यूएच की नींव से बहुत ही सरल है, वास्तुकार, जब इकाई (लक्ष्य) की अगली तालिका दिखाई देती है, तो रिसीवर इकाई में और सभी संस्थाओं में स्रोत के रूप में काम करने वाले शब्दकोश को देखना और डालना पड़ता है। इसके अलावा, शब्दकोश की दूसरी तालिका में, इन संस्थाओं स्रोतों के बीच के लिंक और साथ ही सभी अधीनस्थ तालिकाओं के लिंक निर्दिष्ट करें, जो संदर्भ से जुड़े हों। अगला, आप स्टोरेज डाउनलोड श्रृंखला में इस इकाई के लोडिंग को एम्बेड कर सकते हैं। केवल दो तालिकाओं - और एल्गोरिथ्म में एल्गोरिथ्म के साथ डेटा को भरने के अनुक्रम को ध्यान में रखने की संभावना को हल किया जाता है।

शब्दकोश डेटा मॉडल निम्नलिखित समस्याओं का समाधान करेगा:

• निर्भरता देखें। आप देख सकते हैं कि क्या डेटा, जहां से वे तैयार किए गए हैं। यह उन विश्लेषकों के लिए सुविधाजनक है, जो हमेशा सवालों से परेशान होते हैं: "कहां, क्या झूठ और कहां से सब कुछ आता है।" इसे पेड़ के रूप में आवेदन में प्रस्तुत करें, स्रोत से लक्ष्य तक , और इसके विपरीत: लक्ष्य से स्रोत तक ।
• छोरों का टूटना। डेटा मॉडल शब्दकोश के बिना, पहले से ही काम कर रहे साझा स्ट्रीम में अगले लोड को एम्बेड करते समय, यह एक गलती करने और इसके एक स्रोत के सामने अगले लक्ष्य को लोड करने के लिए एक शुरुआती समय आवंटित करने के लिए काफी संभव है। यह एक लूप बनाता है। एक डेटा मॉडल शब्दकोश आसानी से इससे बच जाएगा।
• आप मॉडल शब्दकोश के आधार पर भंडारण को भरने के लिए एक एल्गोरिथ्म लिख सकते हैं। इस मामले में, अगले डाउनलोड को कहीं भी एम्बेड करने की आवश्यकता नहीं है, बस इसे शब्दकोश में प्रतिबिंबित करें और एल्गोरिथ्म अपनी जगह निर्धारित करेगा। यह प्रतिष्ठित "मेक ऑल" बटन पर क्लिक करने के लिए बना हुआ है। बूटलोडर सभी भंडारण संस्थाओं के हिमस्खलन-जैसे डाउनलोड लॉन्च करेगा - सरल (स्वतंत्र) से जटिल (निर्भर) तक।

कार्यान्वयन

सिद्धांत रूप में, सब कुछ हमेशा सरल और सुंदर होता है व्यवहार में, चीजें कुछ अलग होती हैं। पिछले भाग में जो लिखा गया है वह एक आदर्श स्थिति है जब डीडब्ल्यूएच को खरोंच से विकसित किया गया था, जब एक वास्तुकार इसके साथ अविभाज्य था। यदि आप भाग्यशाली नहीं हैं, तो आप सुरक्षित रूप से यह सब पारित कर चुके हैं, कोई वास्तुकार नहीं है, लेकिन तालिकाओं का एक विशाल सेट है, फिर भी, वहाँ एक रास्ता है।

अब, वास्तव में, मैं आपको बताऊंगा कि हम कैसे पकड़ बनाने और समीक्षा करने और सस्ते का पुनर्निर्माण करने में सफल रहे। हमारे DWH एक आसन्न (DWH) की जरूरत के बारे में एक नेतृत्व के फैसले के साथ विकसित करना शुरू कर दिया। उपकरण के रूप में, PL / SQL का पहली बार उपयोग किया गया था। थोड़ी देर बाद इंफॉर्मेटिका में बदल गया। स्वाभाविक रूप से, प्राथमिकता निर्माण का समय था। पावरडिजेनर में डेटा मॉडल कुछ समय बाद दिखाई दिया, उस समय तक जब विश्वास स्पष्ट रूप से बना था कि कोई भी स्पष्ट रूप से DWH की पूरी और स्पष्ट तस्वीर की कल्पना नहीं कर सकता था। हम दीवार पर मॉडल के साथ कुछ समय के लिए रहते थे, जब यह स्पष्ट हो गया था कि हम इस पूरी प्रणाली के प्रबंधन के साथ सामना नहीं कर सकते, हम एक समाधान की तलाश करने लगे जिसे मैं यहां संक्षेप में वर्णन करने का प्रयास करूंगा।

डेटा मॉडल शब्दकोश ही एक छड़ी के रूप में सरल है। लेकिन इसे भरना एक समस्या है। N- महीनों के श्रमसाध्य, और सबसे महत्वपूर्ण बात, उपरोक्त तीन भागों पर सावधानीपूर्वक विचार:

• क्या स्रोत (स्रोत) रिपॉजिटरी (लक्ष्य) की प्रत्येक इकाई के होते हैं;
• भंडारण वस्तुओं (संदर्भ) के बीच क्या संबंध हैं;
• डाउनलोड शुरू करने और भंडार भरने का कालक्रम।

सौभाग्य से, Oracle और Informatica ने हमारी मदद की, और यह बहुत सफल रहा कि Informatica रिपॉजिटरी Oracle डेटाबेस में है। इस आधार पर कि एक Informatica सत्र एक DWH इकाई का लोडिंग परमाणु है, रिपॉजिटरी में थोड़ा खुदाई करने के बाद, हमने सभी स्रोत और लक्ष्य पाए। अर्थात्, एक सत्र के ढांचे के भीतर, अपने लक्ष्य के लिए (एक नियम के रूप में, यह एक है), इसके सभी स्रोत स्रोत हैं। इस प्रकार, हम समस्या की पहली स्थिति को भर सकते हैं। लेकिन आनन्दित होने के लिए जल्दी मत करो, स्रोत को एक बहुत ही चतुर चयन के रूप में प्रस्तुत किया जा सकता है, इसलिए आपको एक पार्सर लिखना होगा जो चयन में निर्दिष्ट सभी तालिकाओं को खींचता है - यह बिल्कुल मुश्किल नहीं था। लेकिन यह सब नहीं है, ये तालिकाएं वास्तव में स्वयं का प्रतिनिधित्व कर सकती हैं। DBA_VIEWS (या DBA_DEPENDENCIES के माध्यम से) का उपयोग करके इस समस्या को हल किया गया था। हमने डेटा मॉडल (छवि 1) और DBA_CONSTRAINTS से इस त्रयी की दूसरी शर्त को खींच लिया। हम भी (छवि 2) के आधार पर Informatica भंडार से तीसरी शर्त प्राप्त की।

यह सब क्या आया?

• सबसे पहले, हमने उन सभी छोरों को खोल दिया, जिन्हें हम अपने डीडब्ल्यूएच के विकास में हवा देने में कामयाब रहे।
• दूसरे, हमें विश्लेषकों के लिए एक अद्भुत पेड़ मिला है:
  
  
  अंजीर। 3
• तीसरा, हमारे सुपर लोडर, अंजीर में प्रस्तुत किया गया। 2 सुरुचिपूर्ण में बदल गया (क्षमा करें, सहकर्मियों, लेकिन तस्वीर का धुंधलापन जानबूझकर है, क्योंकि यह काम कर रहा डेटा है):
  
  
  अंजीर। 4

डेटा मॉडल शब्दकोश को लागू करने के लिए आपके पास बहुत अधिक तरीके हो सकते हैं।

आप सभी को धन्यवाद!