🧕🏾 🤦 🌔 डेटा वेयरहाउस मेट्रिक्स 🤴 👩🏻‍🏫 🤐

नमस्ते।

किसी मौजूदा डेटा वेयरहाउस को बनाना या बनाए रखना, अनिवार्य रूप से ऐसे चरण में होता है जब उपयोगकर्ता इच्छाओं की बहुलता डीबीएमएस की भौतिक सीमाओं की अनिवार्यता के साथ मिलती है जो वेयरहाउस के लिए उपयोग की जाती है। वास्तव में, किसी के पास डेटा को अपडेट करने के लिए अनंत डिस्क स्थान, प्रोसेसर पावर या मनमाने ढंग से लंबे समय तक नहीं हो सकता है।

इस बिंदु पर, प्रबंधन के प्रश्न हो सकते हैं यदि वे पहले नहीं उठते थे, तो डेटाबेस में वास्तव में इतनी जगह क्या लेती है, क्यों डाउनलोड अभी तक समाप्त नहीं हुआ है, और इसी तरह।

क्या जवाब देना है, यह जानने के लिए, एक खाते का संचालन करना आवश्यक है। सीडी बनाना एक लंबी प्रक्रिया है, जिन लोगों ने वास्तुकला विकसित की है वे पहले से ही बहुत दूर हो सकते हैं, मैं इस तथ्य के बारे में बात नहीं कर रहा हूं कि व्यावसायिक आवश्यकताओं में बदलाव हो रहा है, कभी-कभी, जल्दी से फ़ायरफ़ॉक्स ब्राउज़र के नए संस्करण जारी किए जाते हैं।

जब मेरे ग्राहक ने इस सवाल के साथ मुझसे संपर्क किया कि हम वर्तमान सीडी में कितने अधिक डेटा स्टोर और प्रोसेस कर सकते हैं, तो मैं केवल यह कह सकता था कि मैं लगभग उत्तर दे सकता हूं, लेकिन मुझे पहले से ही सब कुछ गणना करना होगा, अर्थात डेटा वेयरहाउस मीट्रिक एकत्र करें।

मैंने बुनियादी मैट्रिक्स का एक निश्चित सेट तैयार करने की कोशिश की, जिसे सबसे पहले गणना करना वांछनीय है, और जिसके आधार पर, आप व्युत्पन्न मीट्रिक प्राप्त कर सकते हैं, जो बदले में पूर्वानुमान के लिए इस्तेमाल किया जा सकता है।

इस किट के प्राप्त होने के बाद, मैंने इस विषय को गूगल करने का फैसला किया और बिल इंकम द्वारा मेट्रिक्स की एक सूची के साथ एक लेख मिला , जिसे अधिकांश सीडी में गिना जाना अच्छा होगा।

स्थानांतरण की शुरुआत

सब कुछ मेट्रिक्स है। सड़क पर गति सीमा है, लोगों का वजन है, दिनों का तापमान है, कारों में टैकोमीटर है।

मेट्रिक्स हमें अपने तर्क को व्यवस्थित करने और सार्थक तुलना करने में मदद करते हैं। भले ही हम मेट्रिक्स का मतलब इस तरह से न हों, हम घटनाओं और उनकी अभिव्यक्ति की स्थितियों की तुलना कर सकते हैं। और डेटा वेयरहाउस इस मामले में कोई अपवाद नहीं हैं। यदि हमारे पास विभिन्न कंपनियों के डेटा वेयरहाउस की तुलना करने जा रहे हैं, तो हमारे पास मापने योग्य विशेषताएं होनी चाहिए। यह कुछ मानदंडों को मानने के लिए मानव स्वभाव का हिस्सा है जिसके द्वारा कोई अपने या किसी के काम के बारे में बता सकता है और दूसरों के गुणों के साथ उनकी तुलना कर सकता है।

उपरोक्त को देखते हुए, डेटा वेयरहाउस सिस्टम के लिए मीट्रिक की सूची निम्नानुसार हो सकती है:

आकार

तालिकाओं में XD।
अनुक्रमित में एच.डी.
रूपांतरण क्षेत्र की मात्रा (अस्थायी तालिकाओं और / या स्पूल की मात्रा)।

ईटीएल

ईटीएल कार्यक्रमों की संख्या।
आवृत्ति शुरू करें।
ईटीएल द्वारा संसाधित डेटा की मात्रा।
ईटीएल कार्यक्रमों के निष्पादन का स्थान।

Datamarty

HD में डेटामार्ट्स की संख्या।
डेटामार्ट्स में डेटा की मात्रा।
डेटा पुनःपूर्ति की आवृत्ति।

विस्तृत HD डेटा

डेटा एक्सेस गति (प्रति सेकंड बाइट्स)।
भौतिक रिकॉर्ड का आकार।

HD संरचनाओं

तालिकाओं की संख्या।
प्रत्येक तालिका में पंक्तियों की संख्या।
प्रत्येक तालिका के लिए औसत पंक्ति आकार।

एचडी से डेटा निर्यात करें

एचडी छोड़ने वाली प्रति तालिका पंक्तियों की संख्या।
प्रति तालिका निर्यात आवृत्ति।
निर्यात मानदंड।

एचडी अनुरोध

प्रति दिन संसाधित अनुरोधों की संख्या।
प्रत्येक अनुरोध के लिए डेटा की औसत मात्रा।

कहानी

समय की अवधि जिसके दौरान HD एक इतिहास संग्रहीत करता है।

अन्य

खनन तिथि का उपयोग करना।
अनुकूली डेटामार्ट्स।
निर्णय समर्थन अनुप्रयोग (DSS)।
ईआरपी अनुप्रयोगों।
ODS।
टेप या अन्य प्रकार के दीर्घकालिक सूचना भंडारण का उपयोग करना
संग्रह संग्रहण।

यहां आपके HD को मापने के लिए ऐसी मीट्रिक हो सकती है।

बेशक, इस सूची को विभिन्न तरीकों से विस्तारित और संशोधित किया जा सकता है। संभावित सुधारों में से एक इन मैट्रिक्स का समय जोड़ना है, क्योंकि समय की एक निश्चित अवधि के लिए मूल्यों का पालन करना बेहतर है। तो, आप गणना कर सकते हैं, उदाहरण के लिए, आकार मीट्रिक के अलावा, यह भी एक संकेतक है कि आकार कितना बदल गया है।

या आप कंपनी विभाग द्वारा कुछ तालिकाओं को विभाजित कर सकते हैं। यह अक्सर डेटा को एक साथ समूहित करने के लिए समझ में आता है, भले ही भौतिक डेटाबेस तालिकाओं में ऐसी समूहीकरण प्रदान नहीं किया गया हो। बेशक, आप यह भी दिखा सकते हैं कि कौन सी डीबीएमएस का उपयोग किस तालिका के लिए किया जाता है, उदाहरण के लिए:

टेबल एबीसी - टेराडाटा
DEF तालिका - IBM UDB
आदि

तो, एचडी मेट्रिक्स का उपयोग कौन कर सकता है?

डीबी मानते हैं।
आर्किटेक्ट डीबी।
DB डेवलपर्स।
HD उपयोगकर्ता।
व्यवस्थापकों को आकर्षित किया।
सिस्टम प्रोग्रामर
और कई अन्य ...

अनुवाद का अंत

मैंने मेट्रिक्स के 4 समूहों का चयन किया, यह देखते हुए कि इस तरह का सेट विशेष रूप से मल्टी- टेनेंट डेटा वेयरहाउस ( मल्टीटैनेंट डीडब्ल्यूएच ) की हमारी परियोजना में मैट्रिक्स को इकट्ठा करने की आवश्यकता को निर्धारित करने के लिए अच्छा होगा। ये समूह हैं:

तालिकाओं में पंक्तियों की संख्या से मीट्रिक।
प्रत्येक सर्किट के लिए अंतरिक्ष मीट्रिक (बाइट्स की संख्या)। रिपॉजिटरी में डेटा कई Oracle DBMS स्कीमा में स्थित है।
डेटा लोडिंग प्रक्रिया (ETL) के लिए मीट्रिक।
एचडी में सबसे बड़ी तथ्य तालिका पर मीट्रिक।

प्रत्येक समूह के मेट्रिक्स एक विशेष तिथि पर और प्रत्येक व्यक्तिगत स्वामी के लिए पीएल / एसक्यूएल प्रक्रियाओं का उपयोग करके एकत्र किए गए थे जो प्रत्येक लोडिंग प्रक्रिया के बाद चलते हैं।

आइए प्रत्येक समूह पर अधिक विस्तार से विचार करें।

रो मेट्रिक्स

मेट्रिक्स के इस समूह में, इन मेट्रिक्स की गणना के समय, प्रत्येक मालिक के लिए सीडी स्कीमा में प्रत्येक क्षण के लिए कितनी पंक्तियाँ थीं, इस पर जानकारी एकत्रित की जाती है।

इन संकेतकों का उपयोग करके, आप सीडी की विभिन्न परतों के बीच संबंध भी निर्धारित कर सकते हैं कि कितने टेबल विस्तृत डेटा, डेटामार्ट्स और मंच के क्षेत्र को बनाते हैं। जब एक नया टेबल दिखाई दिया, या कितने, औसतन, एक तथ्य तालिका के अनुसार निर्देशिकाएं।

यह प्रत्येक विशिष्ट तालिका की सामग्री के अनुसार विभिन्न मालिकों के लिए एक मात्रात्मक विश्लेषण भी संभव बनाता है।

स्कीमा की दी गई सूची से सभी तालिकाओं के नमूने चक्र में एसक्यूएल कोड उत्पन्न करने और चलाने के लिए मानक दृष्टिकोण का उपयोग करके गणना की गई थी।

वॉल्यूम मेट्रिक्स

एचडी तालिकाओं द्वारा कब्जा की गई मात्रा के मेट्रिक्स के लिए, मैंने DBCC द्वारा रिपोर्ट किए गए डेटा द्वारा विशेष रूप से कब्जा किए गए डेटा स्थान की गणना करने का निर्णय लिया:

SELECT owner, to_date(v_cur_date, 'RRRR-MM-DD'), sum(bytes) from dba_segments where owner in ('   ') group by owner

इस मीट्रिक के अलावा, मैं डिस्क पर डेटा द्वारा कब्जा किए गए स्थान की गणना भी जोड़ना चाहता हूं। दोनों संकेतकों की तुलना करके, आप उदाहरण के लिए, डिस्क स्थान उपयोग के संदर्भ में ईटीएल दक्षता का अनुपात प्राप्त कर सकते हैं।

ईटीएल मेट्रिक्स

ईटीएल उपकरण जो डाउनलोड के लिए उपयोग किया जाता है, वह ओरेकल वेयरहाउस बिल्डर है । नीचे दी गई स्क्रिप्ट किसी दिए गए लोडिंग प्रक्रिया के लिए निष्पादन आँकड़े एकत्र करती है, अधीनस्थ मैपिंग से संसाधित पंक्तियों की संख्या को एकत्रित करती है।

 select ae.top_level_execution_audit_id, ae.execution_name, ae.created_on, ae.elapse_time, dt.Selected, dt.Inserted, dt.Updated, dt.Deleted from owbsys.All_Rt_Audit_Executions ae, ( select sum(coalesce(au.number_records_selected, 0)) as Selected, sum(coalesce(au.number_records_inserted, 0)) as Inserted, sum(coalesce(au.number_records_updated, 0)) as Updated, sum(coalesce(au.number_records_deleted, 0)) as Deleted from OWBSYS.ALL_RT_AUDIT_MAP_RUNS au where au.execution_audit_id in (select execution_audit_id from owbsys.All_Rt_Audit_Executions ae where ae.top_level_execution_audit_id = <  >) ) dt where ae.top_level_execution_audit_id = <  >

यदि आप प्रत्येक व्यक्तिगत मैपिंग के प्रदर्शन को ट्रैक करना चाहते हैं, तो आप एकत्रित डेटा के सेट का विस्तार कर सकते हैं।

सबसे बड़ी टेबल मेट्रिक्स

मालिक के प्रत्येक सक्रिय कर्मचारी के लिए महीने में एक बार किए गए लेन-देन में सबसे बड़ी तथ्य तालिका शामिल होती है। निम्नलिखित स्क्रिप्ट:

 select p_Customer_Num, t.month_start_date, count(distinct f.Person_Id) as uniq, count(f.Person_Id) as t_cnt from dm.time_dimension t left outer join dm.trans_fact f on f.time_id = t.id and f.customer = p_Customer_Num where month_start_date between p_Start_Date and p_End_Date group by month_start_date;

आपको प्रत्येक महीने के लिए प्रत्येक डेटा स्वामी के लिए पंक्तियों की संख्या पर डेटा एकत्र करने की अनुमति देता है, साथ ही प्रत्येक महीने के लिए अद्वितीय कर्मचारियों की संख्या।

यह मीट्रिक वह बिंदु है जिसके चारों ओर आप हमारे बीआई उपकरण में शेष एकत्रित मेट्रिक्स को जोड़ सकते हैं और प्राप्त कर सकते हैं, परिणामस्वरूप, निम्नलिखित व्युत्पन्न हैं:

हर 1000 कर्मचारियों के लिए एक नया मालिक जोड़ने की प्रति सीट (जीबी में) औसत लागत।
हर 1000 कर्मचारियों के लिए एक नया मालिक जोड़ने के लिए समय (घंटों में) की औसत लागत।
प्रत्येक 1000 कर्मचारियों के लिए एक नया स्वामी जोड़ने के लिए एक पंक्ति-उन्मुख डेटाबेस प्रबंधन प्रणाली (लाखों पंक्तियों में) की औसत लागत।

आप औसत दैनिक लोड समय दिखाने वाले सुंदर रेखांकन का एक गुच्छा भी बना सकते हैं, इस समय की निर्भरता संसाधित किए गए मालिकों की संख्या आदि। ईटीएल में बदलाव, डीबीएमएस में सुधार या गिरावट आदि के बाद मीट्रिक डेटा की तुलना करें, जो सीडी के निर्माण की प्रक्रिया में सुधार के परिणामों का अधिक निष्पक्ष मूल्यांकन करने में मदद करेगा और उन सवालों के जवाब देगा जिनके साथ मैंने यह लेख शुरू किया था।