🧗🏿 🦑 👨🏽‍🏭 कॉर्पोरेट भंडारण डेटा गुणवत्ता नियंत्रण प्रक्रिया का स्वचालन 🍥 👩🏽‍⚕️ 🗣️

रोस्टेलकॉम में, किसी भी बड़ी कंपनी की तरह, एक कॉर्पोरेट डेटा वेयरहाउस (WCD) है। हमारा डब्ल्यूसीडी लगातार बढ़ रहा है और विस्तार कर रहा है, हम इस पर उपयोगी स्टोरफ्रंट, रिपोर्ट और डेटा क्यूब्स का निर्माण करते हैं। कुछ बिंदु पर, हमें इस तथ्य से सामना करना पड़ा कि खराब-गुणवत्ता वाले डेटा विंडो डिस्प्ले करते समय हमारे साथ हस्तक्षेप करते हैं, परिणामस्वरूप इकाइयां स्रोत प्रणालियों की इकाइयों के साथ नहीं जुड़ती हैं और व्यवसाय की समझ का अभाव पैदा करती हैं। उदाहरण के लिए, विदेशी कुंजियों (विदेशी कुंजियों) में शून्य मान वाले डेटा अन्य तालिकाओं के डेटा से कनेक्ट नहीं होते हैं।
WCD का संक्षिप्त चित्र:

हमने समझा कि डेटा की गुणवत्ता में विश्वास सुनिश्चित करने के लिए, हमें एक नियमित सामंजस्य प्रक्रिया की आवश्यकता है। बेशक, स्वचालित और तकनीकी स्तर के प्रत्येक की अनुमति देना डेटा की गुणवत्ता और उनके अभिसरण दोनों लंबवत और क्षैतिज रूप से सुनिश्चित करना है। नतीजतन, हमने एक साथ विभिन्न विक्रेताओं से सुलह के प्रबंधन के लिए तीन तैयार प्लेटफार्मों की समीक्षा की और अपना स्वयं का लिखा। हम इस पोस्ट में अपना अनुभव साझा करते हैं।

तैयार प्लेटफार्मों के minuses हर किसी के लिए जाने जाते हैं: मूल्य, सीमित लचीलापन, कार्यक्षमता जोड़ने और ठीक करने की क्षमता की कमी। पेशेवरों - mDM भागों (सोने के डेटा, आदि), प्रशिक्षण और समर्थन भी बंद हैं। इसकी सराहना करते हुए, हम खरीद के बारे में जल्दी से भूल गए और अपने समाधान को विकसित करने पर ध्यान केंद्रित किया।

हमारे सिस्टम का मूल पायथन में लिखा गया है, और स्टोरिंग, लॉगिंग और स्टोर करने के लिए मेटाडेटा डेटाबेस ओरेकल में लिखा गया है। पायथन के लिए बहुत सारे पुस्तकालय हैं, हम हाइव (pyhive), ग्रीनप्लम (pgdb), ओरेकल (cx_Oracle) कनेक्शन के लिए न्यूनतम आवश्यक का उपयोग करते हैं। एक अलग प्रकार के स्रोत को जोड़ना भी एक समस्या नहीं होनी चाहिए।

परिणामी डेटा सेट (परिणाम सेट) फ्लाई पर सामंजस्य (SUCCESS / ERROR) की स्थिति का मूल्यांकन करने वाले परिणामी ओरेकल टेबल में जोड़े जाते हैं। APEX को परिणामी तालिकाओं पर कॉन्फ़िगर किया गया है जिसमें परिणामों का विज़ुअलाइज़ेशन बनाया गया है, जो रखरखाव और प्रबंधन दोनों के लिए सुविधाजनक है।

रिपॉजिटरी में चेक चलाने के लिए, Informatica ऑर्केस्ट्रा का उपयोग किया जाता है, जो डेटा डाउनलोड करता है। एक डाउनलोड सफलता की स्थिति प्राप्त होने पर, यह डेटा स्वचालित रूप से सत्यापित होना शुरू हो जाएगा। क्वेरी पैरामीटरेशन और WCD मेटाडेटा का उपयोग तालिकाओं के सेट के लिए क्वेरी सुलह टेम्पलेट का उपयोग करने की अनुमति देता है।

अब इस प्लेटफ़ॉर्म पर लागू किए गए सामंजस्य के बारे में।

हमने तकनीकी सामंजस्य के साथ शुरुआत की, जो कुछ फिल्टर के आवेदन के साथ डब्ल्यूसीडी के इनपुट और परतों में डेटा की मात्रा की तुलना करते हैं। हम डब्ल्यूटीएल इनपुट पर आए ctl फ़ाइल को लेते हैं, इससे रिकॉर्ड की संख्या पढ़ते हैं और स्टेज ओडीएल और / या स्टेज ओडीएस (आरेख में 1, 2, 3) पर तालिका के साथ तुलना करते हैं। सत्यापन मानदंड को अभिलेखों की संख्या (गणना) की समानता में परिभाषित किया गया है। यदि मात्रा परिवर्तित होती है, तो परिणाम SUCCESS है, नहीं - त्रुटि का मैनुअल विश्लेषण।

अभिलेखों की संख्या की तुलना में तकनीकी सामंजस्य की यह श्रृंखला एडीएस परत (आरेख में 8) तक फैली हुई है। फिल्टर परतों के बीच बदल दिए जाते हैं, जो लोडिंग के प्रकार पर निर्भर करते हैं - डीआईएम (संदर्भ पुस्तक), एचडीआईएम (ऐतिहासिक संदर्भ पुस्तक), एफएसीटी (वास्तविक एट्रुअल टेबल), आदि - साथ ही साथ एससीडी और परत के संस्करण पर भी। प्रदर्शन परत के करीब, अधिक परिष्कृत फ़िल्टरिंग एल्गोरिदम हम उपयोग करते हैं।

पायथन में इनपुट पर एक तकनीकी जांच भी की गई, जो प्रमुख क्षेत्रों में डुप्लिकेट का पता लगाती है। हमारे ग्रीनप्लम में, प्रमुख क्षेत्र (PK) डेटाबेस सिस्टम टूल्स द्वारा डुप्लिकेट के खिलाफ सुरक्षित नहीं हैं। इसलिए हमने एक पायथन स्क्रिप्ट लिखी, जो पीके मेटाडेटा से लोड की गई तालिका के क्षेत्रों को पढ़ती है और उन पर डुप्लिकेट की जांच करने वाली एक SQL स्क्रिप्ट उत्पन्न करती है। दृष्टिकोण का लचीलापन हमें एक या कई क्षेत्रों से मिलकर पीके का उपयोग करने की अनुमति देता है, जो बेहद सुविधाजनक है। इस तरह का सामंजस्य एसटीजी एडीएस परत तक फैला हुआ है।

unique_check  import sys import os from datetime import datetime log_tmstmp = datetime.now().strftime("%Y-%m-%d %H:%M:%S") def do_check(args, context): tab = args[0] data = [] fld_str = "" try: sql = """SELECT 't_'||lower(table_id) as tn, lower(column_name) as cn FROM src_column@meta_data WHERE  table_id = '%s' and is_primary_key = 'Y'""" % (tab,) for fld in context['ora_get_data'](context['ora_con'], sql): fld_str = fld_str + (fld_str and ",") + fld[1] if fld_str: config = context['script_config'] con_gp = context['pg_open_con'](config['user'], config['pwd'], config['host'], config['port'], config['dbname']) sql = """select %s as pkg_id, 't_%s' as table_name, 'PK fields' as column_name, coalesce(sum(cnt), 0) as NOT_UNIQUE_PK, to_char(current_timestamp, 'YYYY-MM-DD HH24:MI:SS') as sys_creation from (select 1 as cnt from edw_%s.t_%s where %s group by %s  having count(*) > 1 ) sq; """ % (context["package"] or '0',tab.lower(), args[1], tab.lower(), (context["package"] and ("package_id = " + context["package"]) or "1=1"), fld_str ) data.extend(context['pg_get_data'](con_gp, sql)) con_gp.close() except Exception as e: raise return data or [[(context["package"] or 0),'t_'+tab.lower(), None, 0, log_tmstmp]] if __name__ == '__main__': sys.exit(do_check([sys.argv[1], sys.argv[2]], {}))

विशिष्टता सामंजस्य अजगर कोड उदाहरण। कॉल, कनेक्शन मापदंडों के हस्तांतरण और परिणामी तालिका में परिणाम डालकर पायथन में नियंत्रण मॉड्यूल द्वारा किया जाता है।

पूर्ण मानों की अनुपस्थिति के लिए सुलह पिछले एक और पायथन में भी इसी तरह का निर्माण किया जाता है। हम लोड मेटाडेटा फ़ील्ड से पढ़ते हैं जिसमें रिक्त (NULL) मान नहीं हो सकते हैं और उनकी पूर्णता की जांच कर सकते हैं। DDS लेयर (पहले आरेख में 6) से पहले रेककन का उपयोग किया जाता है।

भंडारण के प्रवेश द्वार पर, इनपुट पर पहुंचने वाले डेटा पैकेट का एक प्रवृत्ति विश्लेषण भी लागू किया जाता है। इतिहास तालिका में एक नया पैकेज आने पर प्राप्त होने वाली डेटा की मात्रा। डेटा की मात्रा में महत्वपूर्ण बदलाव के साथ, तालिका और SI (स्रोत प्रणाली) के लिए जिम्मेदार व्यक्ति ई-मेल (योजनाओं में) द्वारा एक अधिसूचना प्राप्त करता है, डेटा पैकेट के वेयरहाउस में जाने से पहले अपेक्स में एक त्रुटि देखता है, और एसआई के साथ इस कारण का पता लगाता है।

STG (STAGE) _ODS और ODS (ऑपरेशनल डेटा लेयर) (आरेख में 3 और 4) के बीच, टेक्निकल डिलीशन फील्ड्स (डिलीट इंडिकेटर = डिलीट_इंड) दिखाई देते हैं, जिसकी शुद्धता हम एसक्यूएल प्रश्नों के माध्यम से भी जांचते हैं। गुम इनपुट को ओडीएस में हटा दिया जाना चाहिए।

सुलह लिपि के परिणाम में शून्य त्रुटियों को देखने की उम्मीद है। प्रस्तुत सुलह उदाहरण में, पैरामीटर ~ # PKG_ID # ~ पायथन कंट्रोल ब्लॉक से होकर गुजरे हैं और टाइप के पैरामीटर ~ P_JOIN_CONDITION ~ और ~ PERIOD_COL ~ टेबल मेटाडेटा से पॉप्युलेट किए गए हैं, टेबल का नाम ही ~ टेबिल ~ लॉन्च मापदंडों से है।

निम्नलिखित एक मानकीकृत सामंजस्य है। उदाहरण HDG के लिए STG_ODS और ODS के बीच SQL सुलह कोड

 select package_id as pkg_id, 'T_~TABLE~' as table_name, to_char(current_timestamp, 'YYYY-MM-DD HH24:MI:SS'), coalesce(empty_in_ods, 0) as empty_in_ods, coalesce(not_equal_md5, 0) as not_equal_md5, coalesce(deleted_in_ods, 0) as deleted_in_ods, coalesce(not_deleted_in_ods, 0) as not_deleted_in_ods, max_load_dttm from (select    max (src.package_id) as package_id,    sum (case when tgt.md5 is null then 1 else 0 end) as empty_in_ods,    sum (case when src.md5<>tgt.md5 and tgt.~PK~ is not null and tgt.deleted_ind = 0 then 1 else 0 end) as not_equal_md5,    sum (case when tgt.deleted_ind = 1 and src.md5=tgt.md5 then 1 else 0 end) as deleted_in_ods from EDW_STG_ODS.T_~TABLE~  src left join EDW_ODS.T_~TABLE~  tgt       on ~P_JOIN_CONDITION~ and tgt.active_ind ='Y' where ~#PKG_ID#~ = 0   or src.package_id = ~#PKG_ID#~ ) aa, (select sum (case when src.~PK~ is null then 1 else 0 end) as not_deleted_in_ods, max (tgt.load_dttm) as max_load_dttm from EDW_STG_ODS.T_~TABLE~  src right join EDW_ODS.T_~TABLE~  tgt        on ~P_JOIN_CONDITION~ where tgt.deleted_ind = 0 and tgt.active_ind ='Y'  and tgt.~PERIOD_COL~ between (select min(~PERIOD_COL~) from EDW_STG_ODS.T_~TABLE~ where ~#PKG_ID#~ = 0 or package_id = ~#PKG_ID#~)                           and (select max(~PERIOD_COL~) from EDW_STG_ODS.T_~TABLE~ where ~#PKG_ID#~ = 0 or package_id = ~#PKG_ID#~) ) bb where 1=1

निर्दिष्ट मानकों के साथ HDIM प्रकार के लिए STG_ODS और ODS के बीच SQL सुलह कोड का एक उदाहरण:

 --------------HDIM_CHECKS--------------- select package_id as pkg_id, 'TABLE_NAME' as table_name, to_char(current_timestamp, 'YYYY-MM-DD HH24:MI:SS'), coalesce(empty_in_ods, 0) as empty_in_ods, coalesce(not_equal_md5, 0) as not_equal_md5, coalesce(deleted_in_ods, 0) as deleted_in_ods, coalesce(not_deleted_in_ods, 0) as not_deleted_in_ods, max_load_dttm from (select    max (src.package_id) as package_id,    sum (case when tgt.md5 is null then 1 else 0 end) as empty_in_ods,    sum (case when src.md5<>tgt.md5 and tgt.ACTION_ID is not null and tgt.deleted_ind = 0 then 1 else 0 end) as not_equal_md5,    sum (case when tgt.deleted_ind = 1 and src.md5=tgt.md5 then 1 else 0 end) as deleted_in_ods from EDW_STG_ODS.TABLE_NAME  src left join EDW_ODS.TABLE_NAME  tgt       on SRC.PK_ID=TGT.PK_ID and tgt.active_ind ='Y' where 709083887 = 0   or src.package_id = 709083887 ) aa, (select sum (case when src.PK_ID is null then 1 else 0 end) as not_deleted_in_ods, max (tgt.load_dttm) as max_load_dttm from EDW_STG_ODS.TABLE_NAME  src right join EDW_ODS.TABLE_NAME  tgt        on SRC.PK_ID =TGT.PK_ID where tgt.del_ind = 0 and tgt.active_ind ='Y'  and tgt.DATE_SYS between (select min(DATE_SYS) from EDW_STG_ODS.TABLE_NAME where 70908 = 0 or package_id = 70908)                           and (select max(DATE_SYS) from EDW_STG_ODS.TABLE_NAME where 70908 = 0 or package_id = 70908) ) bb where 1=1

ओडीएस के साथ शुरू, इतिहास निर्देशिकाओं में बनाए रखा जाता है, इसलिए, इसे चौराहों और अंतराल की अनुपस्थिति के लिए जांचना आवश्यक है। यह इतिहास में गलत मानों की संख्या की गणना और परिणामस्वरूप तालिका में त्रुटियों की संख्या लिखकर किया जाता है। यदि तालिका में इतिहास त्रुटियां हैं, तो उन्हें मैन्युअल रूप से खोजना होगा। सुलह पहले स्थान पर डाउनलोड के प्रकार - एचडीआईएम (इतिहास संदर्भ गाइड) पर निर्भर करती है। हम ADS परत तक निर्देशिकाओं के लिए इतिहास की शुद्धता का सामंजस्य स्थापित करते हैं।

DDS लेयर (पहले आरेख में 6) पर, विभिन्न SI (स्रोत सिस्टम) को एक तालिका में जोड़ा जाता है। अलग-अलग स्रोत सिस्टम से डेटा लिंक करने के लिए सरोगेट कुंजी बनाने के लिए HUB टेबल दिखाई देते हैं। हम उन्हें चरण-परत के समान एक अजगर-जांच के साथ विशिष्टता के लिए जांचते हैं।

DDS परत पर, यह सत्यापित करना आवश्यक है कि HUB तालिका के साथ संयोजन के बाद, प्रकार 0, -1, -2 के मान मुख्य फ़ील्ड में प्रकट नहीं हुए, जिसका अर्थ है गलत तालिका में शामिल होना, डेटा की कमी। वे एचयूबी तालिका में आवश्यक डेटा के अभाव में प्रकट हो सकते हैं। और यह मैनुअल पार्सिंग के लिए एक गलती है।

एडीएस शोकेस परत (पहले आरेख में 8) के डेटा के लिए सबसे जटिल सामंजस्य। प्राप्त परिणाम के अभिसरण में पूर्ण विश्वास के लिए, शुल्क की राशि के एकत्रीकरण के लिए एक स्रोत प्रणाली के साथ सत्यापन यहां तैनात किया गया है। एक तरफ, संकेतकों का एक वर्ग होता है, जिसमें कुल मिलाकर उच्चारण शामिल होते हैं। हम उन्हें डब्ल्यूसीडी की खिड़कियों से एक महीने के लिए इकट्ठा करते हैं। दूसरी ओर, हम स्रोत प्रणाली से समान शुल्कों का समुच्चय लेते हैं। 1% से अधिक या एक निश्चित और सहमत निरपेक्ष मूल्य की विसंगति स्वीकार्य नहीं है। सुलह द्वारा प्राप्त परिणाम सेट विशेष रूप से बनाए गए डेटा सेटों में रखे जाते हैं जो ओरेकल टेबल प्राप्त करते हैं। डेटा की तुलना Oracle दृश्य में की जाती है। अपेक्स में परिणामों का दृश्य। डेटा के पूरे सेट की उपस्थिति (परिणाम सेट) हमें अनुमति देती है, यदि त्रुटियां हैं, तो गहराई से जाने और परिणाम के विस्तृत डेटा का विश्लेषण करने के लिए, एक विशिष्ट लेख ढूंढें, जिस पर विसंगति हुई, और इसके कारणों की तलाश करें।

APEX में उपयोगकर्ताओं के लिए सुलह परिणाम की प्रस्तुति

फिलहाल, हमने डेटा को समेटने के लिए एक व्यावहारिक और सक्रिय रूप से उपयोग किया गया आवेदन प्राप्त कर लिया है। बेशक, हमारे पास सामंजस्य की मात्रा और गुणवत्ता, और मंच के विकास दोनों को और विकसित करने की योजना है। स्वयं का विकास हमें कार्यक्षमता को बदलने और जल्दी से पर्याप्त रूप से संशोधित करने की अनुमति देता है।

यह लेख रोस्टेलकॉम डेटा प्रबंधन टीम द्वारा तैयार किया गया था

कॉर्पोरेट भंडारण डेटा गुणवत्ता नियंत्रण प्रक्रिया का स्वचालन

More articles: