🤚🏿 🙎 🏢 जेनकिन्स बिल्डिंग और मेटाडेटा मॉडल कलाकृतियों की रोलिंग कलाकृतियों के साथ रिपॉजिटरी में टेबल के लिए स्वचालित कैसे करें 🔐 👎 🏝️

यह सब इस तथ्य के साथ शुरू हुआ कि हमें EDWEX, JSON, DDL संरचनाओं को जल्दी और सही तरीके से बनाने की आवश्यकता के साथ सामना किया गया था और फिर उन्हें रिलेशनल डेटाबेस के विभिन्न कंट्रोल्स पर रोल किया। आकृति के अनुसार, मेरा मतलब है कि सभी जानते हैं - DEV, TST, UAT, PRD।

उस समय, हमने लगभग सब कुछ मैन्युअल रूप से किया: हमने DDL उत्पन्न किया, और Oracle डेटाबेस से मेटाडेटा के आधार पर edwex और json एकत्र किया। कई इनपुट पैरामीटर हैं। यदि आप एक को याद करते हैं, तो आप गलत तरीके से एक इकाई बनाएंगे। और चूंकि गठन की पूरी प्रक्रिया सुसंगत और निरंतर थी, इसलिए त्रुटि का केवल बहुत ही अंत में पता चलेगा। हम सभी स्वचालित और त्रुटियों को कैसे दूर करते हैं, इसके बारे में कटौती के तहत पढ़ें।

थोड़ी अवसंरचना के बारे में

इससे पहले कि हम रिलेशनल डेटाबेस की तालिका में डेटा भरें, हमें उन्हें स्रोत से स्वीकार करने की आवश्यकता है - किसी भी प्रारूप में, उदाहरण के लिए, एक्सेल में। इन-हाउस तंत्र का उपयोग करने वाले स्रोत से डेटा को Hadoop (डेटा लेक) तक पहुंचाया जाता है। हाइव में हाइव ऐड-ऑन स्थापित है - इसकी मदद से हम SQL जैसी सिंटैक्स का उपयोग करके फ़ाइलों की सामग्री देख सकते हैं।

डेटा लेक में डेटा को तालिकाओं के रूप में स्थानांतरित करने के लिए, हमें json की आवश्यकता है, जो मेटाडेटा के आधार पर बनते हैं। एक्सेल प्रारूप में डेटा को पार्स करने के लिए, हमें EDWEX फाइलें बनाने की आवश्यकता है। EDWEX (EDW_EXTRACTOR) फाइलें कलाकृतियों का एक निश्चित समूह है जिसमें नाम के साथ तालिकाओं के सेट होते हैं, साथ ही इन तालिकाओं में से प्रत्येक के लिए फ़ील्ड्स के सेट होते हैं, जो मेटाडेटा के आधार पर बनते हैं। मॉडल संस्करण और स्रोत आईडी के आधार पर, फ़ील्ड का सेट बदलता रहता है। डीडीएल का गठन परिचालन डेटा स्तर पर हाइव डेटाबेस में और विस्तृत और एकत्र डेटा के स्तर पर ग्रीनप्लम डेटाबेस में तालिकाओं को बनाने के लिए आवश्यक है। यही है, डेटा को मुख्य रूप से हाइव में स्थानांतरित किया जाता है, यदि आवश्यक हो, बाद में डेटा हेरफेर के लिए ग्रीनप्लम में स्थानांतरित किया जाता है और इसके आधार पर स्टोरफ्रोन बनाया जाता है।

एडवेक्स कलाकृति उदाहरण

पैक - तालिकाओं का एक सेट होता है
डेटा - फ़ील्ड का एक सेट होता है

pack.edwex:

1 Table_1 User Table_1 bid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm') 2 Table_2 User Table_2 curbid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm') 3 Table_3 User Table_3 bid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm')

data.edwex:

 1 1 CHARGE_ID NUMBER 38 0 1 2 SVC_ID NUMBER 38 0 1 3 VND_ID NUMBER 38 0 1 4 PRICE NUMBER 38 5 1 5 QUANTITY NUMBER 38 5 1 6 BASE NUMBER 38 5 1 7 TAX NUMBER 38 5 1 8 TOTAL NUMBER 38 5 1 9 TAX_RATE NUMBER 38 5 1 10 TAX_IN VARCHAR 1 1 11 CHARGE_KIND VARCHAR 3 1 12 PRIVILEGE_ID NUMBER 38 0 1 13 CHARGE_REF_ID NUMBER 38 0 1 14 EBID NUMBER 38 0 1 15 INVOICE_ID NUMBER 38 0 1 16 ZERO_STATE_ID NUMBER 38 0 1 17 USER_ID NUMBER 38 0 1 18 BID NUMBER 38 0 1 19 QUANTITY_REAL NUMBER 38 5 2 1 CURBID NUMBER 38 0 2 2 USER_ID NUMBER 38 0 2 3 VND_ID NUMBER 38 0 2 4 APPBID NUMBER 38 0 2 5 SVC_ID NUMBER 38 0 2 6 DEBT NUMBER 38 5 2 7 INSTDEBT NUMBER 38 5 3 1 INVOICE_ID NUMBER 38 0 3 2 INVOICE_DATE DATE 3 3 INVOICE_NUM VARCHAR 64 3 4 INVOICE_NUM_N NUMBER 38 5 3 5 BASE NUMBER 38 5 3 6 TAX NUMBER 38 5 3 7 TOTAL NUMBER 38 5 3 8 PREPAID VARCHAR 1 3 9 EXPLICIT VARCHAR 1 3 10 VND_ID NUMBER 38 0 3 11 ADV_PAYMENT_ID NUMBER 38 0 3 12 MDBID NUMBER 38 0 3 13 BID NUMBER 38 0 3 14 USER_ID NUMBER 38 0 3 15 ZERO_STATE_ID NUMBER 38 0 3 16 ACTIVE_SUM NUMBER 38 5 3 17 SPLIT_VND NUMBER 38 5 3 18 PRECREATED VARCHAR 1

Json विरूपण साक्ष्य उदाहरण

 Table.json: { "metadata": [ { "colOrder":"1", "name":"charge_id", "dataType":"DECIMAL", "precision":"0", "requied":"true", "keyFile":"" }, { "colOrder":"2", "name":"svc_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"3", "name":"vnd_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"4", "name":"price", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"5", "name":"quantity", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"6", "name":"base", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"7", "name":"tax", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"8", "name":"total", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"9", "name":"tax_rate", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"10", "name":"tax_in", "dataType":"STRING", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"11", "name":"charge_kind", "dataType":"STRING", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"12", "name":"privilege_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"13", "name":"charge_ref_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"14", "name":"ebid", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"15", "name":"invoice_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"16", "name":"zero_state_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"17", "name":"user_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"18", "name":"bid", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"19", "name":"quantity_real", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" } ], "ctlPath":"  ctl", "errPath":"    ", "inPath":"    hdfs", "outSchema":" ", "outTable":" ", "isPartitioned":" ", "sourceId":"id  " }

उदाहरण DDL कलाकृतियों

परिवर्तन तालिका योजना। ZP_000001_TABLE का नाम बदलकर Z_GP_000001_TABLE_20180807;
तालिका योजना बनाएं। GP_000001_TABLE
(

`चार्ज_आईडी` DECIMAL (38.0),
`svc_id` DECIMAL (38.0),
`vnd_id` DECIMAL (38.0),
`कीमत` DECIMAL (38.5),
`मात्रा` DECIMAL (38.5),
`आधार` DECIMAL (38.5),
`कर` DECIMAL (38.5),
`कुल` DECIMAL (38.5),
`tax_rate` DECIMAL (38.5),
`tax_in` STRING,
`चार्ज_किंडन` STRING,
`विशेषाधिकार_निधि` DECIMAL (38.0),
`चार्ज_आर्क_िड` डिसीमल (38.0),
`एबिड` DECIMAL (38.0),
`इनवॉइस_आईडी` DECIMAL (38.0),
`शून्य_स्टैट_आईडी` DECIMAL (38,0),
`user_id` DECIMAL (38.0),
`बोली` DECIMAL (38.0),
`परिमाण_गत` परिमाण (38.5),
`load_dttm` TIMESTAMP,
`src_id` SMALLINT,
`package_id` बड़ा,
`wf_run_id` बड़ा,
`md5` STRING
)
ROW FORMAT DELIMITED FIELDS '' t '' द्वारा लिखित
INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.ive.gnIgnKeyTextOutputFormat' के रूप में प्रकाशित
LOCATION 'hdfs में बनने का तरीका ’
TBLPROPERTIES ('auto.purge' = 'true', 'transient_lastDlastDdlTime' = '1489060201');
स्कीम में डालें। GP_000001_TABLE (`चार्ज_आईडी`,
`Svc_id`,
`Vnd_id`,
`Price`,
`Quantity`,
`Base`,
`Tax`,
`Total`,
`Tax_rate`,
`Tax_in`,
`Charge_kind`,
`Privilege_id`,
`Charge_ref_id`,
`Ebid`,
`Invoice_id`,
`Zero_state_id`,
`User_id`,
`Bid`,
`Quantity_real`,
`Load_dttm`,
`Src_id`,
`Package_id`,
`Wf_run_id`,
`Md5`)

`चार्ज_आईडी` चुनें,
`Svc_id`,
`Vnd_id`,
`Price`,
`Quantity`,
`Base`,
`Tax`,
`Total`,
`Tax_rate`,
`Tax_in`,
`Charge_kind`,
`Privilege_id`,
`Charge_ref_id`,
`Ebid`,
`Invoice_id`,
`Zero_state_id`,
`User_id`,
`Bid`,
`Quantity_real`,
load_dttm,
src_id,
package_id,
wf_run_id,
md5 स्कीम से .Z_GP_000001_TABLE_20180807;

परिवर्तन तालिका योजना। Z_GP_000001_TABLE का नाम बदलकर Z_GP_000001_TABLE_20180807;
तालिका योजना बनाएं। GP_000001_TABLE
(

`चार्ज_आईडी` DECIMAL (38.0),
`svc_id` DECIMAL (38.0),
`vnd_id` DECIMAL (38.0),
`कीमत` DECIMAL (38.5),
`मात्रा` DECIMAL (38.5),
`आधार` DECIMAL (38.5),
`कर` DECIMAL (38.5),
`कुल` DECIMAL (38.5),
`tax_rate` DECIMAL (38.5),
`tax_in` STRING,
`चार्ज_किंडन` STRING,
`विशेषाधिकार_निधि` DECIMAL (38.0),
`चार्ज_आर्क_िड` डिसीमल (38.0),
`एबिड` DECIMAL (38.0),
`इनवॉइस_आईडी` DECIMAL (38.0),
`शून्य_स्टैट_आईडी` DECIMAL (38,0),
`user_id` DECIMAL (38.0),
`बोली` DECIMAL (38.0),
`परिमाण_गत` परिमाण (38.5),
`load_dttm` TIMESTAMP,
`src_id` SMALLINT,
`package_id` बड़ा,
`wf_run_id` बड़ा,
`md5` STRING
)
ROW FORMAT DELIMITED FIELDS '' t '' द्वारा लिखित
INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.ive.gnIgnKeyTextOutputFormat' के रूप में प्रकाशित
LOCATION 'hdfs में बनने का तरीका ’
TBLPROPERTIES ('auto.purge' = 'true', 'transient_lastDlastDdlTime' = '1489060201');
स्कीम में डालें। GP_000001_CPA_CHARGE (`चार्ज_आईडी`),
`Svc_id`,
`Vnd_id`,
`Price`,
`Quantity`,
`Base`,
`Tax`,
`Total`,
`Tax_rate`,
`Tax_in`,
`Charge_kind`,
`Privilege_id`,
`Charge_ref_id`,
`Ebid`,
`Invoice_id`,
`Zero_state_id`,
`User_id`,
`Bid`,
`Quantity_real`,
`Load_dttm`,
`Src_id`,
`Package_id`,
`Wf_run_id`,
`Md5`)

`चार्ज_आईडी` चुनें,
`Svc_id`,
`Vnd_id`,
`Price`,
`Quantity`,
`Base`,
`Tax`,
`Total`,
`Tax_rate`,
`Tax_in`,
`Charge_kind`,
`Privilege_id`,
`Charge_ref_id`,
`Ebid`,
`Invoice_id`,
`Zero_state_id`,
`User_id`,
`Bid`,
`Quantity_real`,
load_dttm,
src_id,
package_id,
wf_run_id,
md5 स्कीम से .Z_GP_000001_TABLE_20180807;

स्वचालित कैसे करें?

समस्या को हल करने के लिए, हमने उपयोग किया:

जेनकिंस - सीआई प्रक्रिया को लागू करने के लिए एक ऑर्केस्ट्रा और उपकरण के रूप में।
पायथन - यह कार्यक्षमता और इकाई परीक्षणों को लागू करता है।
SQL - मेटाडेटा डेटाबेस तक पहुँचने के लिए।
शैल स्क्रिप्ट - निर्देशिकाओं के बीच कलाकृतियों की नकल करने और जेनकिंस सर्वर पर चल रही मल्टीजोब परियोजनाओं में स्क्रिप्ट बनाने के लिए।

शुरू करने के लिए, हम शुरू में बड़ी संख्या में स्रोतों के साथ काम करते हैं, इसलिए, शेल स्क्रिप्ट को एक स्टार्ट पैरामीटर के रूप में उपयोग करते हुए, हम उन्हें पहचानने के लिए SQL कार्यों के लिए स्रोतों की आईडी पास करते हैं। परिणामी SQL फ़ंक्शन बाद में मेटाडेटा डेटाबेस में स्वचालित रूप से निष्पादित हो जाएंगे। उपलब्ध मेटाडेटा के आधार पर, ये फ़ंक्शन प्रत्येक स्रोत तालिकाओं के लिए नए SQL फ़ंक्शंस की सूची के साथ एक फ़ाइल बनाते हैं ताकि हम बाद में उन्हें निष्पादन योग्य प्रोग्राम में कॉल कर सकें। उत्पन्न कार्यों के निष्पादन का परिणाम आउटपुट पैरामीटर के लिए DDL, JSON या EDWEX मानों का स्थानांतरण है।

यह वह जगह है जहां पायथन कनेक्ट करता है, जिसमें सभी निष्पादन योग्य कार्यक्षमता और यूनिट परीक्षण लिखे गए हैं। इकाई परीक्षणों का उपयोग करके कलाकृतियों को रोल करने के लिए किसी भी मॉड्यूल को शुरू करने से पहले, अजगर लिपियों को चलाने के लिए सही पैरामीटर स्थानांतरण की जाँच की जाती है। टेस्ट न केवल इनपुट मापदंडों की शुद्धता की जांच करते हैं, बल्कि मेटाडेटा मॉड्यूल में उनकी उपस्थिति, बनाई गई फ़ाइलों के आकार और उनके निर्माण की तारीखों की भी जांच करते हैं। टेस्ट भी बनाई गई नई कलाकृतियों की संख्या और मौजूदा कलाकृतियों की संख्या की निगरानी करते हैं। इसलिए हम सर्वर संसाधनों के उपयोग का अनुकूलन करते हैं, क्योंकि हम केवल रोलिंग के लिए नई फाइलें लेते हैं और मौजूदा मॉडलों को फिर से स्थापित नहीं करते हैं।

और केवल सफलतापूर्वक सभी चेक पास करने के बाद एक अजगर प्रोग्राम निष्पादित किया गया है जो आवश्यक कलाकृतियों को बनाता है और परिणाम को सर्वर पर आवश्यक प्रोजेक्ट फ़ोल्डर्स में विघटित करता है। अजगर न केवल जेनरेट की गई फाइलों को डायरेक्ट्री में डायरेक्ट करता है, बल्कि डेटा लेक में स्ट्रक्चर भी बनाता है, ताकि डेटा सही तरीके से लोड हो सके। डीडीएल कलाकृतियों का निर्माण करते समय, उन्हें न केवल बाद के विश्लेषण और पुन: उपयोग के लिए सहेजा जाता है, बल्कि मेटाडेटा मॉड्यूल में निर्दिष्ट नए मॉडल और संरचनाओं के अनुसार डेटाबेस में तुरंत स्थापित किया जा सकता है। यह आपको मैनुअल श्रम को शामिल किए बिना थोड़े समय में सैकड़ों टेबल बनाने की अनुमति देता है।

और जेनकिंस यहाँ कहाँ है?

जेनकिंस तब प्रवेश करता है जब एक इंटरफेस का उपयोग करके इन सभी प्रक्रियाओं का प्रबंधन करना आवश्यक होता है।

इस उपकरण का चयन इसलिए किया गया क्योंकि यह:

पूरी तरह से विधानसभा और स्थापना के स्वचालन की जरूरतों को कवर करता है
आपको स्व-परीक्षण की प्रक्रिया के कार्यान्वयन के साथ कलाकृतियों को इकट्ठा करने के लिए एक तंत्र डिजाइन करने की अनुमति देता है
आप आसानी से एक व्यक्ति जो प्रोग्रामिंग से दूर है के लिए नौकरी की शुरूआत और निगरानी निष्पादन की अनुमति देता है
आपको लॉगिंग तंत्र को इस तरह से कॉन्फ़िगर करने की अनुमति देता है कि निष्पादन का परिणाम टीम के किसी भी व्यक्ति के लिए समझ में आएगा। विधानसभा में समस्या को स्पष्ट रूप से इंगित किया जाएगा या प्रक्रिया को सफलतापूर्वक पूरा किया जाएगा।

उन कार्यों को हल करने के लिए हमने कई मल्टीजोब परियोजनाएं बनाई हैं। इस प्रकार की परियोजना का उपयोग किया गया है, क्योंकि यह एक ही शुरुआत में अन्य नौकरियों के समानांतर काम कर सकता है। प्रत्येक कार्य अपनी कार्यक्षमता के ब्लॉक के कार्यान्वयन के लिए जिम्मेदार है। इसलिए हमने स्वायत्त समानांतर वाले कलाकृतियों को प्राप्त करने की अनुक्रमिक प्रक्रिया को बदल दिया। सब कुछ अलग से शुरू होता है: EDWEX, JSON, DDL, HIVE में संरचना का गठन, डेटाबेस में टेबल संरचनाओं की स्थापना। हम कलाकृतियों के निर्माण के विभिन्न चरणों में परिणाम का विश्लेषण करते हैं और सफल होने पर बाद की कार्रवाई शुरू करने के लिए आगे बढ़ते हैं।

जेनकिंस भाग को बहुत अधिक चाल के बिना लागू किया गया है। पायथन कोड शुरू करने के लिए स्ट्रिंग या रन मापदंडों को इनपुट पर भेजा जाता है। स्ट्रिंग पैरामीटर प्रारंभ करने से पहले स्ट्रिंग प्रकार के मान में प्रवेश करने के लिए एक विंडो है। रन पैरामीटर को निष्पादन के लिए दूसरी नौकरी के लिए मक्खी पर स्थानांतरित किया जा सकता है, इसके लिए यह केवल यह इंगित करने के लिए पर्याप्त है कि प्राप्त चर को किस परियोजना से लेना आवश्यक है। इसके अलावा, एक नोड निष्पादन के लिए एक अलग पैरामीटर के रूप में पारित किया गया है। यहाँ DEV, TST, UAT, PRD पर रनटाइम में विभाजन को लागू किया गया है। परिवर्तित संरचनाओं के संस्करणों को ट्रैक करने में सक्षम होने के लिए संशोधन संख्या के साथ प्राप्त EDWEX फ़ाइलों को SVN में स्थानांतरित करने के लिए एक अलग नौकरी का उपयोग किया गया था।

जेनकींस में एक उदाहरण इंटरफ़ेस:

नौकरी निष्पादन का परिणाम आवश्यक कलाकृतियों का निर्माण और स्थापना है, उनका एसवीएन में स्थानांतरण और एक HTML रिपोर्ट का गठन जो इकाई परीक्षणों को पारित करने और विधानसभाओं और कलाकृतियों की स्थापना की सफलता को प्रदर्शित करता है। नौकरियों को अपने हाथों से या स्वचालित मोड में व्यक्तिगत रूप से चलाया जा सकता है, पहले से निष्पादन की एक श्रृंखला बनाई गई है।

विधानसभा और स्थापना तंत्र वास्तुकला

संक्षेप में देना

कलाकृतियों के निर्माण को स्वचालित करने के लिए बहुत सारे काम किए गए हैं। पहले, आपको मैन्युअल रूप से सर्वर पर चढ़ना था, शेल स्क्रिप्ट चलाना था, और फिर अपने हाथों से लंबे समय तक डेटा का अध्ययन और संपादन करना था। अब बस स्टार्ट बटन पर क्लिक करें, सोर्स सिस्टम आईडी, मॉडल नंबर और निष्पादन पाश निर्दिष्ट करें। जेनकिंस की मदद से, संपूर्ण विधानसभा को स्थापित करना और कलाकृतियों की स्थापना तंत्र को स्वतंत्र चरणों में विभाजित करना संभव था। कलाकृतियों के निर्माण और उनके एकीकरण शुरू करने से पहले आवश्यक जांच जोड़ी गई थी। प्राप्त कलाकृतियों को स्वचालित रूप से एसवीएन में स्थानांतरित कर दिया जाता है, जो सिस्टम विश्लेषकों और डेटा-मॉडलर्स की संबंधित टीमों के साथ काम को सरल करता है। विरूपण साक्ष्य के गठन के बेकार प्रक्षेपण से बचने और उनकी शुद्धता की पुष्टि करने के लिए चेक लागू किए जाते हैं।

नतीजतन, हमने मॉडल कलाकृतियों को इकट्ठा करने और स्थापित करने की समय-खपत प्रक्रिया को कई घंटों से कुछ मिनटों तक घटा दिया। और सबसे महत्वपूर्ण बात, उन्होंने मानव कारक के कारण त्रुटियों की घटना को समाप्त कर दिया, जो अनिवार्य रूप से एक जटिल नियमित प्रक्रिया में उत्पन्न हुई।

थोड़ी अवसंरचना के बारे में

स्वचालित कैसे करें?

और जेनकिंस यहाँ कहाँ है?

संक्षेप में देना

More articles: