सस्ते और जल्दी से बहुत बड़े डेटा को कैसे स्थानांतरित, अपलोड और एकीकृत करना है? पुशडाउन ऑप्टिमाइज़ेशन क्या है?

बड़े डेटा वाले किसी भी ऑपरेशन के लिए बहुत अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। एक डेटाबेस से Hadoop के लिए डेटा का एक विशिष्ट कदम एक हवाई जहाज के पंख के रूप में सप्ताह या लागत ले सकता है। इंतजार और छटपटाना नहीं चाहते? विभिन्न प्लेटफार्मों पर लोड को संतुलित करें। एक तरीका पुशडाउन ऑप्टिमाइज़ेशन है।

मैंने अलेक्सई अनन्याव से सूचनात्मक उत्पादों के विकास और प्रशासन के लिए प्रमुख रूसी ट्रेनर से पूछा, जो कि इनफॉर्मेटा बिग डेटा मैनेजमेंट (बीडीएम) में पुशडाउन ऑप्टिमाइज़ेशन फंक्शन के बारे में बात करेंगे। कभी Informatica उत्पादों के साथ काम करना सीखा? सबसे अधिक संभावना है, यह एलेक्स था जिसने आपको पावरकेंटर की मूल बातें बताईं और समझाया कि मैपिंग कैसे बनाई जाए।

डिस् समूह में प्रशिक्षण के प्रमुख एलेक्सी एनाएव

पुशडाउन क्या है?

आप में से कई लोग पहले से ही Informatica Big Data Management (BDM) से परिचित हैं। उत्पाद विभिन्न स्रोतों से बड़े डेटा को एकीकृत कर सकता है, इसे विभिन्न प्रणालियों के बीच स्थानांतरित कर सकता है, उन्हें आसान पहुंच प्रदान करता है, जिससे आप उन्हें प्रोफाइल कर सकते हैं और बहुत कुछ।
कुशल हाथों में, बीडीएम अद्भुत काम कर सकता है: कार्यों को जल्दी और न्यूनतम कंप्यूटिंग संसाधनों के साथ पूरा किया जाएगा।

आप इसे भी चाहते हैं? प्लेटफार्मों भर में कंप्यूटिंग लोड वितरित करने के लिए BDM में पुशडाउन सुविधा का उपयोग करना सीखें। पुशडाउन तकनीक आपको मैपिंग को स्क्रिप्ट में बदलने और उस वातावरण को चुनने की अनुमति देती है जिसमें यह स्क्रिप्ट चलेगी। इस तरह की पसंद की संभावना आपको विभिन्न प्लेटफार्मों की ताकत को संयोजित करने और उनके अधिकतम प्रदर्शन को प्राप्त करने की अनुमति देती है।

स्क्रिप्ट रनटाइम को कॉन्फ़िगर करने के लिए, पुशडाउन प्रकार का चयन करें। स्क्रिप्ट को पूरी तरह से Hadoop पर चलाया जा सकता है या स्रोत और रिसीवर के बीच आंशिक रूप से वितरित किया जा सकता है। पुशडाउन के 4 संभावित प्रकार हैं। मैपिंग को स्क्रिप्ट (मूल) में नहीं बदला जा सकता है। स्रोत (स्रोत) या पूरी तरह से स्रोत (पूर्ण) पर मानचित्रण जितना संभव हो उतना प्रदर्शन किया जा सकता है। मैपिंग को एक Hadoop (कोई नहीं) स्क्रिप्ट में भी बदला जा सकता है।

पुशडाई अनुकूलन

सूचीबद्ध 4 प्रकारों को विभिन्न तरीकों से जोड़ा जा सकता है - सिस्टम की विशिष्ट आवश्यकताओं के लिए पुशडाउन का अनुकूलन करें। उदाहरण के लिए, अक्सर अपनी क्षमताओं का उपयोग करके डेटाबेस से डेटा निकालने के लिए अधिक सलाह दी जाती है। और डेटा को बदलने के लिए - Hadoop द्वारा, ताकि डेटाबेस खुद ही ओवरलोड न हो।

आइए मामले को देखें जब स्रोत और रिसीवर दोनों डेटाबेस में हैं, और परिवर्तन निष्पादन मंच का चयन किया जा सकता है: सेटिंग्स के आधार पर, यह इंफॉर्मेटिका, एक डेटाबेस सर्वर या Hadoop होगा। इस तरह के एक उदाहरण से इस तंत्र के तकनीकी पक्ष को सबसे सटीक रूप से समझना संभव हो जाएगा। स्वाभाविक रूप से, वास्तविक जीवन में, यह स्थिति उत्पन्न नहीं होती है, लेकिन यह कार्यक्षमता का प्रदर्शन करने के लिए सबसे उपयुक्त है।

एकल ओरेकल डेटाबेस में दो तालिकाओं को पढ़ने के लिए मैपिंग करें। और पढ़ने के परिणामों को उसी डेटाबेस में एक तालिका में लिखा जाए। मैपिंग योजना इस प्रकार होगी:

Informatica BDM 10.2.1 पर मानचित्रण के रूप में, यह इस तरह दिखता है:

प्रकार पुशडाउन - देशी

यदि हम पुशडाउन देशी प्रकार का चयन करते हैं, तो मैपिंग इंफॉर्मेटिका सर्वर पर किया जाएगा। डेटा ओरेकल सर्वर से पढ़ा जाएगा, इंफॉर्मेटिका सर्वर को हस्तांतरित किया जाएगा, वहां रूपांतरित किया जाएगा और हडोप में स्थानांतरित किया जाएगा। दूसरे शब्दों में, हमें नियमित ईटीएल प्रक्रिया मिलती है।

प्रकार पुशडाउन - स्रोत

प्रकार स्रोत चुनते समय, हमें डेटाबेस सर्वर (DB) और Hadoop के बीच अपनी प्रक्रिया को वितरित करने का अवसर मिलता है। इस सेटिंग के साथ एक प्रक्रिया निष्पादित करते समय, तालिकाओं से डेटा का चयन करने के अनुरोध डेटाबेस पर उड़ जाएंगे। और बाकी को Hadoop पर चरणों के रूप में किया जाएगा।
निष्पादन योजना इस तरह दिखाई देगी:

नीचे रनटाइम सेट करने का एक उदाहरण है।

इस मामले में, मानचित्रण दो चरणों में किया जाएगा। उसकी सेटिंग में, हम देखेंगे कि वह एक स्क्रिप्ट में बदल गया है जिसे स्रोत पर भेजा जाएगा। इसके अलावा, तालिकाओं और डेटा रूपांतरण का संयोजन स्रोत पर ओवरराइड क्वेरी के रूप में किया जाएगा।
नीचे दी गई तस्वीर में, हम बीडीएम और स्रोत पर अनुकूलित मैपिंग देखते हैं - एक ओवरराइड अनुरोध।

इस कॉन्फ़िगरेशन में Hadoop की भूमिका डेटा प्रवाह के प्रबंधन के लिए आती है - इसका संचालन करना। अनुरोध का परिणाम Hadoop को भेजा जाएगा। पढ़ने के बाद, Hadoop से फाइल रिसीवर को लिखी जाएगी।

पुशडाउन टाइप करें - फुल

पूर्ण प्रकार का चयन करते समय, मानचित्रण पूरी तरह से डेटाबेस अनुरोध में बदल जाएगा। और क्वेरी परिणाम को Hadoop को निर्देशित किया जाएगा। ऐसी प्रक्रिया का एक आरेख नीचे प्रस्तुत किया गया है।

एक उदाहरण सेटअप नीचे दिखाया गया है।

नतीजतन, हमें पिछले एक के समान एक अनुकूलित मैपिंग मिलती है। एकमात्र अंतर यह है कि सभी तर्क रिसीवर को इसके सम्मिलन के ओवरराइड के रूप में स्थानांतरित किया जाता है। अनुकूलित मानचित्रण का एक उदाहरण नीचे प्रस्तुत किया गया है।

यहां, पिछले मामले की तरह, Hadoop एक कंडक्टर के रूप में कार्य करता है। लेकिन यहां स्रोत को संपूर्णता में पढ़ा जाता है, और फिर रिसीवर स्तर पर डेटा प्रोसेसिंग लॉजिक निष्पादित किया जाता है।

पुशडाउन प्रकार - अशक्त

खैर, अंतिम विकल्प पुशडाउन प्रकार है, जिसके भीतर हमारी मैपिंग एक Hadoop स्क्रिप्ट में बदल जाएगी।

अनुकूलित मानचित्रण अब इस तरह दिखेगा:

यहां, स्रोत फ़ाइलों का डेटा सबसे पहले Hadoop पर पढ़ा जाएगा। फिर, अपने स्वयं के माध्यम से, इन दो फ़ाइलों को संयोजित किया जाएगा। उसके बाद, डेटा को रूपांतरित किया जाएगा और डेटाबेस में अपलोड किया जाएगा।

पुशडाउन ऑप्टिमाइज़ेशन के सिद्धांतों को समझना, आप बड़े डेटा के साथ काम करने के लिए कई प्रक्रियाओं को प्रभावी ढंग से व्यवस्थित कर सकते हैं। इसलिए, अभी हाल ही में, कुछ ही हफ्तों में एक बड़ी कंपनी ने स्टोरेज से बड़े डेटा को Hadoop में अपलोड कर दिया, जिसे वह पहले भी कई दिनों से इकट्ठा कर रहा था।