डेवलपर्स के लिए लाइफ हैक्स: एसक्यूई (सोर्स क्वालिफायर) का उपयोग प्रभावी रूप से इंफॉर्मेटिका पावर सेंटर में

सभी Habroresidents को नमस्कार!

हम डेवलपर्स के लिए जीवन हैक के साथ RDTEX कंपनी का पहला ब्लॉग खोलते हैं। हमें उम्मीद है कि पाठकों में से एक उनका लाभ उठाता है।

रूसी संघ के प्रमुख बैंकों में से एक में रिपोर्ट के बाद के निर्माण के लिए डेटा को एक प्रणाली से दूसरे में स्थानांतरित करने के लिए एक परियोजना पर काम के दौरान जीवन हैक का आविष्कार किया गया था।

उपयोग की जाने वाली तकनीकें:

डेटा स्रोत प्रणाली - Oracle RDBMS (संस्करण 11.2.0.4.0)
डेटा रिसीवर प्रणाली - RDBMS Oracle (संस्करण 11.2.0.4.0)
एकीकरण बस - सूचनात्मक (संस्करण 10.1.1)

एक प्रमुख एकीकरण परियोजना के कार्यान्वयन के दौरान, हमें निम्नलिखित समस्याओं का सामना करना पड़ा:

1. सूचना विज्ञान केंद्र में एसक्यू [स्रोत योग्यता] का अक्षम उपयोग

इंफॉर्मेटिका पावर सेंटर में एसक्यू [सोर्स क्वालिफायर] का उपयोग करते समय, इनपुट पात्रों की संख्या पर प्रतिबंध का पता चला था। अनुमत अधिकतम वर्णों की संख्या 32767 है। स्रोत क्वालिफायर के तर्कहीन उपयोग का एक उदाहरण नीचे दिए गए चित्र में दिखाया गया है:


चित्रा 1 SQ Informatica पावर सेंटर से स्क्रीनशॉट

यह स्क्रीनशॉट दिखाता है कि रिक्त स्थान वर्ण स्थान को खाते हैं, जिसके परिणामस्वरूप जटिल SQL प्रश्न पूरी तरह से फिट नहीं होते हैं (यानी, जब उन्हें स्रोत क्वालिफायर में डाला जाता है, तो उन्हें छोटा कर दिया जाता है)।

नीचे का आंकड़ा स्रोत क्वालिफायर का सही उपयोग दिखाता है (परिवर्तन लाल रंग में हाइलाइट किए गए हैं):


चित्रा 2 एक संशोधित क्वेरी के साथ SQ Informatica पावर सेंटर से स्क्रीनशॉट

अगली पंक्ति में जाने और संरेखण में वर्णों की Nth संख्या खर्च होती है, जिसे हटाते हुए, हम सभी SQL कोड को फिट करने में सक्षम थे।

2. असीम रूप से बड़ी संख्या का गलत रूपांतरण

निम्न स्वरूप में बड़ी संख्या में Oracle डेटाबेस में अपलोड किए गए थे:

1267650600228230000000000000000

और उन्हें प्रारूप में लोड किया जाना चाहिए:

1267650600228229401496703205376
यानी मान एक निश्चित अंकों की स्थिति से शुरू किए गए थे।

हम निम्नलिखित समाधान प्रदान करते हैं:

इंफॉर्मेटिका पावर सेंटर में मैपिंग के विकास के दौरान, फ़ील्ड प्रारूप (उदाहरण के लिए, स्ट्रिंग) को निश्चित रूप से उन मूल्यों के लिए एक निश्चित चरण में सेट किया जाता है जो निश्चित रूप से बड़े पैमाने पर आएंगे, जबकि:

• यदि हम दशमलव प्रारूप का उपयोग करते हैं और यदि मान 28 वर्ण तक हो सकते हैं, तो हमें वर्कफ़्लो प्रबंधक में वर्कफ़्लो गुणों में गुण → "उच्च परिशुद्धता सक्षम करें" → "हां" सक्षम करने की आवश्यकता है।
• यदि हम दोहरे प्रारूप का उपयोग करते हैं, तो इस स्थिति में 15 वर्णों (उदाहरण के लिए, 20) से अधिक के मान इस विशेषता पर आ सकते हैं, फिर मान को 15 महत्वपूर्ण अंकों तक काट दिया जाएगा और शेष में शून्य (0) डाल दिया जाएगा (अर्थात अंतिम 5 वर्ण शून्य होंगे )। इस मामले में, स्ट्रिंग प्रारूप को नीचे रखना और आकार को वांछित एक तक बढ़ाना बेहतर है (उदाहरण के लिए, string20)।

यदि उपकरण के उपयोग को संक्षेप में प्रस्तुत करना है, तो निम्नलिखित फायदे अलग किए जा सकते हैं:

1. उपकरण बड़ी मात्रा में डेटा स्थानांतरित करने के लिए सुविधाजनक है, टेराबाइट्स में गणना की जाती है (उदाहरण के लिए, 25-30 tb तक), खासकर यदि आपको उन्हें न्यूनतम संख्या में रूपांतरण (लगभग एक-से-एक) के साथ स्थानांतरित करने की आवश्यकता है;
2. विशेषताओं के स्वचालित "पुलिंग" की संभावना (प्रचार गुण विकल्प), साथ ही मैपिंग के अंदर "हाइलाइटिंग" (जहां और जहां से डेटा खींचा जाता है);
3. ईटीएल टूल और ईएलटी टूल (ऑपरेटिंग आईटी प्रोजेक्ट पर निर्भर करता है) दोनों के ऑपरेटिंग मोड का चयन करने की क्षमता।

और चित्र की वस्तुनिष्ठता के लिए कुछ मंत्र:

1. "जटिल" डेटा परिवर्तन तर्क की कमी;
2. उपकरण के समर्थन और व्यक्तिगत परिवर्तनों के तर्क की समझ के दृष्टिकोण से, यह कुछ प्रतियोगियों के लिए नीच है (उदाहरण के लिए, ओरेकल डेटा इंटीग्रेटर)।