مرحبا لجميع Habroresidents!
نفتح أول مدونة لشركة
RDTEX مع
اختراقات للمطورين. نأمل أن يستفيد أحدهم من القراء.
اخترع المتسللين الحياة في سياق العمل على مشروع لنقل البيانات من نظام إلى آخر لبناء التقارير اللاحقة في أحد البنوك الرائدة في الاتحاد الروسي.
التقنيات المستخدمة:
نظام مصدر البيانات - Oracle RDBMS (الإصدار 11.2.0.4.0)
نظام استقبال البيانات - RDBMS Oracle (الإصدار 11.2.0.4.0)
ناقل تكامل - Informatica (الإصدار 10.1.1)
أثناء تنفيذ مشروع تكامل رئيسي ، واجهنا المشكلات التالية:
1. الاستخدام غير الفعال لـ SQ [تصفيات المصدر] في مركز إنفورماتيكا للطاقةعند استخدام SQ [Source Qualifier] في مركز Informatica Power Center ، تم الكشف عن قيود على عدد أحرف الإدخال. الحد الأقصى لعدد الأحرف المسموح به هو 32767. ويظهر في الشكل أدناه مثال على الاستخدام غير الرشيد لمصدر التأهل:
الشكل 1 الشكل 1. لقطة من SQ Informatica Power Centerتوضح لقطة الشاشة هذه أن المساحات تشغل مساحة الأحرف ، ونتيجة لذلك لا تتناسب استعلامات SQL المعقدة تمامًا (أي ، يتم اقتطاعها عند إدراجها في Source Qualifier).
يوضح الشكل التالي الاستخدام الصحيح لمؤهل المصدر (يتم تمييز التغييرات باللون الأحمر):
الشكل 2 لقطة شاشة من SQ Informatica Power Center مع استعلام معدلالانتقال إلى السطر التالي والمحاذاة يكلف عدد Nth من الأحرف ، مما يؤدي إلى إزالة أي من رموز SQL.
2. تحويل غير صحيح من أعداد كبيرة بلا حدودتم تحميل أعداد كبيرة بلا حدود إلى قاعدة بيانات Oracle بالتنسيق التالي:
1267650600228230000000000000000
ويجب تحميلها بالتنسيق:
1267650600228229401496703205376
أي تم تقريب القيم بدءًا من موضع أرقام معين.
نحن نقدم الحل التالي:
أثناء تطوير التعيينات في Informatica Power Center ، يتم تعيين تنسيق الحقل (على سبيل المثال ، السلسلة) على الفور في مرحلة معينة للقيم التي ستكون بالتأكيد كبيرة ، بينما:
- إذا استخدمنا التنسيق العشري وإذا كان يمكن أن تحتوي القيم على ما يصل إلى 28 حرفًا ، فسنحتاج إلى تمكين "خصائص" ← "تمكين الدقة العالية" → "نعم" في خصائص سير العمل في Workflow Manager.
- إذا استخدمنا التنسيق المزدوج ، في هذه الحالة ، يمكن أن تصل قيم هذه الأحرف التي تتجاوز 15 حرفًا (على سبيل المثال ، 20) إلى هذه السمة ، ثم سيتم قطع القيمة إلى 15 رقمًا مهمًا ووضع الصفر (0) في الباقي (أي الأحرف الخمسة الأخيرة ستكون صفرًا) ) في هذه الحالة ، من الأفضل وضع تنسيق السلسلة وزيادة الحجم إلى التنسيق المطلوب (على سبيل المثال ، string20).
إذا لخص استخدام الأداة ، فيمكن تمييز
المزايا التالية:
- تُعد الأداة مناسبة لنقل كمية كبيرة من البيانات ، محسوبة بوحدات تيرابايت (على سبيل المثال ، ما يصل إلى 25-30 تيرابايت) ، خاصةً إذا كنت بحاجة إلى نقلها بأقل عدد ممكن من التحويلات (واحد إلى واحد) ؛
- إمكانية "سحب" السمات تلقائيًا (خيار نشر السمات) ، وكذلك "تمييز" داخل التعيين (من أين وأين يتم استخراج البيانات من) ؛
- القدرة على تحديد وضع التشغيل لكل من أداة ETL وأداة ELT (يعتمد على مشروع تكنولوجيا المعلومات المحدد).
وعدد قليل من السلبيات لموضوعية الصورة:
- عدم وجود منطق "معقد" لتحويل البيانات ؛
- من وجهة نظر دعم الأداة نفسها وفهم منطق التحولات الفردية ، فإنه أدنى من بعض المنافسين (على سبيل المثال ، Oracle Data Integrator).