مرحبا أيها الأصدقاء الأعزاء.
أريد اليوم مشاركة قصة حياة حول كيفية ترتيب تخزين DWH في Tele2 قبل تقديم QCD (EDW).
دخلت قسم تكنولوجيا المعلومات Tele2 في عام 2012 في قسم أنظمة التقارير. في ذلك الوقت ، تم إنشاء مستودع DWH بالفعل في الشركة ، حيث تم بالفعل تنفيذ العديد من عمليات إعداد التقارير والمزيد.
قليلا عن المكدس التقنية التي تم استخدامها هناك في ذلك الوقت. للتخزين ، تم استخدام قاعدة بيانات Oracle بسعة 60-100 تيرابايت T4-4 خادم مع 1 تيرابايت من المنطوق. تم تنزيل البيانات من مصادر مختلفة هناك. لكن القواعد الرئيسية كانت 4 قواعد فوترة أوراكل ، والتي كانت أساسا منصة الشحن. وكان هناك قسم يعمل في دعم قواعد البيانات هذه وتقديم الخدمات. فصل هذه القواعد كان بواسطة المناطق الكلية. السبب: الكميات كبيرة جدًا. هذا ، إذا اتصل أحد المشتركين ، على سبيل المثال ، من بطاقة SIM بموسكو ، فسيتم احتساب تكلفة الاتصال في الفواتير المقابلة.
ذهبت الأجهزة الراقية دائمًا إلى قواعد بيانات الفوترة ، وتم تخصيص الموارد للأنظمة المتبقية وفقًا للمبدأ المتبقي. عادةً ما يكون الخادم بالنسبة إلى DWH أضعف دائمًا. أي تحتوي الفواتير على قطعة T5-4 من الأجهزة ، ثم لدى DWH قطعة من الميراث T4-4.
ولكن هذه الموارد كانت دائما كافية لتغطية المهام الحالية والحد من التقارير. تم تنزيل البيانات من الفوترة عبر وصلة DB. تم إعداد عمليات ETL الكلاسيكية عند إجراء تنزيلات البيانات الليلية باستخدام تحويلات صغيرة (على سبيل المثال ، إضافة مفاتيح بديلة). كان ETL من نوعين: حمولة كاملة للأحجام الصغيرة وتزايدية للجداول الكبيرة مثل ، على سبيل المثال ، تفاصيل الاتصال ، الرسوم ، المدفوعات ، إلخ. كان هناك أيضًا مصدر كبير مثل الملفات النصية التي تقوم بتنزيل معلومات الاتصال وحركة مرور الإنترنت من المحولات والمحطات الأساسية. يتم تنزيل البيانات كملفات نصية باستخدام رافعات اللوادر oracle sql. كانت الزيادة إلى القاعدة عادةً من 10 إلى 20 جيجابايت في اليوم.
جداول التقسيم ، والفهارس ، وتحسين خطط الاستعلام ، والتلميح في DWH كان لا بد من استخدامها باستمرار. لم يكن هناك يوم بدون جلسات معلقة أو طويلة حيث كان من الضروري الصعود إلى خطة الطلب.
بنية تخزين DWH في Tele2 قبل إدخال EDW.
أيضًا ، كانت إحدى المهام الرئيسية لـ DWH هي توليد كشوف مالية شهرية (ETFs). تم اعتباره على خادم DWH لمدة 4 أيام كاملة بسبب الكميات الكبيرة. لتخيل ما هو عليه ، سأقول إن هذه حزمة أوراكل مكونة من 5 آلاف سطر من كود PL / SQL مع منطق مزخرف معقد ويتم تقليل كل ذلك في الديناميات. ثم يتم تحميل التقرير إلى FTP أو إلى مشاركة شبكة في شكل ملفات CSV. وكل هذا دون استخدام حلول محاصر. أي مكتوبة بخط اليد ، وظائف الأمثل والآلي على مر السنين.
ولكن تم استخدام قاعدة بيانات DWH ليس فقط لتقديم تقارير منتظمة ، ولكن أيضا للتخزين التشغيلي. على سبيل المثال ، تمحورت حول عملية توفير معلومات مختلفة للمشتركين من حساب شخصي على موقع Tele2.
تجدر الإشارة أيضًا بشكل منفصل إلى نظام Oracle Application Express (APEX) ، الذي يحتوي على مكان خاص لتقديم التقارير. APEX هي بيئة للتطور السريع لواجهات WEB ، إما لإعداد التقارير أو من أجل إعداد عملية تجارية. تم إنشاؤه ، باليد ، وظيفة مكتوبة "رفع تقرير" ، حيث يمكن للمستخدمين إنشاء تقرير لأنفسهم. أي يأتي شخص ما ، ويختار مجموعة من الحقول لتقريره ، إذا رغبت في ذلك ، يمكنه سحب المصدر كملف excel ، ثم يتلقى تقريرًا إلى البريد في شكل ملف CSV مؤرشفة. وداخل DWH ، تمت كتابة عدد كبير من الإجراءات والوظائف PL / SQL والتي كانت في الأساس منشئ برامج نصية مضمنة للتقارير. علاوة على ذلك ، كانت هذه الأداة شائعة جدًا داخل الشركة ، حيث تم إنشاء أكثر من نصف مليون تقرير بدرجات متفاوتة من الأهمية عليها.
وقد وضعت APEX أيضا الكثير من الأشياء الأخرى المثيرة للاهتمام. على سبيل المثال ، وظيفة مكتوبة بخط اليد لسير العمل ونظام أتمتة التسويق. في البداية ، صادق الموظفون على الوثائق. وثانيا ، عقد قسم التسويق الأحداث المختلفة للعملاء. على سبيل المثال ، قام بتوزيع الرسائل النصية القصيرة على المشتركين حول التعريفات والخدمات الجديدة. وكل هذا مر عبر DWH وكان هناك تكامل مع قناة الرسائل القصيرة.
بالإضافة إلى ذلك ، يتصل نظامان لإعداد التقارير مثل Crostal Reports و IBM Lotus بـ DWH عبر ملفات RPT.
في المخطط المرفق أعلاه ، يمكنك رؤية هيكل مستودع DWH القديم وتدفق البيانات لعام 2012. مع هيكل في الوقت الحاضر ، فإنه ليس لديها ما تفعله.
نجح كل هذا بشكل أو بآخر في العمل حتى اللحظة التي أدرك فيها العمل أن التقارير لم تعد كافية وقررت تقديم QCD و BI-systems و BigData.
بشكل عام ، كان هناك الكثير من الأشياء المثيرة للاهتمام. ربما سأتناول هذا. اراك قريبا