عندما 2 × 3 = 2 ، أو مرة أخرى حول التمثيل الافتراضي للبيانات

مرحبا بالجميع! هل سمعت أي شيء عن ظاهرة Baader-Meinhof ؟ هذا تشويه إدراكي مضحك ، كما اتضح ، من المثير للاهتمام أن نلاحظه بالقدوة. في عام 2016 ، تم نشر مقال مراجعة حول تقنية Delphix على حبري. مثل أي نظرية جيدة تستهلكها بالطن كل يوم لتكون على علم بها ، تنسى تمامًا حوالي 80 بالمائة ، دون وضعها موضع التنفيذ. حدث ذلك لي أيضًا - نسيت بسرعة هذا المنشور و Delphix ، حتى قبل عام تقريبًا ، كنتيجة لخدمتي ، صادفت مؤلفي المنتج والمنتج نفسه. بإتاحة الفرصة لدراسة الموضوع ليس من الناحية النظرية ، ولكن من الناحية العملية ، انغمس LANIT في هذه التكنولوجيا بعمق لدرجة أنني أود في هذه المقالة أن أرتب تنظيم المعرفة المكتسبة وتحليل الخبرة المكتسبة.

الصورة مجاملة لنتائج بحث Yandex.

ما هو دلفكس؟

Delphix هو برنامج يعمل على جهاز افتراضي مع نظام التشغيل Solaris ، والذي تحتاج إليه لتوصيل أنظمة التخزين لتخزين نسخ من قاعدة البيانات للعمل بشكل صحيح. يتم تسليم البرنامج على شكل صورة جاهزة لجهاز افتراضي (جهاز افتراضي). يمكن نشر الصورة على VmWare أو في البنية التحتية السحابية AWS / Azure. للاختبارات ، من حيث المبدأ ، يمكنك رفعها محليًا في محطة العمل الخاصة بك.

إذا تم تلخيصها بقوة شديدة وإيجازًا للغاية ، فإن Delphix تقوم بفتح البيانات افتراضيًا وتوفر قواعد بيانات جاهزة يمكنك العمل معها. يأخذ نسخة من قاعدة البيانات المصدر (تسمى dSource) ويضعها في تخزينه (قسم VM المحلي ، المتصل بوحدة التخزين الخارجية). باستخدام الخوارزميات ، فإنه يقلل من حجم هذه النسخة إلى 60٪ (اعتمادًا على أنواع البيانات بالطبع). بعد ذلك ، من نفس النسخة ، يمكنك نشر قاعدة البيانات هذه على مضيفين آخرين في بضع دقائق. تسمى قواعد البيانات هذه قاعدة البيانات الافتراضية - VDB. يتم تحميل ملفات قاعدة البيانات لاستهداف المضيفين عبر NFS ، وبالتالي لا تشغل مساحة عليها. بمعنى ، مع وجود مصدر واحد لكل 500 جيجا بايت و 5 VDB ، سيكون إجمالي المساحة التي تشغلها هذه الحالة على التخزين حوالي 350 جيجا بايت (أو نحو ذلك).

هل هذه عملية نسخ لمرة واحدة؟

بعد مرور التهيئة وخطوة التمهيد لقاعدة البيانات المصدر في Delphix ، يحتفظ محرك Delphix بمزامنة مستمرة مع قاعدة البيانات هذه بناءً على السياسة التي تختارها ، على سبيل المثال ، المزامنة يوميًا أو كل ساعة ، أو بعض الوقت بعد المعاملات.
تعتمد سرعة إنشاء النسخة الأولى من قاعدة البيانات بشكل مباشر على النطاق الترددي للشبكة بين قاعدة البيانات المصدر و Delphix ، حيث يتم نقل النسخ الاحتياطي عبر الشبكة.

بعد الربط بقاعدة البيانات المصدر ، تدعم Delphix ما يسمى TimeFlow (آلة الزمن) لقاعدة البيانات المصدر ، وهي وظيفة مشابهة للتحكم في الإصدار. يمكن توصيل أي نسخة من قاعدة البيانات خلال هذه الفترة الزمنية بقاعدة البيانات المستهدفة. لماذا؟ على سبيل المثال ، للتحقيق في الحوادث.

الشكل 1: القدرة على نشر VDB في أي وقت ...

الشكل 2: ... إما على لقطة قاعدة بيانات تم إنشاؤها يدويًا

VDBs على مستوى مشترك ، لذلك لا يحتاج المستخدمون ولا المسؤولون إلى موارد تخزين إضافية.

يمكنك توصيل أي إصدار من VDB بسرعة بقاعدة البيانات المستهدفة. VDBs مستقلة عن بعضها البعض وهي في وضع القراءة والكتابة. تتم كتابة التغييرات الجديدة التي يتم إجراؤها على VDB إلى كتل جديدة في متجر Delphix.

يمكنك إنشاء VDBs على أساس VDB آخر وتحديثه أو التراجع حسب الحاجة.

كيف سيكون رد فعل التطبيق على ذلك؟

يمكنك العمل مع VDBs "مثل قاعدة البيانات العادية". لن يلاحظ التطبيق أي شيء. من الواضح أنه يجب تثبيت ثنائيات DBMS بالفعل على هذه الخوادم ، حيث يتم استنساخ ملفات قاعدة البيانات نفسها فقط.

يتم استخدام VDBs بشكل أساسي للاختبار الوظيفي أو كملابس رمل. في معظم الحالات ، لا يستحق دفع الحمل على VDB ، لأنه بسبب اتصال قاعدة البيانات عبر NFS ، فإن تفسير نتائج اختبار الحمل هذا سيكون مشكلة كبيرة. على الرغم من أن لديك قاعدة بيانات في Prom تعمل مع التخزين من خلال NFS ، فربما يمكنك ذلك.

مضمون ، يمكنك الاعتماد على عملية مستقرة إذا كنت تستخدم Oracle (بما في ذلك تلك التي تدعم multitenant و RAC) ، MS SQL ، SAP ASE ، IBM DB2 ، Oracle EBS ، SAP HANA. يتم دعم مثل هذه التكوينات من قبل البائع.

بالإضافة إلى ذلك ، يمكنك إضفاء الطابع الافتراضي على الملفات العادية (ضع في اعتبارك أي قاعدة بيانات ، ولكن مع بعض القيود في الوظائف). على سبيل المثال ، كإثبات لمفهوم الاختبارات الداخلية ، قمنا بإبراز مثيلات PostgreSQL الافتراضية لأحد مشاريعنا. لن أقول ما حدث مرة أو مرتين ، ولكن في النهاية عملت الخطة مع PostgreSQL ، على الرغم من أن البائع لا يدعم حاليًا PostgreSQL رسميًا.

لماذا يكون هذا ضروريًا إذا تم دمج وظائف مماثلة في نظام التخزين؟

وغني عن القول أن نظام التخزين لديه وظيفة اللقطات والتزويد الرقيق لفترة طويلة. ومع ذلك ، إذا كانت هناك قاعدة بيانات وحوامل منتجة موجودة على أنظمة التخزين الخاصة ببائعين مختلفين ، فلن يعمل مثل هذا الحل. ولا تستطيع جميع أنظمة التخزين القيام بذلك.

باستخدام Delphix ، يمكنك نشر بيئات الاختبار بنجاح على أنظمة تخزين قديمة تقادمًا وبالية تم إيقاف تشغيلها. ونتيجة لذلك ، قمنا بتقليل تكلفة تخزين بيانات الاختبار بشكل كبير.

من الممكن أيضًا الحصول على نسخة مادية من قاعدة البيانات من هذه اللقطة ، على سبيل المثال ، لإنشاء وضع الاستعداد أو نقل قاعدة البيانات إلى نظام تخزين آخر.

عنصر مهم هو الخدمة الذاتية. باستخدام واجهة المستخدم الرسومية Delphix JetStream ، يمكن حتى للمطورين / المختبرين غير المدربين التراجع / تحديث إصدارات قواعد بيانات منصاتهم بأنفسهم وعدم سحب المسؤولين عدة مرات في الأسبوع.

الشكل 3. باستخدام JetStream ، يوضح الشكل العمر المتأخر للنسخة الرئيسية من VDB ، مما يؤدي إلى إنشاء لقطات من الإصدار وزوجين من الرشاوى لهذه اللقطات.

يدعم Delphix المزامنة المستمرة لـ VDB مع قاعدة بيانات منتجة باستخدام ملفات الأرشيف / المعاملات. لتنفيذ مماثل على أساس التخزين ، سيكون عليك القيام ... بعشرين لقطة في اليوم.

مثل Oracle Enterprise Manager يعرف أيضًا كيفية استنساخ قواعد البيانات

نعم ، يمكنها ذلك ، ولكن Oracle DBMS فقط مدعوم فيها. لذلك ، لا يمكن استخدامه لبقية DBMS.

السؤال الرئيسي هو لماذا يحقق ربحًا؟

أولاً ، دعنا نتعرف على من وبسبب ما يمكن أن يكون Delphix مفيدًا. الربح كما يلي:

• تقليل الوقت المنقضي في الموافقة على المواقف الجديدة ،
• تقليل مساحة التخزين المستخدمة لمنصات الاختبار ،
• القدرة على استخدام أنظمة تخزين غير متخصصة من بائعين مختلفين ،
• تقليل الوقت لنشر القاعدة على المنصة ،
• تقليل الوقت لتحديث قاعدة البيانات في المدرجات.

الآن لفترة وجيزة لكل عنصر.

تقليل الوقت الذي يقضيه في تنسيق المواقف الجديدة. نعم ، في بعض الشركات التي عملنا معها ، استغرق الموافقة على نشر كشك جديد أسبوعين. وإذا لم يكن هناك قدرًا ضروريًا من الموارد أو إذا صادفت المنظمة صلبة جدًا وبيروقراطية للغاية ، فلنفترض بدقة أن الشروط تسمى "من شهر".

تقليل مساحة التخزين لمقاعد الاختبار. وفقًا لبائعي الأجهزة ، تبلغ تكلفة خدمة 1 تيرابايت من البيانات على التخزين من 800 يورو سنويًا. الأرقام تقريبية ، ولكن الترتيب هو. إذا كان لديك قاعدة بيانات منتجة بحجم 2 تيرابايت و 3 مقاعد اختبار مع VDB ، فإن الحجم الإجمالي الذي يشغله الإصلاح سيبلغ حوالي 2 تيرابايت. يتم تحقيق هذه المؤشرات بسبب حقيقة أنه بالنسبة لجميع قواعد بيانات الاختبار ، لا يلزم سوى خدمة مشتركة واحدة ، والتي ، في الحالة العامة ، لن تشغل قاعدة بيانات أكثر إنتاجية. بالطبع ، كل هذا يتوقف على عدد التغييرات التي يتم إجراؤها على قواعد بيانات الاختبار. المزيد من التغييرات - سوف "تنتفخ" المخازن أكثر بسبب تخزين الدلتا. لتخيل هذا ، يمكنك تخيل رسم تخطيطي مع لقطات من الأجهزة الافتراضية.

العدد الإجمالي لقواعد البيانات الممكنة الممكنة (بما في ذلك قاعدة البيانات المصدر وقواعد بيانات الاختبار) لمثيل واحد دلفيكس هو حوالي 300.

تقليل الوقت لنشر القاعدة على الحامل. بدلاً من عدة ساعات من التشغيل الروتيني لتدوير نسخة احتياطية من إصدار معين على حامل ، تحتاج إلى الضغط على 3 أزرار. بالنسبة لأولئك الذين اعتادوا على العمل في وحدة التحكم أو استخدام واجهة برمجة تطبيقات قوية ، هناك كل من CLI و API على التوالي.

تقليل الوقت لتحديث قاعدة البيانات في المدرجات. يدعم محرك Delphix التزامن المستمر مع قاعدة البيانات المصدر (باستخدام سجلات الأرشيف / سجلات المعاملات لقاعدة البيانات) ، ويمكن نشر جميع التغييرات من قاعدة البيانات هذه إلى VDBs المتصلة.

كيف يتم تنفيذ هذا تقنيا؟

يحتوي نظام الملفات Delphix على كتل البيانات (أدنى مستوى في الصورة). تقوم Delphix بإنشاء فهارس B-tree تشير إلى كتل البيانات هذه. علاوة على ذلك ، فإن الكتلة الجذرية للمؤشر (الأعلى) حاسمة. هذه هي حالة النظام في الوقت t0.


تخيل الآن وصول كتل البيانات المعدلة b 'و c' ، وانتقل النظام إلى الحالة t1.

لا تقوم Delphix بطحن كتل البيانات القديمة ، ولكنها تنشئ كتلًا جديدة جنبًا إلى جنب. من أجل الوصول إليها ، يتم إنشاء كتلة فهرس جذرية جديدة تشير إلى كتل البيانات الجديدة.


بفضل المؤشرات ، يحتوي النظام على نسختين ، يمكن تشغيل كل منهما عن طريق الاتصال بكتلة الجذر المقابلة للمؤشر t0 أو t1.

على سبيل المثال ، عند الاتصال بكتلة فهرس t1 ، سيبدو النظام كما يلي:


عندما تأخذ Delphix نسخة احتياطية من قاعدة بيانات المصدر ، فإنها تنشئ مثل هذه الفهارس داخلها. يقوم تلقائيًا بتطبيق النسخ الاحتياطية الإضافية على الأصل ، ولكنه لا يفرك الكتل ، ولكنه يكتبها جنبًا إلى جنب وينشئ كتل جذرية جديدة للفهرس.

لذلك ، من الممكن دائمًا الحصول على لقطة قاعدة بيانات في نقطة زمنية محددة ونشر VDB منها.

هناك مقطع فيديو على YouTube يشرحه جوناثان لويس (مُحسّن / مُحسّن من الدرجة الأولى في Oracle ومشكلات الأداء مؤلف كتاب Oracle Fundamentals الجيد القائم على التكلفة والعديد من الكتب المفيدة).

ما مدى ملاءمته أكثر من الحل المخصص (البرامج النصية ، على سبيل المثال)؟

مع ما يكفي من الناس والوقت والمال والصبر ، يمكنك كتابة أي شيء باستخدام النصوص. ومع ذلك ، فإن تكلفة دعمها والعديد من الفروق الدقيقة الأخرى ستعتمد بشكل مباشر على مدى تعقيد مثل هذا القرار. قامت إحدى الشركات التي نعمل معها وأصدقاؤها بوزن الإيجابيات والسلبيات ، وتقييم نقاط القوة في قسم تكنولوجيا المعلومات لديها وقررت كتابة نظير Delphix بشكل مستقل على البرامج النصية و ZFS. إنه خيار جيد ، إذا كنت بحاجة إلى حل متخصص لنظام واحد ، فأنت واثق من قدراتك. نعم ، هذا موجود بالفعل ، نحن أنفسنا نحب كتابة النصوص ...

في مكان ما أعلاه ، حول الإخفاء ، ما هو؟

يمكن إضافة أداة إخفاء بيانات إضافية إلى وظائف Delphix الأساسية. سيسمح لك بتشفير البيانات الشخصية ، على سبيل المثال ، أرقام بطاقات الائتمان ، والأسماء ، والألقاب ، وما إلى ذلك. وظيفة تحظى بشعبية كبيرة بين البنوك وأولئك الذين يستوفون جميع متطلبات 149 و 152 .

عادةً ما يحتاج المطورون إلى بيانات من قاعدة بيانات منتجة عند حدوثها:

• تطوير تطبيق جديد ،
• دعم أو تحسين التطبيق ،
• الاختبار الوظيفي على مقاعد الاختبار.

ليس من الجيد ربط أي شخص مباشرة بقاعدة بيانات صناعية مباشرة ، لكنك تحتاج إلى العمل بطريقة أو بأخرى وتوفير طريقة لكل شخص يحتاج إليها بطريقة بنية البيانات الصناعية وحجم البيانات الصناعية الفرصة للعمل. الأهم من ذلك ، مع "ملف تعريف" صناعي للبيانات. نظرًا لأن البيانات المنتجة غالبًا ما تحتوي على معلومات سرية ، بما في ذلك البيانات الشخصية ، فإن نقلها إلى منطقة الاختبار أو إعطاؤها للمطورين عادةً ما تكون مهمة مستحيلة.

يمكنك كتابة مقال مفصل منفصل حول هذا ، ولكن إذا كان لفترة وجيزة ، فإن خيار إخفاء البيانات يخفي أو يعدل البيانات التي لا يمكن نقلها خارج المنطقة الخاضعة للسيطرة على الدائرة الصناعية ويسمح لك بنقل البيانات المقنعة بالفعل إلى بيئات التطوير والاختبار.

يقوم Masking Engine (محرك الإخفاء) بحذف أو تعديل المعلومات المحمية ويترك نظيرًا للبيانات ، مما يسمح للمطورين والمختبرين بالعمل مع بيانات مماثلة. يتم تنفيذ إخفاء البيانات بواسطة مكون Delphix Masking Engine.

لماذا لا تستخدم IBM Optim / Oracle Masking / نظائرها كإخفاء؟

بالطبع ، هناك حلول أخرى لها وظائف مماثلة. على سبيل المثال ، Oracle Masking و Informatica Masking وما إلى ذلك. بالإضافة إلى ذلك ، كما هو الحال في Delphix نفسها ، يمكنك كتابة نصوص التقنيع الخاصة بك. ومع ذلك ، فإن العيب الشائع الكبير هو الحاجة إلى شراء عدد كبير من التراخيص / البرامج الإضافية الأكثر تكلفة.

• بالنسبة إلى Oracle ، يعد هذا ترخيصًا لكل خادم باستخدام إخفاء (هذا هو ترخيص Masking و Database Gateway لقواعد البيانات غير Oracle).
• تمتلك Informatica PowerCenter ETL ، المصمم ، وإدارة دورة الحياة. وإذا كنت ترغب في ربطه بـ SAP ، فلا يزال عليك الدفع مقابله.
• النصوص - مع النصوص كلها تعتمد على إيمانك بنفسك وثقتك في قيادتك.

لكي لا نفرط في تحميل النص ، سنترك توضيحًا أكثر تفصيلاً لمبادئ وظيفة الإخفاء في مقالة منفصلة.

إذا كان بإمكانك تقديم أمثلة على أدوات التقنيع الأخرى المعروفة لك والتي استخدمتها في الممارسة والتي تحل المشكلة ، فسيكون من الرائع رؤية بضع كلمات منك عنها في التعليقات.

ما زلت أرغب في كتابة نص القناع الخاص بي ...

من الممكن استخدام واحد مكتوب ذاتيًا ، ولكن يجب على المرء أن يفهم أنه مع درجة عالية من الاحتمال ، فإن تشغيل البرامج النصية على قاعدة بيانات اختبار في حجم ، على سبيل المثال ، 5 تيرابايت ، سيستغرق وقتًا طويلاً جدًا. ويمكن أن تستمر كتابة الخوارزميات والنصوص نفسها لفترة أطول.

عندما يكون من الضروري حل مشكلة جديدة بسرعة ومضمونة ويجب أن تعمل "مثل الساعة" ، سيعمل إخفاء "خارج الصندوق" لـ Delphix. على الأرجح ، يجب "إنهاء" البرنامج النصي لمهمة جديدة (بنية البيانات ، ونوع قاعدة البيانات ، وما إلى ذلك).

حسنًا لقد أدركت بالفعل أننا بحاجة إلى Delphix. أعرض لفترة طويلة؟ كيف تبدو العملية؟

يبدأ التنفيذ بمشروع تجريبي. أولاً ، يتم إجراء مقابلة مع العميل ، وهنا للتفاعل الكامل ، سنحتاج فقط إلى مهندس مسؤول واحد (DBA أو مسؤول النظام). لدينا استبيان استبيان متخصص يساعد على معرفة خصائص بيئة الحوسبة الخاصة بالعميل.

سنحتاج أيضًا إلى معلومات حول الأنظمة التي قد تكون مرشحة للمحاكاة الافتراضية (إما قواعد بيانات منفصلة أو أنظمة SAP / Dynamics كاملة). معًا ، نحن في وضع الحوار نحدد معايير الاختبار ومعايير النجاح وتوقيت المشروع التجريبي. علاوة على ذلك ، أثناء إعداد العميل للبنية التحتية للتجربة ، نتلقى ترخيص اختبار من البائع.

يأتي مهندسونا إلى موقع العميل ، ويقومون بإعداد المحرك وربط قاعدة بيانات المصدر به. اعتمادًا على القواعد الداخلية للعميل فيما يتعلق بأمن المعلومات ، والمصدر المتصل وتوافر فريقه الفني ، يمكن إجراء النشر والتكوين الأولي ليس من قبلنا ، ولكن بواسطة فريق تكنولوجيا المعلومات الخاص بالعميل ، إما تحت إشرافنا أو وفقًا لتعليمات المورد نصيحتنا.

علاوة على ذلك ، إذا كان لدى العميل رغبة في ضخ فريقه (وعادة ما تكون هناك مثل هذه الرغبة) ، فإننا نجري تدريبًا لمسؤولي البنية التحتية و DBA. لأغراض التدريب ، نقوم بنشر قاعدة بيانات افتراضية واحدة أو أكثر معهم وتشغيل جميع البرامج النصية.

عادة ، يستمر الإصدار التجريبي من 2 إلى 4 أسابيع ، إذا كانت العمليات الداخلية للعميل يمكنها إعداد البنية التحتية اللازمة بسرعة. كقاعدة عامة ، خلال هذا الوقت على الأنظمة الحقيقية ، من الممكن اختبار جميع وظائف البرنامج وتقييم مدى الفوائد الناتجة.

استنادًا إلى نتائج الاختبار ، يتم تجميع تقرير يتم فيه تحليل جميع العمليات التجريبية ، ويتم تقديم الأرقام "تم - أصبح -" ويتم تقديم استنتاج حول مدى استصواب وجود علاقة طويلة الأمد. إذا اتخذت الإدارة قرارًا إيجابيًا ، فإن عملية "الانتقال إلى القضبان الصناعية" تستغرق عدة ساعات ، كما هو خلال عملية التجريب ، عادة ما يتم التغلب على الصعوبات الرئيسية ، ويبدأ "الاسترداد" و "تأثير المشروع" حرفياً في اليوم التالي.

هل هناك نقاط سلبية؟ ما الذي لا يعجبك؟

بصراحة ، المنتج ليس رخيصًا. لن يعمل على السيول ، ومن أجل استخدام الحل ، سيتعين عليك دفع رسوم سنوية للبائع. مخطط الترخيص - لكمية البيانات الافتراضية.

يتم تحقيق أقصى فائدة من استخدام Delphix عندما تحتاج إلى إنشاء عدد كبير من نسخ الأحجام الكبيرة من مصادر قاعدة البيانات المختلفة (عدد مصادر قاعدة البيانات> = 1) ، على سبيل المثال ، لإنشاء مجموعة من المواقف النموذجية للمحللين ، خدمة اختبار ، خدمة دعم للعب العيوب مع الإنتاج ، وما إلى ذلك ، حيث تحتاج إلى نسخ إما من قاعدة قتالية مع بيانات مقنعة ، أو نسخ من قاعدة اختبار كبيرة جدًا ، وبسرعة ولفترة قصيرة نسبيًا (إنشاء استنساخ ، حل مشكلة ، قتل استنساخ ، صنع جديد و الخ).

إذا كانت هذه هي حالتك ، ففكر في TCO (يمكننا المساعدة في القيام بذلك بشكل صحيح) وحدد ما إذا كان يناسبك أم لا. خلاف ذلك ، فهي حقا أداة محاصر مثيرة للاهتمام (وهذا أمر مهم!) التي تحل المهام التي يمكن فهمها تمامًا من وجهة نظر فنية.


في الختام ، نود إجراء استبيان صغير لفهم كيف يمكن أن تكون هذه الأداة مفيدة لك.