طلب منا عملائنا الأتراك تكوين النسخ الاحتياطي لمركز البيانات بشكل صحيح. نحن نقوم بمشاريع مماثلة في روسيا ، ولكن هنا كانت القصة تدور حول البحث عن أفضل السبل للقيام بذلك.
نظرًا لوجود وحدة تخزين S3 محلية ، هناك Veritas NetBackup ، التي اكتسبت وظائف متقدمة جديدة لنقل البيانات إلى مخازن الكائنات الآن مع دعم إلغاء البيانات المكررة ، وهناك مشكلة في المساحة الخالية في هذه التخزين المحلي.
الهدف: جعل كل شيء حتى تكون عملية تخزين النسخ الاحتياطي سريعة ورخيصة.
في الواقع ، قبل ذلك ، كان كل شيء في ملفات S3 مجرد ملفات ، وكانت هذه مجموعات كاملة من آلات مركز البيانات المهمة. ليس هذا هو الأمثل للغاية ، ولكن كل شيء يعمل في البداية. الآن حان الوقت لمعرفة ذلك والقيام بذلك بشكل صحيح.
في الصورة ، ما توصلنا إليه:
كما ترون ، تم إجراء النسخ الاحتياطي الأول ببطء (70 ميجا بايت / ثانية) ، وكانت النسخ الاحتياطية اللاحقة لنفس الأنظمة أسرع بكثير.
في الواقع ، مزيد من التفاصيل حول الميزات الموجودة.
سجلات النسخ الاحتياطي لأولئك الذين هم على استعداد لقراءة نصف صفحة من التفريغكامل مع إعادة تفحص
18 ديسمبر ، 2018 12:09:43 م - أرسل المعرف bpbkar (معرف المنتج = 4452) 14883996160 بايت من 14883994624 بايت للخادم ، التحسين 0.0٪
18 ديسمبر ، 2018 12:10:07 م - معلومات NBCC (معرف المنتج = 23002) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr؛ تقرير = إحصائيات PDDO (دفق متعدد الخيوط مستعمل) لـ (NBCC): تم الفحص: 14570817 كيلوبايت ، تم إرسال السجل التجاري CR: 1760761 كيلو بايت ، تم إرسال السجل التجاري عبر FC: 0 كيلو بايت ، إلغاء التنقيح: 87.9٪ ، تم تعطيل التخزين المؤقت
كامل
18 ديسمبر ، 2018 12:13:18 مساءً - أرسل المعجل bpbkar (معرف المنتج = 2864) 181675008 بايت من 14884060160 بايت للخادم ، تحسين 98.8٪
18 ديسمبر 2018 12:13:40 م - معلومات NBCC (معرف المنتج = 23527) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr؛ تقرير = إحصائيات PDDO لـ (NBCC): الممسوحة ضوئيًا: 14569706 كيلوبايت ، تم إرسال السجل التجاري: 45145 كيلو بايت ، تم إرسال السجل التجاري عبر FC: 0 كيلوبايت ، إلغاء التسجيل: 99.7٪ ، تم تعطيل التخزين المؤقت
تزايدي
18 ديسمبر 2018 12:15:32 مساءً - أرسل المعجل bpbkar (معرف المنتج = 792) 9970688 بايت من 14726108160 بايت للخادم ، والتحسين 99.9 ٪
18 ديسمبر 2018 12:15:53 م - معلومات NBCC (معرف المنتج = 23656) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr؛ تقرير = إحصائيات PDDO لـ (NBCC): ممسوحة ضوئيًا: 14383788 كيلوبايت ، تم إرسال السجل التجاري: 15700 كيلو بايت ، تم إرسال السجل التجاري عبر FC: 0 كيلوبايت ، إلغاء التسجيل: 99.9٪ ، تم تعطيل التخزين المؤقت
كامل
18 ديسمبر ، 2018 12:18:02 م - أرسل المعجل bpbkar (معرف المنتج = 3496) 171746816 بايت من 14884093952 بايت للخادم ، تحسين 98.8 ٪
18 ديسمبر 2018 12:18:24 م - معلومات NBCC (معرف المنتج = 23878) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr؛ تقرير = إحصائيات PDDO لـ (NBCC): الممسوحة ضوئيًا: 14569739 كيلوبايت ، تم إرسال السجل التجاري: 34120 كيلوبايت ، تم إرسال السجل التجاري عبر FC: 0 كيلوبايت ، إلغاء التسجيل: 99.8٪ ، تم تعطيل التخزين المؤقت
ما هي المشكلة
يريد العملاء إجراء نسخ احتياطي قدر الإمكان وتخزينه بأقل تكلفة ممكنة. من الأفضل تخزينها بشكل أفضل في مخازن الكائنات من النوع S3 ، لأنها أرخص بسعر الصيانة لكل ميجابايت حيث يمكنك استرجاعها في فترة زمنية معقولة. عندما يكون هناك الكثير من النسخ الاحتياطية ، فإنها لا تصبح رخيصة جدًا ، لأن معظم مساحة التخزين تشغلها نسخ من نفس البيانات. في حالة HaaS من الزملاء الأتراك ، يمكن تكثيف التخزين بحوالي 80-90 ٪. من الواضح أن هذا ينطبق بشكل خاص على تفاصيلها ، لكنني بالتأكيد سأعتمد على 50٪ على الأقل من إلغاء التسجيل.
لحل المشكلة ، قام البائعون الرئيسيون منذ فترة طويلة بإنشاء بوابات على Amazon S3. جميع أساليبهم متوافقة مع S3 المحلي إذا كانت تدعم واجهة برمجة تطبيقات Amazon. في مركز البيانات التركي ، يتم إجراء النسخ الاحتياطي في S3 لدينا ، وكذلك في T-III "الضاغط" في روسيا ، حيث أن مثل هذا المخطط للعمل أثبت أنه جيد معنا.
و
S3 لدينا متوافق تماما مع طرق النسخ الاحتياطي في Amazon S3. أي أن جميع أدوات النسخ الاحتياطي التي تدعم هذه الأساليب تسمح لك بنسخ كل شيء إلى مثل هذا التخزين "خارج الصندوق".
قدمت Veritas NetBackup ميزة CloudCatalyst:
أي بين الأجهزة التي تحتاج إلى نسخ احتياطي والعبارة هناك خادم Linux وسيط تمر عبره حركة مرور النسخ الاحتياطي من عملاء CPC ويتم إلغاء البيانات المكررة أثناء النقل قبل نقلها إلى S3. إذا كان هناك 30 نسخة احتياطية بسعة 20 جيجابايت لكل منها مع الضغط ، فقد أصبح حجمها الآن 90٪ (بسبب تشابه الأجهزة). يستخدم محرك إلغاء البيانات المماثل كما هو الحال عند تخزينه على الأقراص العادية باستخدام Netbackup.
إليك ما يحدث قبل خادم التدريج:
لقد اختبرنا وخلصنا إلى أنه عندما يتم تطبيقه في مراكز البيانات الخاصة بنا ، فإن هذا يوفر مساحة في مخازن S3 لنا وللعملاء. بصفتنا مالكًا لمراكز البيانات التجارية ، بالطبع ، نحن نفرض رسومًا على الحجم المشغول ، ولكن لا يزال هذا الأمر مفيدًا للغاية بالنسبة لنا أيضًا - لأننا بدأنا في كسب المزيد من الأماكن القابلة للتطوير في البرامج ، وليس على تأجير الحديد. حسنًا ، هذا انخفاض في التكاليف الداخلية.
السجلات228 وظيفة (0 قائمة الانتظار 0 نشطة 0 في انتظار إعادة المحاولة 0 مع وقف التنفيذ 0 غير مكتمل 228 تم - تم تحديد 13)
(تطبيق مرشح [13])
نوع معرّف الوظيفة الحالة حالة التفاصيل سياسة المهمة جدول الوظائف عميل الوسائط الخادم وقت البدء الوقت المنقضي وقت التخزين وحدة التخزين العملية كيلو بايت الملفات اسم المسار٪ مكتمل (تقديري) الوظيفة PID مالك النسخة معرف الوظيفة الرئيسي KB / Sec نشط بدء جلسة ملف تعريف ملف Robot Vault نشط معرّف الوسائط لإخراج حركة البيانات خارج المضيف نوع الأولوية الرئيسية معدل إلغاء البيانات المكررة مسرع تحسين مثيل أو قاعدة بيانات مشاركة المضيف
- 1358 Snapshot Done 0 VMware - NGNCloudADC NBCC 18، 2018 12:16:19 PM 00:02:18 Dec 18، 2018 12:18:37 PM STU_DP_S3 _ **** backup 1 100٪ root 1358 Dec 18، 2018 12 : 16: 27 PM 00:02:10 WIN Recovery Recovery Standard WIN WIN - *********** 0
1360 Backup Done 0 VMware Full NGNCloudADC NBCC December 18، 2018 12:16:48 PM 00:01:39 Dec 18، 2018 12:18:27 PM STU_DP_S3 _ **** backup 1 14،535،248 149654 100٪ 23858 root 1358 Dec 18 ، 2018 12:16:48 PM 00:01:39 WIN Recovery Recovery Standard Standard WIN WIN - *********** 0 99.8٪ 99٪
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 ديسمبر ، 2018 12:14:04 PM 00:02:01 18 ديسمبر ، 2018 12:16:05 PM STU_DP_S3 _ **** backup 1 100٪ root 1352 Dec 18، 2018 12: 14:14 PM 00:01:51 WIN Recovery Recovery Standard WIN WIN - *********** 0
1354 Backup Done 0 VMware Incremental NGNCloudADC NBCC 18 ديسمبر ، 2018 12:14:34 PM 00:01:21 Dec 18، 2018 12:15:55 PM STU_DP_S3 _ **** backup 1 14،380،965 147 100٪ 23617 root 1352 500 Dec 18 ، 2018 12:14:34 PM 00:01:21 WIN Recovery Recovery Standard Standard WIN - *********** 0 99.9٪ 100٪
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC December 18، 2018 12:11:45 PM 00:02:08 Dec 18، 2018 12:13:53 PM STU_DP_S3 _ **** backup 1 100٪ root 1347 Dec 18، 2018 12: 11:45 PM 00:02:08 Instant Recovery Disk Standard WIN - *********** 0
1349 Backup Done 0 VMware Full NGNCloudADC NBCC December 18، 2018 12:12:02 PM 00:01:41 Dec 18، 2018 12:13:43 PM STU_DP_S3 _ **** backup 1 14،535،215 149653 100٪ 23508 root 1347 316،319 Dec 18 ، 2018 12:12:02 PM 00:01:41 WIN Recovery Recovery Standard Standard WIN - *********** 0 99.7٪ 99٪
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC December 18، 2018 12:05:28 PM 00:04:53 Dec 18، 2018 12:10:21 PM STU_DP_S3 _ **** backup 1 100٪ root 1341 Dec 18، 2018 12: 05:28 PM 00:04:53 WIN Recovery Recovery Standard WIN WIN - *********** 0
1342 Backup Done 0 VMware Full_Rescan NGNCloudADC NBCC December 18، 2018 12:05:47 PM 00:04:24 Dec 18، 2018 12:10:11 PM STU_DP_S3 _ **** backup 1 14،535،151 149653 100٪ 22999 root 1841 ، 2018 12:05:47 PM 00:04:24 WIN Recovery Recovery Standard Standard WIN - *********** 0 87.9٪ 0٪
1339 Snapshot Done 150 VMware - NGNCloudADC NBCC 18 ديسمبر ، 2018 11:05:46 صباحًا 00:00:53 18 ديسمبر ، 2018 11:06:39 صباحًا STU_DP_S3 _ **** نسخة احتياطية 1 الجذر 100٪ 1339 ديسمبر 18 ، 2018 11: 05:46 AM 00:00:53 Instant Recovery Disk Standard WIN - *********** 0
1327 Snapshot Done 0 VMware - *******. ******** Cloud NBCC 17 December، 2018 12:54:42 PM 05:51:38 Dec 17، 2018 6:46:20 PM STU_DP_S3 _ **** backup 1 100٪ root 1327 Dec 17، 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN WIN - *********** 0
1328 Backup Done 0 VMware Full *******. ******** Cloud NBCC 17 December، 2018 12:55:10 PM 05:29:21 Dec 17، 2018 6:24:31 PM STU_DP_S3 _ **** backup 1 222،602،719 258932 100٪ 12856 root 1327 11،326 Dec 17، 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN WIN - *********** 0 87.9٪ 0٪
1136 Snapshot Done 0 VMware - *******. ********. Cloud NBCC 14 ديسمبر ، 2018 4:48:22 PM 04:05:16 14 ديسمبر ، 2018 8:53:38 PM STU_DP_S3 _ **** backup 1 100٪ root 1136 Dec 14، 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN - *********** 0
1140 Backup Done 0 VMware Full_Scan *******. ********. Cloud NBCC 14 ديسمبر ، 2018 4:49:14 PM 03:49:58 14 ديسمبر ، 2018 8:39:12 PM STU_DP_S3 _ **** backup 1 217،631،332 255465 100٪ 26438 root 1136 15،963 Dec 14، 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN WIN - *********** 0 45.2٪ 0٪
يتيح لك المسرع تقليل حركة المرور من الوكلاء ، لأن يتم إرسال تغييرات البيانات فقط ، أي أنه لا يتم نسخ النسخ الاحتياطية الكاملة بالكامل ، لأن خادم الوسائط يجمع النسخ الاحتياطية الكاملة اللاحقة من النسخ الاحتياطية المتزايدة.
يحتوي الخادم الوسيط على مستودع خاص به حيث يكتب "ذاكرة تخزين مؤقت" للبيانات ويحمل قاعدة إلغاء البيانات المكررة.
في العمارة الكاملة ، يبدو كما يلي:
- يدير الخادم الرئيسي التكوين والتحديثات والمزيد ، ويقع في السحابة.
- يجب أن يكون خادم الوسائط (آلة وسيطة * nix) أقرب إلى الأنظمة الزائدة من حيث توفر الشبكة. هنا يتم إلغاء نسخ احتياطية من جميع الآلات الزائدة عن الحاجة.
- هناك وكلاء على الأجهزة الزائدة التي ترسل بشكل عام إلى خادم الوسائط فقط ما هو غير موجود في السعة التخزينية.
كل شيء يبدأ بمسح كامل - هذا نسخة احتياطية كاملة. في هذه المرحلة ، يأخذ خادم الوسائط كل شيء وينسخه وينقله إلى S3. السرعة إلى خادم الوسائط منخفضة ، منها - أعلى. القيد الرئيسي هو قوة معالجة الخادم.
يتم إجراء النسخ الاحتياطية التالية كاملة من وجهة نظر جميع الأنظمة ، ولكن في الواقع ، فهي تشبه النسخ الاحتياطية الاصطناعية الكاملة. أي أن النقل والتسجيل الفعلي إلى خادم الوسائط هو فقط كتل البيانات التي لم يتم رؤيتها بعد في نسخ احتياطية من VM من قبل. إن عملية النقل والكتابة إلى S3 هي فقط كتل البيانات التي ليس تجزئة البيانات في قاعدة بيانات إلغاء البيانات المكررة لخادم الوسائط. إذا بعبارة أبسط - أنه لم يكن هناك VMs في أي نسخة احتياطية من قبل.
عند الاستعادة ، يطلب خادم الوسائط الكائنات الضرورية المكررة من S3 ، يرطبها ويمررها إلى وكلاء CPC ، أي من الضروري مراعاة حجم حركة المرور أثناء الاستعادة ، والتي ستكون مساوية للحجم الحقيقي للبيانات التي تتم استعادتها.
إليك ما يبدو عليه:
وهنا قطعة أخرى من السجلات169 وظيفة (0 قائمة الانتظار 0 نشطة 0 في انتظار إعادة المحاولة 0 مع وقف التنفيذ 0 غير مكتمل 169 تم - تم تحديد 1)
نوع معرّف الوظيفة الحالة حالة التفاصيل سياسة المهمة جدول الوظائف عميل الوسائط الخادم وقت البدء الوقت المنقضي وقت التخزين وحدة التخزين العملية كيلو بايت الملفات اسم المسار٪ مكتمل (تقديري) الوظيفة PID مالك النسخة معرف الوظيفة الرئيسي KB / Sec نشط بدء جلسة ملف تعريف ملف Robot Vault نشط معرّف الوسائط لإخراج حركة البيانات خارج المضيف النوع الرئيسي ذات الأولوية لإلغاء البيانات المكررة معدل تسريع النقل المثيل أو مضيف مشاركة قاعدة البيانات
- 1372 Restore Done 0 nbpr01 NBCC 19 December، 2018 1:05:58 PM 00:04:32 Dec 19، 2018 1:10:30 PM 1 14،380،577 1 100٪ 8548 root 1372 70،567 December 19، 2018 1:06:00 بعد الظهر 00:04:30 فوز - *********** 90،000
يتم ضمان تكامل البيانات من خلال حماية S3 نفسها - هناك وفرة جيدة للحماية من أعطال الأجهزة مثل محور دوران القرص الصلب الميت.
يحتاج خادم الوسائط إلى 4 تيرابايت من ذاكرة التخزين المؤقت - هذه توصية Veritas بالحجم الأدنى. أفضل أكثر ، لكننا فعلنا ذلك.
يؤدي
عندما ألقى شريك 20 غيغابايت في S3 لدينا ، قمنا بتخزين 60 غيغابايت ، لأننا نقدم ثلاث مرات الحجز الجغرافي للبيانات. الآن حركة المرور أقل بكثير ، وهو أمر جيد للقناة ولشحن التخزين.
في هذه الحالة ، يتم إغلاق الطرق بعد "الإنترنت الكبير" ، ولكن يمكنك زيادة حركة المرور عبر VPN L2 عبر الإنترنت ، ولكن من الأفضل تعيين خادم الوسائط على مدخل المزود.
إذا كنت مهتمًا بالتعرف على هذه الميزات في مراكز البيانات الروسية الخاصة بنا أو إذا كانت لديك أسئلة حول كيفية تنفيذها ، فاطرحها في التعليقات أو على البريد الإلكتروني ekorotkikh@croc.ru.