المسؤول الأعزل = فرط التقارب؟

هذه أسطورة شائعة جدًا في مجال أجهزة الخادم. في الممارسة العملية ، تحتاج الحلول شديدة الارتباط (عندما يكون الكل في واحد) إلى الكثير من أجل ماذا. تاريخياً ، طورت أمازون وجوجل أول تصميم معماري لخدماتهما. ثم كانت الفكرة هي إنشاء مزرعة للحوسبة بنفس العقد ، ولكل منها محركاته الخاصة. تم الجمع بين كل هذا من خلال بعض البرامج التي تشكل النظام (hypervisor) وتم تقسيمها بالفعل إلى أجهزة افتراضية. المهمة الرئيسية هي الحد الأدنى من الجهد للحفاظ على عقدة واحدة والحد الأدنى من مشاكل التحجيم: لقد اشترينا فقط ألف أو اثنين من نفس الخوادم ومتصلين بالجوار. في الممارسة العملية ، هذه حالات معزولة ، وغالبًا ما نتحدث عن عدد أقل من العقد وبنية مختلفة قليلاً.

لكن علامة زائد لا تزال هي نفسها - سهولة مذهلة للتحجيم والتحكم. ناقص - تستهلك المهام المختلفة الموارد بشكل مختلف ، وفي مكان ما سيكون هناك العديد من الأقراص المحلية ، وفي مكان ما سيكون هناك القليل من ذاكرة الوصول العشوائي ، وهكذا ، مع أنواع مختلفة من المهام ، سينخفض ​​استخدام الموارد.

اتضح أنك تدفع 10-15 ٪ أكثر لسهولة الإعداد. تسبب هذا في أسطورة العنوان. بحثنا لفترة طويلة حيث سيتم تطبيق التكنولوجيا على النحو الأمثل ، والعثور عليها. الحقيقة هي أن Tsiska لم يكن لديها أنظمة التخزين الخاصة بها ، لكنهم أرادوا سوق خادم كامل. وصنعوا Cisco Hyperflex ، وهو حل تخزين محلي على العقد.

وهذا تحول فجأة إلى أن يكون حلاً جيدًا للغاية لمراكز بيانات النسخ الاحتياطي (Disaster Recovery). لماذا وكيف - الآن سأقول. وسوف تظهر اختبارات الكتلة.

إلى أين

التقارب المفرط هو:

1. نقل الأقراص لحساب العقد.
2. التكامل الكامل للنظام الفرعي للتخزين مع النظام الفرعي للمحاكاة الافتراضية.
3. نقل / التكامل مع الشبكة الفرعية.

تسمح لك هذه المجموعة بتطبيق العديد من ميزات أنظمة التخزين على مستوى المحاكاة الافتراضية وكل ذلك من نافذة تحكم واحدة.

في شركتنا ، تحظى مشاريع تصميم مراكز البيانات المكررة بشعبية كبيرة ، وغالبًا ما يتم اختيار الحل الذي يتم اختياره كثيرًا بسبب كومة خيارات النسخ المتماثل (حتى كتلة المترو) خارج الصندوق.

في حالة مراكز النسخ الاحتياطي للبيانات ، عادة ما يكون الأمر يتعلق بمرفق بعيد في موقع على الجانب الآخر من المدينة أو في مدينة أخرى بشكل عام. يسمح لك باستعادة الأنظمة الهامة في حالة حدوث فشل جزئي أو كامل في مركز البيانات الرئيسي. يتم نسخ بيانات المبيعات باستمرار هناك ، ويمكن أن يكون هذا النسخ المتماثل على مستوى التطبيق أو على مستوى جهاز الكتلة (SHD).

لذا سأتحدث الآن عن جهاز النظام واختباراته ، ثم عن سيناريوهين حقيقيين مع بيانات حول التوفير.

اختبارات

تتكون نسختنا من أربعة خوادم ، يحتوي كل منها على 10 أقراص SSD لكل 960 جيجابايت. يوجد قرص مخصص للتخزين المؤقت لعمليات الكتابة وتخزين الجهاز الظاهري للخدمة. الحل نفسه هو الإصدار الرابع. أول واحد هو بصراحة الخام (اذا حكمنا من خلال الاستعراضات) ، والثاني هو رطب ، والثاني هو بالفعل مستقرة للغاية ، وهذا يمكن أن يسمى هذا الإصدار بعد نهاية اختبار بيتا لعامة الناس. أثناء اختبار المشكلات التي لم أرها ، يعمل كل شيء على مدار الساعة.


الهندسة المعمارية لا تختلف كثيرا عن قرارات المنافسين الرئيسيين ؛ فهي لم تبدأ في إنشاء دراجة هوائية. كل هذا يعمل على نظام VMware أو Hyper-V الظاهري. الأجهزة المستضافة على خوادم Cisco UCS الخاصة. هناك أولئك الذين يكرهون النظام الأساسي بسبب التعقيد النسبي للإعداد الأولي ، والعديد من الأزرار ، ونظام غير تافه من القوالب والاعتمادية ، ولكن هناك أيضًا أولئك الذين تعلموا Zen ، وقد استلهموا الفكرة ولم يعودوا يريدون العمل مع خوادم أخرى.

سننظر في الحل الخاص بـ VMware ، نظرًا لأن الحل تم إنشاؤه أصلاً من أجله ولديه المزيد من الوظائف ، تمت إضافة Hyper-V على طول الطريق لمواكبة المنافسين وتلبية توقعات السوق.

هناك مجموعة من الخوادم مليئة بالأقراص. هناك أقراص لتخزين البيانات (SSD أو HDD - حسب ذوقك واحتياجاتك) ، يوجد قرص SSD واحد للتخزين المؤقت. عندما تتم كتابة البيانات إلى مخزن البيانات ، يتم حفظ البيانات في طبقة التخزين المؤقت (قرص SSD مخصص وخدمة ذاكرة الوصول العشوائي VM). بالتوازي ، يتم إرسال كتلة البيانات إلى العقد في الكتلة (يعتمد عدد العقد على عامل النسخ المتماثل الكتلة). بعد التأكيد من جميع العقد حول التسجيل الناجح ، يتم إرسال تأكيد التسجيل إلى برنامج Hypervisor ثم إلى VM. يتم نسخ البيانات المسجلة في الخلفية ، وضغطها وكتابتها على أقراص التخزين. في الوقت نفسه ، يتم دائمًا كتابة كتلة كبيرة على أقراص التخزين وبالتسلسل ، مما يقلل من التحميل على أقراص التخزين.

دائمًا ما تكون ميزة إلغاء البيانات المكررة والضغط قيد التشغيل ولا يمكن تعطيلها. تتم قراءة البيانات مباشرة من أقراص التخزين أو من ذاكرة التخزين المؤقت RAM. إذا تم استخدام تكوين مختلط ، فإن القراءة يتم تخزينها مؤقتًا أيضًا على SSD.

البيانات غير مرتبطة بالموقع الحالي للجهاز الظاهري ويتم توزيعها بالتساوي بين العقد. يتيح لك هذا الأسلوب تحميل جميع محركات الأقراص وواجهات الشبكة بشكل متساوٍ. يطرح ناقص واضح: لا يمكننا تقليل تأخير القراءة ، لأنه لا يوجد ضمان لتوافر البيانات محليا. لكنني أعتقد أن هذه تضحية لا تذكر مقارنة بالإيجابيات المستلمة. علاوة على ذلك ، وصلت تأخيرات الشبكة إلى قيم لا تؤثر عملياً على النتيجة الإجمالية.

لكل منطق النظام الفرعي للقرص ، يكون جهاز VM للخدمة الخاصة بوحدة التحكم في Cisco HyperFlex Data Platform هو المسئول ، والذي يتم إنشاؤه على كل عقدة تخزين. في تكوين VM لخدمتنا ، تم تخصيص ثمانية وحدات معالجة فردية و 72 جيجابايت من ذاكرة الوصول العشوائي ، وهي ليست صغيرة جدًا. اسمحوا لي أن أذكرك أن المضيف نفسه يحتوي على 28 مركزًا طبيعيًا و 512 جيجابايت من ذاكرة الوصول العشوائي.

تتمتع خدمة VM بالوصول إلى الأقراص الفعلية مباشرةً عن طريق إعادة توجيه وحدة التحكم SAS إلى VM. يحدث التواصل مع برنامج hypervisor من خلال وحدة IOVisor خاصة ، والتي تعترض عمليات الإدخال / الإخراج ، واستخدام وكيل يتيح لك نقل الأوامر إلى API hypervisor. الوكيل مسؤول عن العمل مع لقطات HyperFlex والنسخ.

في برنامج Hypervisor ، يتم تثبيت موارد القرص ككرة NFS أو SMB (اعتمادًا على نوع برنامج hypervisor ، تخمين أي منهما). وتحت غطاء محرك السيارة ، هذا هو نظام الملفات الموزع الذي يسمح لك بإضافة ميزات أنظمة التخزين الكاملة للبالغين: تخصيص حجم رقيق ، ضغط وإلغاء البيانات المكررة ، لقطات باستخدام تقنية Redirect-on-Write ، تكرار متزامن / غير متزامن.

يوفر Service VM الوصول إلى واجهة WEB لإدارة النظام الفرعي HyperFlex. هناك تكامل مع vCenter ، ويمكن تنفيذ معظم المهام اليومية منه ، ولكن على سبيل المثال ، تعد مراكز البيانات أكثر ملاءمة للقطع من كاميرا ويب منفصلة إذا كنت قد انتقلت بالفعل إلى واجهة HTML5 سريعة ، أو استخدم عميل Flash كامل مع تكامل كامل. في كاميرا ويب الخدمة ، يمكنك رؤية الأداء والحالة التفصيلية للنظام.



هناك نوع آخر من العقدة في مجموعة - العقد الحسابية. يمكن أن يكون خوادم الحامل أو الشفرة بدون محركات أقراص مدمجة. على هذه الخوادم ، يمكنك تشغيل VMs التي يتم تخزين بياناتها على خوادم بأقراص. من وجهة نظر الوصول إلى البيانات ، لا يوجد فرق بين أنواع العقد ، لأن البنية تنطوي على الاستخلاص من الموقع الفعلي للبيانات. الحد الأقصى لنسبة حساب العقد وعقد التخزين هو 2: 1.

يؤدي استخدام العقد الحسابية إلى زيادة المرونة عند توسيع نطاق موارد نظام المجموعة: لا يتعين علينا شراء العقد باستخدام الأقراص إذا كنا بحاجة إلى وحدة المعالجة المركزية / ذاكرة الوصول العشوائي فقط. بالإضافة إلى ذلك ، يمكننا إضافة سلة الشفرة وتوفير مساحة خادم الحامل.

نتيجة لذلك ، لدينا نظام أساسي مفرط الارتباط مع الميزات التالية:

• حتى 64 عقدة في كتلة (حتى 32 عقدة تخزين).
• الحد الأدنى لعدد العقد في كتلة هو ثلاثة (اثنان لمجموعة الحافة).
• آلية تكرار البيانات: النسخ المتطابق مع عامل تكرار 2 و 3.
• كتلة المترو.
• النسخ المتماثل VM غير متزامن إلى كتلة HyperFlex أخرى.
• تزامن تحويل VMs إلى مركز بيانات بعيد.
• لقطات أصلية باستخدام تقنية Redirect-on-Write.
• ما يصل إلى 1 PB من المساحة القابلة للاستخدام مع عامل النسخ المتماثل 3 ودون إلغاء البيانات المكررة. نحن لا نأخذ بعين الاعتبار عامل النسخ المتماثل 2 ، لأن هذا ليس خيارًا للبيع الجاد.

ميزة إضافية ضخمة هي سهولة الإدارة والنشر. تتم معالجة جميع التعقيدات الخاصة بتكوين خوادم UCS بواسطة VM متخصص تم إعداده بواسطة مهندسي Cisco.

تكوين اختبار:

• 2 × Cisco UCS Fabric Interconnect 6248UP كمجموعة إدارة ومكونات شبكة (48 منفذًا تعمل في وضع Ethernet 10G / FC 16G).
• أربعة خوادم Cisco UCS HXAF240 M4.

ميزات الخادم:

الاتصال بشبكة على منافذ Ethernet 40G أو 25G أو 10G.

كما يمكن أن يكون FI HX-FI-6332 (40G) ، HX-FI-6332-16UP (40G) ، HX-FI-6454 (40G / 100G).

اختبر نفسه

لاختبار النظام الفرعي للقرص ، استخدمت HCIBench 2.2.1. هذه أداة مساعدة مجانية تتيح لك إنشاء الحمل تلقائيًا من أجهزة افتراضية متعددة. يتم إنشاء الحمل نفسه عن طريق قوة المراقبة الدولية العادية.

تتكون مجموعتنا من أربعة عقد ، عامل النسخ المتماثل 3 ، جميع محركات أقراص فلاش.

للاختبار ، قمت بإنشاء أربعة مراكز بيانات وثمانية أجهزة افتراضية. بالنسبة لاختبارات الكتابة ، من المفترض أن قرص التخزين المؤقت غير ممتلئ.

نتائج الاختبار هي كما يلي:

يشار إلى القيم الغامقة ، وبعد ذلك لا توجد زيادة في الإنتاجية ، يكون التدهور مرئيًا في بعض الأحيان. بسبب حقيقة أننا نستند على أداء الشبكة / وحدات التحكم / محركات الأقراص.

• قراءة متتابعة 4432 ميجابايت / ثانية.
• الكتابة التسلسلية 804 ميجابايت / ثانية.
• في حالة فشل وحدة تحكم واحدة (فشل الجهاز الظاهري أو المضيف) ، يتم مضاعفة سحب الأداء.
• في حالة فشل محرك التخزين ، يكون السحب 1/3. قرص Rebild يأخذ 5 ٪ من موارد كل وحدة تحكم.

على كتلة صغيرة ، نواجه أداء وحدة التحكم (الجهاز الظاهري) ، يتم تحميل وحدة المعالجة المركزية بنسبة 100 ٪ ، مع زيادة الكتلة التي نواجهها في عرض النطاق الترددي للمنفذ. 10 جيجابت في الثانية ليست كافية لإطلاق إمكانات نظام AllFlash. لسوء الحظ ، لا تسمح معلمات حامل العرض التوضيحي بالتحقق من العمل بسرعة 40 جيجابت / ثانية.

في انطباعي للاختبارات ودراسة الهندسة المعمارية ، نظرًا للخوارزمية التي تضع البيانات بين جميع المضيفين ، نحقق أداءً قابلاً للتنبؤ به قابلاً للتطوير ، ولكن هذا أيضًا قيد عند القراءة ، حيث سيكون من الممكن الضغط أكثر من الأقراص المحلية والمزيد ، هنا لحفظ شبكة أكثر إنتاجية ، على سبيل المثال ، تتوفر 40 Fbs FIs.

أيضًا ، يمكن أن يكون هناك قرص واحد للتخزين المؤقت وإلغاء البيانات المكررة يمثل قيدًا ؛ في الواقع ، يمكننا في هذا الموقف الكتابة على أربعة أقراص SSD. سيكون من الرائع أن تكون قادرًا على زيادة عدد الأقراص المخزنة مؤقتًا ومعرفة الفرق.

الاستخدام الحقيقي

يمكن استخدام طريقتين لتنظيم مركز بيانات النسخ الاحتياطي (لا نعتبر وضع نسخة احتياطية على موقع بعيد):

1. نشط السلبي يتم استضافة جميع التطبيقات في مركز البيانات الرئيسي. النسخ المتماثل متزامن أو غير متزامن. في حالة حدوث انخفاض في مركز البيانات الرئيسي ، نحتاج إلى تنشيط النسخة الاحتياطية. يمكن القيام بذلك يدويًا / تطبيقات نصية / تزامن. هنا نحصل على RPO بما يتناسب مع تكرار النسخ المتماثل ، وتعتمد RTO على رد فعل ومهارات المسؤول وجودة تطوير / تصحيح خطة التبديل.
2. نشط نشط في هذه الحالة ، لا يوجد سوى النسخ المتزامن المتزامن ، ويتم تحديد توفر مراكز البيانات عن طريق النصاب القانوني / الحكم ، الموضوعة بشكل صارم على النظام الأساسي الثالث. RPO = 0 ، ويمكن أن يصل RTO إلى 0 (إذا كان التطبيق يسمح) أو مساوياً للوقت للفشل على عقدة في كتلة ظاهرية. على مستوى المحاكاة الافتراضية ، يتم إنشاء كتلة ممتدة (Metro) تتطلب تخزينًا نشطًا.

في العادة ، نرى مع العملاء بنية تم تنفيذها بالفعل مع تخزين كلاسيكي في مركز البيانات الرئيسي ، لذلك نقوم بتصميم بنية أخرى للنسخ المتماثل. كما ذكرت ، تقدم Cisco HyperFlex النسخ المتماثل غير المتزامن وإنشاء مجموعة ظاهرية موسعة. في الوقت نفسه ، لا نحتاج إلى نظام تخزين متوسط ​​أو أعلى مخصص مع وظائف مكلفة للنسخ المتماثل والوصول إلى البيانات النشطة على نظامي تخزين.

السيناريو 1: لدينا مراكز بيانات أساسية ونسخ احتياطي ، وهي منصة افتراضية على VMware vSphere. توجد جميع الأنظمة الإنتاجية بشكل رئيسي في مركز البيانات ، ويتم إجراء النسخ المتماثل للجهاز الظاهري على مستوى برنامج Hypervisor ، مما سيتيح عدم الحفاظ على VMs قيد التشغيل في مركز بيانات النسخ الاحتياطي. نقوم بتكرار قواعد البيانات والتطبيقات الخاصة باستخدام أدوات مدمجة والحفاظ على تشغيل VMs. في حالة فشل مركز البيانات الرئيسي ، نبدأ تشغيل النظام في مركز بيانات النسخ الاحتياطي. نعتقد أن لدينا حوالي 100 جهاز افتراضي. طالما أن مركز البيانات الرئيسي يعمل ، يمكن تشغيل بيئات الاختبار والأنظمة الأخرى في مركز بيانات النسخ الاحتياطي ، والذي يمكن تعطيله إذا تم تبديل مركز البيانات الرئيسي. من الممكن أيضًا أن نستخدم النسخ المتماثل ثنائي الاتجاه. من وجهة نظر المعدات ، لن يتغير شيء.

في حالة الهندسة المعمارية الكلاسيكية ، سنضع نظام تخزين هجين في كل مركز بيانات يمكن الوصول إليه عبر FibreChannel ، وتمزيق وإلغاء البيانات المكررة والضغط (ولكن ليس عبر الإنترنت) ، و 8 خوادم لكل موقع ، و 2 من محولات FibreChannel و Ethernet 10G. من أجل التحكم في النسخ المتماثل والتبديل في بنية كلاسيكية ، يمكننا استخدام أدوات VMware (النسخ المتماثل + SRM) أو أدوات الجهات الخارجية التي ستكون أرخص قليلاً وأحيانًا أكثر ملاءمة.

يوضح الشكل رسم بياني.



إذا كنت تستخدم Cisco HyperFlex ، فستحصل على البنية التالية:



بالنسبة لـ HyperFlex ، استخدمت خوادم مزودة بموارد CPU / RAM كبيرة ، مثل سيذهب جزء من الموارد إلى جهاز تحكم HyperFlex الخاص بـ VM ، لقد قمت حتى الآن بإعادة تحميل تكوين HyperFlex على وحدة المعالجة المركزية والذاكرة قليلاً حتى لا ألعب إلى جانب Cisco وضمان الموارد لبقية أجهزة VM. ولكن يمكننا رفض من محولات FibreChannel ، ونحن لسنا بحاجة إلى منافذ Ethernet لكل خادم ، يتم تبديل حركة المرور المحلية داخل FI.

والنتيجة هي التكوين التالي لكل مركز بيانات:

بالنسبة لـ Hyperflex ، لم أتعهد بتراخيص برامج النسخ المتماثل ، لأن هذا متاح من خارج الصندوق.

بالنسبة للعمارة الكلاسيكية ، أخذت بائعًا أثبت نفسه كشركة مصنعة عالية الجودة وغير مكلفة. بالنسبة لكلا الخيارين ، استخدمت معيارًا لحلول زحمة معينة ، وفي المخرجات حصلت على أسعار حقيقية.

كان الحل على Cisco HyperFlex أرخص بنسبة 13٪.

السيناريو 2: إنشاء اثنين من مراكز البيانات النشطة. في هذا السيناريو ، نقوم بتصميم كتلة موسعة على برنامج VMware.

تتكون البنية الكلاسيكية من خوادم افتراضية و SAN (بروتوكول FC) ونظامين للتخزين يمكنهما القراءة والكتابة على أحدهما الممتد بينهما. على كل SHD نضع قدرة مفيدة للقفل.



في HyperFlex ، ببساطة نقوم بإنشاء Stretch Cluster بنفس عدد العقد على كلا الموقعين. في هذه الحالة ، يتم استخدام عامل النسخ المتماثل 2 + 2.



التكوين التالي قد تحول:

في جميع العمليات الحسابية ، لم أضع في الاعتبار البنية الأساسية للشبكة ، وتكاليف مركز البيانات ، وما إلى ذلك: ستكون هي نفسها بالنسبة للبنية الكلاسيكية ولحل HyperFlex.

بسعر التكلفة أصبح HyperFlex أكثر تكلفة بنسبة 5٪. تجدر الإشارة هنا إلى أنه بالنسبة لموارد وحدة المعالجة المركزية / ذاكرة الوصول العشوائي (RAM) ، حصلت على تحيز لشركة Cisco ، لأنه في التكوين ملأ قنوات وحدات التحكم في الذاكرة بالتساوي. , , , « », . , Cisco UCS .

SAN , - , (, , — ), ( ), .

, — Cisco. Cisco UCS, , HyperFlex , . , . : « , ?» « - , . !» — , : « » .

مراجع

• -
• -
• — StGeneralov@croc.ru