vSAN في سحابة VMware

إن مهام تخزين البيانات والوصول إليها هي نقطة الألم لأي نظام معلومات. حتى نظام التخزين المصمم جيدًا (المشار إليه فيما يلي باسم SHD) أثناء التشغيل يكشف عن المشكلات المرتبطة بانخفاض الأداء. يجب إيلاء اهتمام خاص لمجموعة من مشاكل التحجيم عندما يقترب حجم الموارد المعنية من الحدود الموضوعة التي وضعها مطورو التخزين.

والسبب الأساسي لحدوث هذه المشكلات هو البنية التقليدية القائمة على الارتباط المحكم بخصائص الأجهزة لأجهزة التخزين المستخدمة. لا يزال معظم العملاء يختارون طريقة تخزين البيانات والوصول إليها بناءً على خصائص الواجهات المادية (SAS / SATA / SCSI) ، بدلاً من الاحتياجات الحقيقية للتطبيقات المستخدمة.

قبل اثنتي عشرة سنة ، كان هذا قرارًا منطقيًا. قام مسؤولو النظام باختيار أجهزة تخزين المعلومات بعناية بالمواصفات المطلوبة ، على سبيل المثال SATA / SAS ، وتم الاعتماد على الحصول على مستوى الأداء بناءً على إمكانيات أجهزة وحدات التحكم بالأقراص. كانت المعركة من أجل حجم مخابئ وحدة تحكم RAID ومن أجل الخيارات التي تمنع فقدان البيانات. الآن هذا النهج في حل المشكلة ليس الأمثل.

في الظروف الحالية ، عند اختيار أنظمة التخزين ، من المنطقي ألا تبدأ من الواجهات المادية ، ولكن من الأداء المعبر عنه في IOPS (عدد عمليات الإدخال / الإخراج في الثانية). يتيح لك استخدام المحاكاة الافتراضية استخدام موارد الأجهزة الموجودة بمرونة وضمان مستوى الأداء المطلوب. من جانبنا ، نحن على استعداد لتزويد الموارد بهذه الخصائص الضرورية حقًا للتطبيق.

التخزين الظاهري

مع تطوير أنظمة المحاكاة الافتراضية ، كان من الضروري إيجاد حل مبتكر لتخزين البيانات والوصول إليها ، مع ضمان تحمل الخطأ. كانت هذه نقطة البداية لإنشاء SDS (وحدة تخزين محددة بالبرامج). لتلبية احتياجات العمل ، تم تصميم هذه المستودعات مع فصل البرامج والأجهزة.

تختلف بنية SDS بشكل أساسي عن التقليدية. لقد تم تلخيص منطق التخزين على مستوى البرامج. أصبح تنظيم التخزين أسهل بسبب توحيد وظاهرية كل من مكونات هذا النظام.

ما هو العامل الرئيسي الذي يعيق تنفيذ صحيفة بيانات السلامة في كل مكان؟ هذا العامل في أغلب الأحيان هو تقييم غير صحيح لاحتياجات التطبيقات المستخدمة وتقييم غير صحيح للمخاطر. بالنسبة للأعمال ، يعتمد اختيار الحل على تكلفة التنفيذ ، بناءً على الموارد الحالية المستهلكة. قلة من الناس يعتقدون - ما الذي سيحدث عندما يتجاوز مقدار المعلومات والأداء المطلوب قدرات البنية المختارة. التفكير على أساس المبدأ المنهجي "لا ينبغي للمرء أن يضاعف الوجود دون ضرورة" ، والمعروف باسم "شفرة أوكام" ، يحدد الاختيار لصالح الحلول التقليدية.

قلة قليلة فقط تفهم أن الحاجة إلى قابلية التوسع وموثوقية تخزين البيانات أكثر أهمية مما يبدو للوهلة الأولى. المعلومات هي مورد ، وبالتالي ، يجب تأمين خطر فقدانها. ماذا سيحدث عندما ينهار نظام التخزين التقليدي؟ ستحتاج إلى استخدام الضمان أو شراء معدات جديدة. وإذا توقف نظام التخزين أو أنهى "العمر الافتراضي" (ما يسمى EOL - نهاية العمر)؟ يمكن أن يكون هذا يوم أسود لأي منظمة لا يمكنها الاستمرار في استخدام خدماتها المألوفة.

لا توجد أنظمة ليس لديها نقطة واحدة من الفشل. ولكن هناك أنظمة يمكنها بسهولة تحمل فشل مكون واحد أو أكثر. تم إنشاء كل من أنظمة التخزين الافتراضية والتقليدية مع الأخذ في الاعتبار حقيقة أن الفشل سيحدث عاجلاً أم آجلاً. هذا مجرد "حد القوة" لأنظمة التخزين التقليدية المنصوص عليها في الأجهزة ، ولكن في أنظمة التخزين الافتراضية يتم تحديدها في طبقة البرنامج.

التكامل

دائمًا ما تكون التغييرات الهائلة في البنية التحتية لتكنولوجيا المعلومات ظاهرة غير مرغوب فيها ، محفوفة بوقت التوقف وفقدان الأموال. فقط التنفيذ السلس للحلول الجديدة يجعل من الممكن تجنب العواقب السلبية وتحسين عمل الخدمات. هذا هو السبب في أن Selectel صممت وأطلقت السحابة استنادًا إلى VMware ، وهي شركة رائدة معترف بها في سوق المحاكاة الافتراضية. ستسمح الخدمة التي أنشأناها لكل شركة بحل مجموعة كاملة من مهام البنية التحتية ، بما في ذلك تخزين البيانات.

سنخبرك بالضبط كيف قررنا اختيار نظام التخزين ، بالإضافة إلى المزايا التي قدمها لنا هذا الخيار. بالطبع ، تم النظر في كل من أنظمة التخزين التقليدية و SDS. لفهم جميع جوانب العمليات والمخاطر بشكل واضح ، نقدم نظرة أعمق للموضوع.

في مرحلة التصميم ، تم فرض المتطلبات التالية على أنظمة التخزين:

• التسامح مع الخطأ
• الأداء
• التحجيم
• القدرة على ضمان السرعة ؛
• العملية الصحيحة في نظام VMware البيئي.

لا يمكن أن يوفر استخدام حلول الأجهزة التقليدية المستوى المطلوب من قابلية التوسع ، لأنه من المستحيل زيادة حجم التخزين باستمرار بسبب القيود المعمارية. كما كان للحجز على مستوى مركز البيانات بأكمله صعوبة كبيرة. لهذا السبب وجهنا انتباهنا إلى SDS.

هناك العديد من الحلول البرمجية في سوق SDS والتي تناسبنا لبناء سحابة قائمة على VMware vSphere. من بين هذه الحلول يمكن ملاحظة:

• Dell EMC ScaleIO؛
• Datacore Hyper-converged Virtual SAN ؛
• متجر HPE

هذه الحلول مناسبة للاستخدام مع VMware vSphere ، ومع ذلك ، فهي لا تتكامل مع برنامج Hypervisor وتعمل بشكل منفصل. لذلك ، تم الاختيار لصالح VMware vSAN. دعونا نفكر بالتفصيل كيف تبدو البنية الافتراضية لمثل هذا الحل.

العمارة

^{صورة مأخوذة من وثائق رسمية}

على عكس أنظمة التخزين التقليدية ، لا يتم تخزين جميع المعلومات في أي نقطة واحدة. يتم توزيع بيانات الجهاز الظاهري بالتساوي بين جميع المضيفين ، ويتم القياس عن طريق إضافة مضيفين أو تثبيت محركات أقراص إضافية عليهم. يتوفر خياران للتهيئة:

• تكوين AllFlash (فقط محركات الأقراص ذات الحالة الصلبة ، لكل من تخزين البيانات وذاكرة التخزين المؤقت) ؛
• التكوين الهجين (التخزين المغناطيسي وذاكرة التخزين المؤقت الحالة الصلبة).

لا يتطلب إجراء إضافة مساحة القرص إعدادات إضافية ، على سبيل المثال ، إنشاء LUN (رقم الوحدة المنطقية ، أرقام القرص المنطقية) وتعيين الوصول إليها. بمجرد إضافة المضيف إلى الكتلة ، تصبح مساحة القرص الخاصة به متاحة لجميع الأجهزة الافتراضية. هذا النهج له العديد من المزايا الهامة:

• عدم وجود ارتباط بمصنّع المعدات ؛
• زيادة تحمل الخطأ ؛
• ضمان سلامة البيانات في حالة الفشل ؛
• مركز تحكم واحد من وحدة تحكم vSphere ؛
• تحجيم أفقي ورأسي مناسب.

ومع ذلك ، فإن هذه البنية تفرض متطلبات عالية على البنية التحتية للشبكة. لضمان أقصى إنتاجية ، تم بناء الشبكة في نموذجنا على Spine-Leaf.

شبكة

يحتوي نموذج الشبكة التقليدي ثلاثي المستويات (الأساسي / التجميع / الوصول) على عدد من العوائق الكبيرة. ومن الأمثلة البارزة قيود بروتوكولات الشجرة الممتدة.

يستخدم نموذج Spine-Leaf مستويين فقط ، مما يمنح المزايا التالية:

• المسافة المتوقعة بين الأجهزة ؛
• حركة المرور على طول الطريق الأفضل ؛
• سهولة التحجيم
• استبعاد قيود بروتوكول L2.

السمة الرئيسية لمثل هذه العمارة هي أنها الأمثل لمرور حركة المرور "الأفقية". تمر حزم البيانات بقفزة واحدة فقط ، مما يسمح بتقدير واضح للتأخيرات.

يتم توفير اتصال مادي باستخدام عدة ارتباطات 10 جيجابت لكل خادم ، يتم دمج عرض النطاق الترددي باستخدام بروتوكول التجميع. وبالتالي ، يتلقى كل مضيف مادي وصولاً عالي السرعة إلى جميع كائنات التخزين.

يتم تنفيذ تبادل البيانات باستخدام بروتوكول خاص تم إنشاؤه بواسطة VMware ، والذي يسمح بالتشغيل السريع والموثوق لشبكة التخزين على نقل إيثرنت (من 10 جيجابت أو أعلى).

سمح الانتقال إلى نموذج كائن تخزين البيانات بتعديل مرن لاستخدام التخزين وفقًا لمتطلبات العملاء. يتم تخزين جميع البيانات في شكل كائنات يتم توزيعها بطريقة معينة بين مضيفي الكتلة. نوضح قيم بعض المعلمات التي يمكن التحكم فيها.

التسامح مع الخطأ

1. FTT (فشل في التسامح). يشير إلى عدد حالات فشل المضيف التي يمكن للكتلة التعامل معها دون مقاطعة العملية المنتظمة.
2. FTM (طريقة التسامح مع الفشل). طريقة ضمان التسامح مع الخطأ على مستوى القرص.
   
   أ. النسخ المتطابق
   
   
   
   ^{صورة مأخوذة من مدونة VMware.}
   
   يمثل تكرار كامل لكائن ما ، وتوجد النسخ المتماثلة دائمًا على مضيفين فعليين مختلفين. أقرب نظير لهذه الطريقة هو RAID-1. يسمح استخدامه للكتلة بمعالجة ما يصل إلى ثلاثة أعطال من أي مكونات بشكل روتيني (الأقراص والمضيفات وفقدان الشبكة وما إلى ذلك). تم تكوين هذه المعلمة عن طريق تعيين خيار FTT.
   
   بشكل افتراضي ، يحتوي هذا الخيار على قيمة 1 ، ويتم إنشاء نسخة متماثلة واحدة للكائن (حالتان فقط على مضيفين مختلفين). كلما زادت القيمة ، سيكون عدد النسخ N + 1. وبالتالي ، مع الحد الأقصى لقيمة FTT = 3 ، ستكون 4 مثيلات للكائن على مضيفين مختلفين.
   
   تتيح لك هذه الطريقة تحقيق أقصى أداء على حساب كفاءة مساحة القرص. يمكن استخدامه في كل من التكوينات المختلطة و AllFlash.
   
   ب. تشفير المحو (نظير RAID 5/6).
   
   
   ^{الصورة مأخوذة من مدونة cormachogan.com.}
   
   يتم دعم عمل هذه الطريقة حصريًا على تكوينات AllFlash. في عملية تسجيل كل كائن ، يتم حساب كتل التماثل المقابلة ، والتي تسمح باستعادة البيانات بشكل فريد في حالة حدوث فشل. يوفر هذا الأسلوب مساحة القرص بشكل كبير مقارنة بالنسخ المطابق.
   
   بالطبع ، يؤدي تشغيل هذه الطريقة إلى زيادة النفقات العامة ، والتي يتم التعبير عنها في انخفاض الإنتاجية. ومع ذلك ، نظرًا لأداء تكوين AllFlash ، فإن هذا العيب مستوي ، مما يجعل استخدام Erasure Coding خيارًا مقبولًا لمعظم المهام.
   
   بالإضافة إلى ذلك ، يقدم VMware vSAN مفهوم "نطاقات الفشل" ، وهي مجموعة منطقية من رفوف الخادم أو سلال القرص. بمجرد تجميع العناصر الضرورية ، يؤدي ذلك إلى توزيع البيانات بين العقد المختلفة مع مراعاة نطاقات الفشل. يسمح هذا للكتلة بالنجاة من فقدان المجال بأكمله ، حيث أن جميع النسخ المتماثلة للكائنات ستكون موجودة على مضيفين آخرين في مجال فشل مختلف.
   
   أصغر مجال للفشل هو مجموعة الأقراص ، وهي محرك أقراص متصل منطقيًا. تحتوي كل مجموعة أقراص على نوعين من الوسائط - ذاكرة التخزين المؤقت والسعة. كوسيط مخبأ ، يسمح النظام باستخدام أقراص الحالة الصلبة فقط ، ويمكن أن تعمل الأقراص المغناطيسية والأقراص الصلبة كحامل للقدرات. تساعد وسائط التخزين المؤقت على تسريع الأقراص المغناطيسية وتقليل الكمون عند الوصول إلى البيانات.

التنفيذ

دعونا نتحدث عن القيود الموجودة في بنية VMware vSAN وسبب الحاجة إليها. بغض النظر عن الأنظمة الأساسية للأجهزة المستخدمة ، توفر البنية القيود التالية:

• لا يزيد عن 5 مجموعات قرص لكل مضيف ؛
• لا يزيد عن 7 حاملات سعة في مجموعة أقراص ؛
• ما لا يزيد عن 1 من ذاكرة التخزين المؤقت في مجموعة أقراص ؛
• ما لا يزيد عن 35 حاملات سعة لكل مضيف ؛
• لا يزيد عن 9000 عنصر لكل مضيف (بما في ذلك مكونات الشاهد) ؛
• ما لا يزيد عن 64 مضيفًا في مجموعة ؛
• لا يزيد عن 1 مخزن بيانات vSAN لكل كتلة.

لماذا هذا مطلوب؟ حتى يتم تجاوز الحدود المحددة ، سيعمل النظام بالسعة المعلنة ، ويحافظ على التوازن بين الأداء وسعة التخزين. هذا يسمح لك بضمان التشغيل الصحيح لنظام التخزين الافتراضي بأكمله ككل.

بالإضافة إلى هذه القيود ، يجب تذكر ميزة واحدة مهمة. لا يوصى بملء أكثر من 70٪ من إجمالي حجم التخزين. والحقيقة هي أنه عند الوصول إلى 80٪ ، تبدأ آلية إعادة التوازن تلقائيًا ، ويبدأ نظام التخزين في إعادة توزيع البيانات عبر جميع مضيفي الكتلة. هذا الإجراء يستهلك الكثير من الموارد ويمكن أن يؤثر بشكل خطير على أداء النظام الفرعي للقرص.

لتلبية احتياجات مجموعة واسعة من العملاء ، قمنا بتنفيذ ثلاثة مجمعات تخزين لسهولة الاستخدام في سيناريوهات مختلفة. دعونا نلقي نظرة على كل واحد منهم بالترتيب.

تجمع القرص السريع

كانت الأولوية لإنشاء هذا التجمع هي الحصول على تخزين يوفر أقصى أداء لاستضافة أنظمة محملة للغاية. تستخدم الخوادم من هذا التجمع زوج من Intel P4600 كذاكرة تخزين مؤقت و 10 Intel P3520 لتخزين البيانات. يتم استخدام ذاكرة التخزين المؤقت في هذا التجمع بحيث تتم قراءة البيانات مباشرة من الوسائط ، وتحدث عمليات الكتابة من خلال ذاكرة التخزين المؤقت.

لزيادة السعة المفيدة وضمان التسامح مع الخطأ ، يتم استخدام نموذج تخزين البيانات يسمى ترميز المحو. هذا النموذج مشابه لصفيف RAID 5/6 عادي ، ولكن على مستوى تخزين الكائن. للقضاء على احتمالية تلف البيانات ، يستخدم vSAN آلية حساب المجموع الاختباري لكل كتلة بيانات 4K.

يتم التحقق من الصحة في الخلفية أثناء عمليات القراءة / الكتابة ، بالإضافة إلى البيانات "الباردة" التي لم يتم طلب الوصول إليها خلال العام. عندما يتم الكشف عن عدم تطابق المجموع الاختباري ، وبالتالي يتم الكشف عن تلف البيانات ، سيقوم vSAN تلقائيًا باستعادة الملفات عن طريق الكتابة فوقها.

تجمع محرك هجين

في حالة هذا التجمع ، تتمثل مهمته الرئيسية في توفير كمية كبيرة من البيانات ، مع ضمان مستوى جيد من التسامح مع الخطأ. بالنسبة للعديد من المهام ، فإن سرعة الوصول إلى البيانات ليست أولوية ، كما أن حجم وتكلفة التخزين أكثر أهمية. إن استخدام محركات الأقراص ذات الحالة الصلبة مثل هذا التخزين سيكون مرتفع التكلفة بشكل غير معقول.

كان هذا العامل هو سبب إنشاء التجمع ، وهو عبارة عن مزيج من التخزين المؤقت لمحركات الأقراص ذات الحالة الصلبة (كما هو الحال في التجمعات الأخرى هو Intel P4600) ومحركات الأقراص الصلبة على مستوى المؤسسة التي طورتها HGST. يعمل سير العمل المختلط على تسريع الوصول إلى البيانات المطلوبة بشكل متكرر من خلال التخزين المؤقت لعمليات القراءة والكتابة.

على المستوى المنطقي ، يتم عكس البيانات للقضاء على الخسارة في حالة فشل الأجهزة. ينقسم كل كائن إلى مكونات متطابقة ويقوم النظام بتوزيعها على مضيفين مختلفين.

تجمع مع التعافي من الكوارث

المهمة الرئيسية للمجمع هي تحقيق أقصى مستوى من التسامح والأداء. سمح لنا استخدام تقنية StrSed vSAN بتوزيع التخزين بين مراكز البيانات Tsvetochnaya-2 في سانت بطرسبرغ ودوبروفكا -3 في منطقة لينينغراد. كل خادم في هذا التجمع مزود بزوج من محركات أقراص Intel P4600 الفائقة السرعة وذات السرعة العالية لتشغيل ذاكرة التخزين المؤقت و 6 محركات أقراص Intel P3520 لتخزين البيانات. على المستوى المنطقي ، هذه مجموعتان من الأقراص لكل مضيف.

لا يحتوي تكوين AllFlash على عيب خطير - انخفاض حاد في IOPS وزيادة في قائمة انتظار طلبات القرص مع زيادة حجم الوصول العشوائي إلى البيانات. تمامًا كما هو الحال في التجمع مع الأقراص السريعة ، تمر عمليات الكتابة عبر ذاكرة التخزين المؤقت ، وتتم القراءة مباشرة.

الآن حول الاختلاف الرئيسي عن بقية حمامات السباحة. تنعكس بيانات كل جهاز افتراضي داخل مركز بيانات واحد وفي نفس الوقت يتم نسخها بشكل متزامن إلى مركز بيانات آخر تابع لنا. وبالتالي ، حتى وقوع حادث خطير ، مثل الانقطاع التام للاتصال بين مراكز البيانات ، لن يكون مشكلة. حتى الخسارة الكاملة لمركز البيانات لن تؤثر على البيانات.

حادث مع فشل كامل للموقع - الوضع نادر للغاية ، ولكن vSAN يمكن أن تصمد به بشرف دون فقدان البيانات. استطاع المدعوون في حدث SelectelTechDay 2018 أن يروا بأنفسهم كيف واجهت مجموعة VSAN الممتدة فشلاً كاملاً في الموقع. أصبحت الأجهزة الافتراضية متاحة لدقيقة واحدة فقط بعد أن تم إيقاف تشغيل جميع الخوادم في أحد المواقع بالطاقة. عملت جميع الآليات تمامًا كما هو مخطط لها ، لكن البيانات بقيت على حالها.

ينطوي التخلي عن بنية التخزين المألوفة على الكثير من التغييرات. كان أحد هذه التغييرات ظهور "كيانات" افتراضية جديدة ، تشمل جهاز الشهود. معنى هذا الحل هو تتبع عملية تسجيل النسخ المتماثلة للبيانات وتحديد أي منها ذو صلة. في الوقت نفسه ، لا يتم تخزين البيانات نفسها على مكونات الشاهد ، فقط البيانات الوصفية حول عملية التسجيل.

تسري هذه الآلية في حالة وقوع حادث عند حدوث فشل أثناء عملية النسخ المتماثل ، مما يؤدي إلى عدم تزامن النسخ المتماثلة.

لتحديد أي منها يحتوي على معلومات ذات صلة ، يتم استخدام آلية تحديد النصاب. لكل مكون "حق التصويت" ويتم تعيين عدد معين من الأصوات (1 أو أكثر). يتضمن "حق التصويت" نفسه مكونات تلعب دور المحكمين في حالة وجود موقف مثير للجدل.

يتم الوصول إلى النصاب القانوني فقط عندما تتوفر نسخة طبق الأصل كاملة لكائن ويكون عدد "الأصوات" الحالية أكثر من 50٪.

الخلاصة

أصبح اختيار VMware vSAN كنظام تخزين قرارًا مهمًا بالنسبة لنا. اجتاز هذا الخيار اختبار الإجهاد واختبار تحمل الخطأ قبل تضمينه في مشروع السحابة القائم على VMware.

وفقًا لنتائج الاختبار ، أصبح من الواضح أن الوظيفة المعلنة تعمل على النحو المتوقع وتفي بجميع متطلبات البنية التحتية السحابية لدينا.

هل لديك ما تقوله بناءً على تجربتك الخاصة مع vSAN؟ مرحبًا بك في التعليقات.