طلب منا أحد العملاء مؤخرًا تنفيذ نظام محاسبة سعة القرص. كانت المهمة هي دمج المعلومات من أكثر من سبعين مصفوفة أقراص من البائعين المختلفين ، من محولات SAN ومضيفات VMware ESX. بعد ذلك ، يجب تنظيم البيانات وتحليلها وإمكانية عرضها على لوحة أجهزة القياس والتقارير المختلفة ، على سبيل المثال ، حول الحجم الحر والمحتل لمساحة القرص في جميع المصفوفات أو كل منها بشكل منفصل.
قررنا تنفيذ المشروع باستخدام نظام التحليل التشغيلي - Splunk.
لماذا شظايا؟
Splunk قوية في تصور البيانات التي تجمعها. يسمح لك بإنشاء تقارير تفاعلية - لوحات تحكم - يتم تحديثها في الوقت الفعلي. عرضنا معلومات عن إجمالي مساحة القرص عليها ، وعرضنا على الفور جميع المصفوفات مع إمكانية الفرز حسب عوامل التصفية المختلفة ، على سبيل المثال ، حسب السعة. بالضغط على الصفيف ، نحصل على الفور على معلومات حول جميع الاتصالات. في لوحة منفصلة ، يمكنك إدخال اسم الجهاز الظاهري ومعرفة أي مضيف ESX يعيش عليه ، ومن أي صفائف يتلقى البيانات ومعلمات أخرى.
في رأيي ، حتى الآن لا يوجد لدى Splunk نظائرها التي ستعمل مع أي نظام تخزين خارج الصندوق. قبل بضع سنوات ، ظهرت CommandCentral مدفوعة الأجر ، لكنها لا تمتلك المرونة اللازمة ، ولا تعرف كيفية إنشاء تقارير تعسفية (في الإصدارات الأولى من التقارير لم يكن هناك أي منها على الإطلاق) ومع تخيل عرجاء. بشكل عام ، هذه ليست أداة للجرد ، ولكن لرصد ومراقبة حالة النظم. لتحقيق المهمة التي حددها العميل ، يجب أن يتم صقلها لفترة طويلة ومكلفة.
في الوقت نفسه ، تتمتع Splunk بقدرات رائعة في عرض المعلومات: يمكن ترتيب الرسومات بحرية فيما بينها ، ومراقبة حالة جميع الأنظمة في وضع النافذة الواحدة ، وبالتالي تبسيط صيانتها. إلى كل شيء آخر - استخدمنا الإصدار المجاني لمهمتنا.
ماذا فعلت؟
حتى هذه اللحظة ، لم يكن لدى فريقنا خبرة في Splunk. لحسن الحظ ، تبين أن النظام كان وديًا وبديهيًا ، وتم العثور بسهولة على حلول للمشكلات الناشئة باستخدام مساعدة منتظمة أو في محرك بحث.
قامت Splunk ببناء عدد من الأدوات التي نحتاجها. على سبيل المثال ، يسمح لك النظام بدمج البيانات من مصادر مختلفة لأي مجال من خلال ما يسمى عمليات البحث (الدلائل). لذا ، في أحد الجداول ، تم عرض مضيفي ESX على أنهم IP ، في جدول آخر - كأسماء DNS. في البداية ، أردنا إنشاء بحث محلي الصنع واستخدام أداة nslookup لتحديد سجلات DNS وجمع الجداول ، ولكن اتضح أن Splunk لديه دليل يقارن DNS عبر IP والعكس بالعكس. لا يلزم تكوين هذا البحث المضمن ، فهو يستخرج نفسه البيانات حول خوادم DNS من إعدادات النظام ، ولا يهم ما إذا كان Windows أو Linux ، والبيانات الموجودة على سجلات DNS محدثة دائمًا.
أحد السيناريوهات المثيرة للاهتمام التي يتم تنفيذها باستخدام Splunk هو التحكم في التغيير (RFC) في النظام. على سبيل المثال ، يتلقى مدير RFC طلبًا من مهندس لخدمة أحد محولات SAN. يقوم بإدخال اسم المحول إلى Splunk ويرى أي المخازن متصلة به والخوادم التي تتلقى البيانات من هذه المخازن. في الوقت نفسه ، يرى المدير خطة العمل التي كتبها المهندس ويمكنه تقييم كيفية تأثير تعطيل هذا المفتاح أثناء الصيانة على أداء المصفوفات والخوادم.
نقوم بإعداد تحميل يومي للمعلومات حول توصيل جميع المفاتيح والمصفوفات بـ Splunk. العميل راضٍ عن معدل التحديث هذا. كان لديه بالفعل أداة مراقبة Stor2RRD ، لكنه لا يعرف كيفية دمج البيانات من مصادر مختلفة وتصورها. لذلك ، قمنا بتكوين نظام الحصول على البيانات في Splunk على النحو التالي:
- نتلقى معلومات عن المخازن من Stor2RRD ؛
- من المفاتيح نتلقى معلومات عن SAN ؛
- من خلال vCenter باستخدام البرامج النصية PowerCLI ، نجمع البيانات من مضيفي ESX.
يتم جلب البيانات المستلمة تلقائيًا في نموذج واحد ، ومعالجتها وعرضها في شكل أي تقارير ضرورية.
ماذا كان عليك أن تقاتل معه؟
يعد Splunk نظامًا قويًا ، ولكن هناك مهام لا يمكن حلها خارج الصندوق ، ولحل بعض المشاكل ، نحتاج إلى معرفة متعمقة ببرنامج VMware.
على سبيل المثال ، يستخدم العميل أقراص RDM المخصصة مباشرة ومخازن البيانات الظاهرية الظاهرية للأجهزة الافتراضية. يجب التعامل مع هذين النوعين من محركات الأقراص بشكل مختلف. في البداية قمنا بحل المشكلة بمفردنا ، ولكن بعد ذلك واجهنا موقفًا حيث تلقى الجهاز الظاهري كل من أقراص RAW والأخرى الافتراضية. اتضح أننا حصلنا على حقل المسار الخاطئ في التقرير من vCenter والرابط الخاطئ إلى صفيف أقراص RAW. يعمل المخطط مع مخازن البيانات العادية ، ولكنه لا يعمل مع أقراص RAW. بالنسبة لهم ، تحتاج إلى استخدام خاصية قرص معرف قرص RAW ، الذي يحتوي على سمة القرص. كان علي أن أنتقل إلى خبراء VMware الذين أعادوا كتابة البرنامج النصي بحيث يحسب الصفيف الصحيح من خلال معرف قرص RAW.
أيضًا ، لم نتعلم على الفور كيفية العمل على النحو الأمثل مع البرامج النصية PowerCLI ، وبعد ذلك كان لابد من تطوير الخوارزميات بشكل أكبر. في البداية ، عالجت البرامج النصية البيانات من عدة آلاف من الأجهزة الافتراضية لمدة تصل إلى ثلاث ساعات! بعد التحسين ، تم تقليل مدة النصوص إلى أربعين دقيقة.
ما هي النتيجة؟
نظرًا لعدم وجود خبرة في Splunk ، فقد طبقنا بسرعة على أساسه نظامًا لقدرات القرص المحاسبي ، والذي يتلقى معلومات من مصادر عديدة ، ويدمجها ويوفر مجموعة واسعة من الرسوم البيانية المريحة والبديهية. إذا لم يكن لديك لاختيار أو إنشاء مثل هذا النظام من قبل ، فإن Splunk هو مرشح جيد لهذا الدور. يعمل بسرعة ، ويتم تكوينه بسهولة ومرونة ولا يتطلب أي معرفة متخصصة لحل الغالبية العظمى من المهام.
فلاديسلاف سيمينوف ، رئيس مجموعة معمارية النظام ، مركز تصميم مجمعات الحوسبة ، أنظمة الطائرات النفاثة