Elasticsearch و Kibana و Logstash (ELK) هي مجموعة أدوات ممتازة لجمع وتصور كميات كبيرة من البيانات.
السجلات والمجلات والأحداث - كل هذا من السهل جدًا تجميعه وعرضه في مجموعة أدوات واحدة. تقوم خرائط Logstash بتخزين البيانات ، وتقوم شركة Elasticsearch بتخزينها ، ويعرضها Kibana في الرسوم البيانية.
مع كل قوة هذه الحزمة ، بالطبع ، هناك مهام لا يمكن تحقيقها من خلال الميزات المضمنة.
على سبيل المثال ، تعرض Kibana البيانات بشكل مثالي داخل جدول واحد (فهرس) ، ولكن بمجرد أن يتعلق الأمر بدمج الفهارس المختلفة في عينة واحدة ، فإنها ترفع يديها بلا حول ولا قوة.
والطريقة الوحيدة لحل المشكلة في هذه الحالة هي تفريغ البيانات من Kibana ودمجها في أي أداة أخرى ، على سبيل المثال ، في Excel.
مثال بسيط. تخيل أن شجرة عيد الميلاد (ELK) تجمع أحداث Jira وتخزنها - لأي تغيير في أي من مهام تعقب المهام.
في هذه الحالة ، سيخزن فهرس Elasticsearch عدة سجلات لمهمة واحدة:
إذا كنت ترغب في إنشاء جدول أحداث Jira يوضح تحويل المهام حسب الولاية ، فمن غير المحتمل أن تتمكن من القيام بذلك مع Kibana. نظرًا لخصائص noSQL ، ستحتاج إلى جميع الأحداث الخاصة بمهمة واحدة من أجل "القيادة" في سجل واحد من نتائج البحث.
من الصعب القيام بذلك دون إشراك المطورين وإعادة كتابة تكوينات Logstash.
أول شيء يتبادر إلى ذهنك هو تفريغ البيانات من Kibana لتحريفها يدويًا في Excel العادي.
لكن البحث عن زر التحميل ، لدهشك ، سيفشل ، خاصة إذا كانت كيبانا شركة ولها قيود على وحدة إعداد التقارير:
إذن ماذا يحدث ، هناك بيانات ، لكن لا يمكنك استخدامها؟
في الواقع هناك طريقة سرية واحدة. من خلال الجدول القياسي تقرير جدول البيانات.
في علامة التبويب "تصور" ، يمكنك إنشاء العديد من التقارير المختلفة ، ولكن فقط في جدول البيانات يوجد زر لتحميل البيانات بتنسيق csv.
إذا كنت تعمل مع Kibana ، فربما ترى جدول البيانات كمجموع ، أي جدول يمكنك فيه حساب العدد الإجمالي لشيء ما ، ولكن من المستحيل سرد كافة السجلات. ومع ذلك ، هذا ليس صحيحا تماما.
يحتوي الجدول على وظيفة رائعة - عدد فريد (لحساب عدد العناصر الفريدة) ، والتي يمكنك استخدامها لعرض قائمة السجلات الكاملة في الجدول.
انقر فوق "+" في علامة التبويب "تصور" ، حدد "جدول البيانات" وحدد الفهرس الذي تريد إلغاء تحميله. في معلمات الجدول حدد المجموع - "عدد فريد" وأقل بقليل من الحقل بمعرف فريد.
إذا بدأت إعادة العد ، ستعرض كيبانا عدد الإدخالات الفريدة في الفهرس.
كيفية تحويل رقم واحد إلى قائمة السجلات؟ بسيط للغاية - باستخدام زر "تقسيم الصفوف"
انقر عليها وحدد "الشروط" كمجموع (تفصيل حسب قيمة الحقل).
هذه نقطة رئيسية: في "الحقل" ، حدد حقل بمعرف سجل فريد.
وها ، رقم واحد عند سرد جدول يتحول بطريقة سحرية إلى طاولة!
ها هي لحظة الحقيقة.
ماذا فعلت؟ باختصار ، لقد أخبرت كيبانا أنك تريد حساب عدد السجلات الفريدة وأشرت أيضًا إلى تجميع السجلات حسب السمة ، أي بالقيم الفريدة للحقل الذي حددته.
الآن Kibana تحسب بشكل منفصل عدد العناصر في كل مجموعة. كقيم حددتها معرف سجل فريد ، بدأت Kibana في حساب عدد السجلات الفريدة التي تم تجميعها بواسطة معرف فريد ، أي في الواقع ، بجوار كل صف في الجدول ، سيكون المقياس "عدد فريد" مساويًا لـ "1".
لقد حصلت على النتيجة المرجوة - عرض جميع السجلات وحساب بالإضافة إلى عدد الصفوف التي لديك في الفهرس بنفس المعرف.
الآن ، إذا لم تكن الأعمدة في الجدول كافية ، أضف حقولًا إضافية باستخدام زر "إضافة مجموعات فرعية" ثم "تقسيم الصفوف".
في كل مكان ، حدد "المصطلحات" كمجموع وحدد أسماء الحقول التي تريد إضافتها إلى الجدول.
تم. لقد تلقيت تحميلًا كاملاً للفهرس.
كل ما عليك فعله هو حفظ التصور والنقر على زر "تصدير Raw" أو "Export Formatted".
يقوم Raw بتفريغ كل شيء خام ، ويقوم Formatted بإعادة تنسيق البيانات وفقًا للإعدادات المحلية في Kibana.
هذا كل شيء.
كما ترون ، لا يزال التحميل من كيبانا إلى شخص بسيط ليس على دراية بالبرمجة ممكنًا ، على الرغم من أن الحل لا يكمن على السطح.
آمل أن تجعل هذه الحيلة الصغيرة حياتي أسهل بالنسبة لشخص ما وتعطيني الفرصة لتحليل البيانات بسرعة دون إشراك المطورين في التنزيلات.
إذا ساعدتك تجربتي ، فسوف يسعدني أن أرى تعليقك على هذه المقالة.