سنتحدث اليوم عن الوكلاء (معيدو التوجيه) لتحميل البيانات إلى
Splunk . في المقالة سنتحدث بإيجاز عن ماهيتها ، وما هي أنواعها ، وما الفرق بينها وبين المواقف ، فمن الأفضل استخدام وكيل أو آخر.
تحميل البيانات الصحيح هو المشكلة الأكثر إشكالية في أي نظام بيانات. يمكن إجراء نقل البيانات بطرق مختلفة ، ولكن الأكثر شيوعًا هو استخدام وكلاء الشحن.
لدى وكيل Splunk عدة مزايا:
- تعريف البيانات الوصفية (المصدر ونوع المصدر والمضيف)
- التخزين المؤقت المخصص
- ضغط البيانات
- SSL
- باستخدام أي منافذ الشبكة المتاحة
بعد أن قررت إعادة توجيه البيانات باستخدام معيدي التوجيه ، ينشأ السؤال التالي: ما هو معيد التوجيه الأفضل للاستخدام؟
هناك
نوعان من معيدي التوجيه :
- معيد التوجيه العالمي ، الذي يحتوي فقط على المكونات الضرورية لنقل البيانات.
- Heavy Forwarder ، وهي شركة Splunk Enterprise كاملة ، والتي ، بالإضافة إلى نقل البيانات ، يمكنها فهرسة وتنفيذ استعلامات البحث وتعديل البيانات.
معيد التوجيه العالمي
لدى Universal Forwarder العديد من المزايا على استخدام Heavy Forwarder. وبالتالي ، غالبًا ما يوصى باستخدامه إذا لم تكن هناك متطلبات مسبقة لاستخدام Heavy Forwarder ، والذي سنناقشه لاحقًا.
الميزة الأبرز هي أن Universal Forwarder تستخدم موارد أجهزة أقل بكثير من منتجات برامج Splunk الأخرى. يقوم بتحميل وحدة معالجة مركزية أقل ، ويستهلك ذاكرة أقل ويشغل مساحة قرص أقل. كما أنها قابلة للتطوير أكثر من منتجات Splunk الأخرى ، حيث يمكنك تثبيت أكثر من ألف مثيل لن تؤثر بشكل كبير على أداء الشبكة والمضيف.
ميزة أخرى هي توفره للتثبيت على العديد من المنصات المختلفة. يمكن تثبيته ليس فقط على Windows و Linux و Mac OS ، مثل Splunk Enterprise ، ولكن أيضًا على Solaris و FreeBSD و AIX.
يتوفر Universal Forwarder كحزمة تثبيت منفصلة ولا يتضمن سوى المكونات الضرورية اللازمة لإرسال البيانات إلى مثيلات أخرى من نظام Splunk الأساسي. على الرغم من أنه لا يحتوي على واجهة ويب ، إلا أنه لا يزال من الممكن تخصيصها وإدارتها وتحجيمها عن طريق تحرير ملفات التكوين.
لتحقيق أداء أفضل ، لدى Universal Forwarder عدة قيود:
- لا يمكن إجراء الفهرسة واستعلامات البحث محليًا.
- لا يمكنك إعداد التنبيهات.
- يمكنك تحليل دفق البيانات الواردة قبل الفهرسة فقط إذا كانت بيانات منظمة.
- لا يشمل بايثون.
يمكن العثور على كيفية تثبيت برنامج Universal Forwarder وتكوينه
هنا .
وكيل ثقيل
على الرغم من أن Universal Forwarder هي الطريقة المفضلة لإرسال البيانات ، فقد تحتاج إلى Heavy Forwarder إذا كنت بحاجة إلى تحليل البيانات أو إجراء تغييرات عليها قبل إرسالها ، أو كنت بحاجة إلى التحكم في مكان انتقال البيانات بناءً على محتواها.
واحدة من المزايا الرئيسية لـ Heavy Forwarder هي أنه يمكنه تصفية الأحداث غير المرغوب فيها ، حتى في البيانات غير المنظمة ، مما سيقلل من حجم الفهرسة ، ويعتمد حجم الترخيص على ذلك.
صحيح ، تجدر الإشارة إلى أن استخدام Heavy Forwarder يزيد من حركة مرور الشبكة واستخدام وحدة المعالجة المركزية والذاكرة. ويرجع ذلك إلى حقيقة أن Heavy Forwarder يرسل البيانات التي تم تحليلها عبر الشبكة ليس فقط مع الأحداث الأولية ، ولكن مع جميع الحقول التي تم تمييزها أثناء الفهرسة والبيانات الوصفية الإضافية.
لمقارنة أداء وكيل الشحن الثقيل والعالمي ، تم إجراء اختبار.
يحتوي ملف الاختبار على 367.463.625 حدثًا.
| حركة مرور الشبكة (جيجابايت) | متوسط معدل البت (kbps) | متوسط سرعة الفهرسة
(كيلوبت في الثانية) | المدة (ثانية) |
|---|
| وكيل ثقيل | 38.4 | 1922 | 5139 | 20998 |
| معيد التوجيه العالمي | 6.4 | 1015 | 17466 | 6662 |
نتائج التجربة
عند استخدام Universal Forwarder:
- كان حجم البيانات المرسلة عبر الشبكة أقل 6 مرات.
- كان حجم البيانات المفهرسة في الثانية أعلى بنحو 3 أضعاف
- كانت المدة الإجمالية لتحميل البيانات أسرع 3 مرات
التوصيات
استخدم
معيد التوجيه الثقيل فقط عندما:
- من الممكن تصفية جزء كبير من البيانات عن طريق إجراء تحليل أولي للأحداث غير المنظمة
- هناك متطلبات خاصة لواجهة المستخدم أو الوظيفة الإضافية ، على سبيل المثال ، DBconnect و Checkpoint و Cisco IPS
- توجيه البيانات المعقدة (حسب محتوى الحدث)
في حالات أخرى ، من الأفضل استخدام
Universal Forwarder.
إذا كنت لا تزال لم تجرب Splunk ، فقد حان الوقت للبدء ، فإن الإصدار المجاني الذي يصل إلى 500 ميجابايت في اليوم
متاح للجميع. وإذا كانت لديك أسئلة أو مشاكل مع Splunk - يمكنك طرحها
علينا وسنساعدك.
نحن شركة
Premier Splunk التابعة الرسمية.
