كيفية تحديد حجم سجلاتك؟

مساء الخير

سننظر اليوم في سؤال شائع يواجهه كل من يعالج السجلات أو سيفعله ويفكر الآن في حلول مختلفة للمعالجة والتخزين. ما حجم السجلات لكل يوم / أسبوع / شهر سنتلقى من أنظمة مختلفة وما هي موارد التخزين التي يجب أن نستخدمها؟
من الصعب القول بالتأكيد ، لكننا سنحاول مساعدتك تقريبًا في معرفة الأحجام المقدرة بناءً على تجربتنا.

تعتمد طريقة التقييم الخاصة بنا على استخدام المعلومات الإحصائية حول عدد السجلات في مصادر مختلفة ، وجميع القيم التي ستعطى أدناه هي متوسط ​​قيم نتائج العمل في مشاريع جمع السجلات المختلفة.

على سبيل المثال ، خذ بعض المصادر الشائعة:

• سجلات أحداث Windows
• مجال Windows
• سيسكو ASA
• سيسكو ESA
• Cisco IPS
• Cisco IOS
• بالو ألتو
• * nix-syslog
• بريد MSExchange

جمع السجل

في السابق ، قمنا بقياس متوسط ​​عدد وحدات البايت في حدث واحد في كل مصدر. ثم قمنا بحساب العدد التقريبي للأحداث في اليوم التي تقع على مصدر واحد ، وقمنا بحساب عدد السجلات في جيجابايت التي سيتم جمعها من كل مصدر من جهاز واحد.

WinEventlog
~ بايت في الحدث = 1150
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 25000
غيغابايت / يوم (بدقّة) = 1150 * 25000/1024 ^ 3 ≈ 0.03

مجال Windows
~ بايت في الحدث = 1150
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 250.000
غيغابايت / يوم (بدقّة) = 1150 * 250 000/1024 ^ 3 ≈ 0.3

سيسكو ASA
~ بايت الحدث = 240
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 1600000
غيغابايت / يوم (بدقّة) = 240 * 1600000/1024 ^ 3 ≈ 0.35

سيسكو ESA
~ بايت في الحدث = 100
الأربعاء عدد الأحداث في اليوم الواحد (تالف) = 200.000
غيغابايت / يوم (بدقّة) = 100 * 200 000/1024 ^ 3 ≈ 0.02

Cisco IPS
~ بايت في الحدث = 1200
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 500000
غيغابايت / يوم (بدقّة) = 1200 * 500000/1024 ^ 3 ≈ 0.6

Cisco IOS
~ بايت في الحدث = 150
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 20000
غيغابايت / يوم (بدقّة) = 150 * 20000/1024 ^ 3 ≈ 0.003

بالو ألتو
~ بايت في الحدث = 400
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 500000
غيغابايت / يوم (بدقّة) = 400 * 500000/1024 ^ 3 ≈ 0.2

* nix-syslog
~ بايت في الحدث = 100
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 50000
غيغابايت / يوم (بدقّة) = 100 * 50 000/1024 ^ 3 ≈ 0.005

بريد MSExchange
~ بايت في الحدث = 300
الأربعاء عدد الأحداث في اليوم الواحد (متضرر) = 100000
غيغابايت / يوم (بدقّة) = 300 * 100000/1024 ^ 3 ≈ 0.03

علاوة على ذلك ، من أجل تحديد حجم جميع السجلات ، من الضروري تحديد عدد الأجهزة التي نريد جمع وتخزين المعلومات منها. على سبيل المثال ، ضع في اعتبارك الحالة إذا كان لدينا 30 جهازًا يولد WinEventLog ، جهاز واحد لكل منهما - مجال Windows ، Cisco ESA ، Cisco IPS ، Palo Alto.

1150 * 25000 * 30 + 1150 * 250.000 + 100 * 200.000 + 1200 * 500000 + 400 * 500000 = 1970.000 بايت / يوم = 1.8347 جيجا بايت / يوم ≈ 12.4 جيجا بايت / أسبوع ≈ 55 جيجا بايت / شهر

بالطبع ، عند استخدام طريقة الحساب هذه ، قد يحدث خطأ كبير ، حيث يعتمد عدد السجلات في اليوم على العديد من العوامل ، على سبيل المثال:

• عدد المستخدمين وأدوارهم
• خدمات التدقيق متضمنة
• مستوى الخطورة المطلوب
• وغير ذلك الكثير

من المزايا المهمة لهذه الطريقة أنه إذا كانت هناك إحصائيات ، فيمكن حساب المقدار التقريبي للسجلات حتى على منديل. ناقص خطأ كبير محتمل. إذا كانت الانحرافات الكبيرة غير مقبولة ، فيمكنك تكوين تنزيل البيانات من جميع المصادر إلى نظام الاختبار ، على سبيل المثال ، يوفر Splunk ترخيصًا تجريبيًا بموارد كافية لاختبار عدد كبير من المصادر. تعطي هذه الطريقة نتيجة دقيقة ، ولكن نشر أي أنظمة اختبار سيتطلب الوقت والعمل والموارد التقنية.

تخزين البيانات

نتطرق بإيجاز إلى سؤال آخر حول موضوع السجلات: مقدار الموارد المطلوبة لتخزينها.

للإجابة على هذا السؤال ، أولاً وقبل كل شيء ، تحتاج إلى فهم الشكل الذي تخزن فيه أداة معالجة السجلات البيانات. على سبيل المثال ، تقوم ELK ، جنبًا إلى جنب مع السجلات ، بتخزين معلومات حول الحقول المحددة ، والتي يمكن أن تزيد من حجم حدث واحد حتى 3 مرات ، ويقوم Splunk بتخزين البيانات ببساطة في شكل خام ، بالإضافة إلى ضغطها ، ويتم تخزين البيانات الوصفية بشكل منفصل عن الأحداث.

بعد ذلك ، تحتاج إلى فهم فترة البيانات التاريخية التي تحتاج إلى تخزينها ، و "درجة حرارة" البيانات ، و RAID ، وما إلى ذلك. يمكن العثور على آلة حاسبة مريحة في هذا الرابط .

الخلاصة

إحدى القضايا الموضوعية ، التي تطرقنا إليها حول موضوع حجم السجل ، هي أن ترخيص Splunk يعتمد على كمية البيانات المفهرسة في اليوم. إذا كنت ترغب في استخدام Splunk لمعالجة سجلاتك ، فبعد حساب الحجم التقريبي ، يمكنك تقدير تكلفة الترخيص اللازم. يمكن العثور على حاسبة الترخيص هنا .

كيف تقيم حجم سجلاتك؟ شارك تجاربك وأدواتك وحالاتك المثيرة للاهتمام في التعليقات.