Bagaimana cara menentukan volume log Anda?

Selamat siang

Hari ini kami akan mempertimbangkan pertanyaan umum bahwa setiap orang yang memproses log atau yang akan dilakukan dihadapkan dengan dan sekarang mempertimbangkan berbagai solusi untuk pemrosesan dan penyimpanan. Berapa volume log per hari / minggu / bulan yang akan kami terima dari berbagai sistem dan sumber daya penyimpanan apa yang harus kami gunakan?
Sangat sulit untuk mengatakannya dengan pasti, tetapi kami akan mencoba membantu Anda secara kasar mengetahui perkiraan volume berdasarkan pengalaman kami.

Metode penilaian kami didasarkan pada penggunaan informasi statistik tentang jumlah log di berbagai sumber, semua nilai yang akan diberikan di bawah ini adalah nilai rata-rata dari hasil pekerjaan di berbagai proyek pengumpulan log.

Sebagai contoh, ambil beberapa sumber umum:

• Log Peristiwa Windows
• Domain Windows
• Cisco ASA
• Cisco ESA
• Cisco IPS
• Cisco IOS
• Palo alto
• * nix-syslog
• MSExchange mail

Koleksi log

Sebelumnya, kami mengukur jumlah rata-rata byte dalam satu peristiwa di setiap sumber. Kemudian kami menghitung perkiraan jumlah peristiwa per hari yang jatuh pada satu sumber dan menghitung berapa banyak log dalam GB yang akan dikumpulkan dari setiap sumber dari satu perangkat.

WinEventlog
~ byte dalam acara = 1150
Rabu Jumlah acara per hari (dest.) = 25.000
GB / hari (dest.) = 1150 * 25 000/1024 ^ 3 ≈ 0,03

Domain Windows
~ byte dalam acara = 1150
Rabu Jumlah acara per hari (dest.) = 250 000
GB / hari (dest.) = 1150 * 250 000/1024 ^ 3 ≈ 0,3

Cisco ASA
~ byte acara = 240
Rabu Jumlah acara per hari (dest.) = 1 600 000
GB / hari (dest.) = 240 * 1 600 000/1024 ^ 3 ≈ 0,35

Cisco ESA
~ byte dalam acara = 100
Rabu Jumlah acara per hari (dest.) = 200 000
GB / hari (dest.) = 100 * 200 000/1024 ^ 3 ≈ 0,02

Cisco IPS
~ byte dalam acara = 1200
Rabu Jumlah acara per hari (dest.) = 500 000
GB / hari (dest.) = 1200 * 500 000/1024 ^ 3 ≈ 0,6

Cisco IOS
~ byte dalam acara = 150
Rabu Jumlah acara per hari (dest.) = 20 000
GB / hari (dest.) = 150 * 20 000/1024 ^ 3 ≈ 0,003

Palo alto
~ byte dalam acara = 400
Rabu Jumlah acara per hari (dest.) = 500 000
GB / hari (dest.) = 400 * 500 000/1024 ^ 3 ≈ 0,2

* nix-syslog
~ byte dalam acara = 100
Rabu Jumlah acara per hari (dest.) = 50.000
GB / hari (dest.) = 100 * 50 000/1024 ^ 3 ≈ 0,005

MSExchange mail
~ byte dalam acara = 300
Rabu Jumlah acara per hari (dest.) = 100.000
GB / hari (dest.) = 300 * 100 000/1024 ^ 3 ≈ 0,03

Selanjutnya, untuk menentukan volume semua log, perlu untuk menentukan berapa banyak perangkat yang ingin kami kumpulkan dan simpan informasi. Misalnya, perhatikan kasusnya jika kita memiliki 30 perangkat yang menghasilkan WinEventLog, masing-masing 1 perangkat - Domain Windows, Cisco ESA, Cisco IPS, Palo Alto.

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 byte / hari = 1,8347 GB / hari ≈ 12,4 GB / minggu ≈ 55 GB / bulan

Tentu saja, ketika menggunakan metode perhitungan ini, kesalahan yang signifikan dapat terjadi, karena jumlah log per hari tergantung pada banyak faktor, misalnya:

• Jumlah pengguna dan peran mereka
• Termasuk Layanan Audit
• Tingkat Keparahan yang Diperlukan
• Dan masih banyak lagi

Nilai tambah yang signifikan dari metode ini adalah bahwa jika ada statistik, maka jumlah perkiraan log dapat dihitung bahkan di atas serbet. Minus adalah kemungkinan kesalahan besar. Jika penyimpangan yang signifikan tidak dapat diterima, maka Anda dapat mengonfigurasi unduhan data dari semua sumber ke sistem pengujian, misalnya, Splunk memberikan lisensi uji coba dengan sumber daya yang memadai untuk menguji sejumlah besar sumber. Metode ini memberikan hasil yang akurat, tetapi penyebaran sistem pengujian akan membutuhkan waktu, tenaga dan sumber daya teknis.

Penyimpanan data

Kami secara singkat menyentuh pertanyaan lain tentang topik log: berapa banyak sumber daya yang dibutuhkan untuk menyimpannya.

Untuk menjawab pertanyaan ini, pertama-tama, Anda perlu memahami dalam bentuk apa alat pengolah log Anda menyimpan data. Misalnya, ELK , bersama dengan log, juga menyimpan informasi tentang bidang yang dipilih, yang dapat meningkatkan volume satu peristiwa hingga 3 kali, dan Splunk menyimpan data hanya dalam bentuk mentah, juga mengompresi mereka, dan metadata disimpan secara terpisah dari peristiwa.

Kemudian, Anda perlu memahami periode data historis apa yang perlu Anda simpan, "suhu" data, RAID, dll. Kalkulator yang mudah ditemukan di tautan ini.

Kesimpulan

Salah satu masalah topikal, karena itu kami menyentuh pada topik volume log, adalah bahwa lisensi Splunk tergantung pada jumlah data yang diindeks per hari. Jika Anda ingin menggunakan Splunk untuk memproses log Anda, maka setelah menghitung perkiraan volume, Anda dapat memperkirakan biaya lisensi yang diperlukan. Kalkulator lisensi dapat ditemukan di sini .

Bagaimana Anda mengevaluasi volume log Anda? Bagikan pengalaman, alat, dan kasus menarik Anda di komentar.