Hari ini kita akan berbicara tentang agen (penerusan) untuk mengunggah data ke
Splunk . Dalam artikel ini kita akan membahas secara singkat tentang apa itu, apa jenisnya, apa perbedaan di antara mereka dan dalam situasi apa lebih baik menggunakan satu atau lebih forwarder.
Pemuatan data yang benar adalah masalah yang paling bermasalah dalam sistem data apa pun. Transfer data dapat dilakukan dengan berbagai cara, tetapi yang paling umum adalah penggunaan forwarder.
Splunk forwarder memiliki beberapa keunggulan:
- Memberi label metadata (sumber, jenis sumber, dan host)
- Buffer kustom
- Kompresi data
- SSL
- Menggunakan port jaringan yang tersedia
Setelah Anda memutuskan bahwa Anda akan meneruskan data menggunakan forwarder, muncul pertanyaan berikut: forwarder mana yang terbaik untuk digunakan?
Ada
2 jenis forwarder :
- Universal Forwarder , yang hanya berisi komponen-komponen yang diperlukan untuk transfer data.
- Heavy Forwarder , yang merupakan Splunk Enterprise lengkap, yang, selain mengirim data, dapat mengindeks, melakukan kueri pencarian, dan memodifikasi data.
Forwarder universal
Universal Forwarder memiliki beberapa keunggulan dibandingkan menggunakan Heavy Forwarder. Dan oleh karena itu, sering disarankan untuk menggunakannya jika tidak ada prasyarat khusus untuk menggunakan Heavy Forwarder, yang akan kita bahas nanti.
Keuntungan yang paling menonjol adalah bahwa Universal Forwarder menggunakan sumber daya perangkat keras yang jauh lebih sedikit daripada produk perangkat lunak Splunk lainnya. Ini memuat lebih sedikit CPU, menggunakan lebih sedikit memori dan lebih sedikit ruang disk. Ini juga lebih scalable daripada produk Splunk lainnya, karena Anda dapat menginstal lebih dari seribu contoh yang tidak akan sangat mempengaruhi kinerja jaringan dan host.
Keuntungan lain adalah ketersediaannya untuk instalasi pada berbagai platform. Itu dapat diinstal tidak hanya pada Windows, Linux dan Mac OS, seperti Splunk Enterprise, tetapi juga pada Solaris, FreeBSD dan AIX.
Universal Forwarder tersedia sebagai paket instalasi terpisah dan hanya menyertakan komponen yang diperlukan untuk mengirim data ke instance lain dari platform Splunk. Meskipun tidak memiliki antarmuka web, masih dapat disesuaikan, dikelola, dan diskalakan dengan mengedit file konfigurasi.
Untuk mencapai kinerja yang lebih baik, Universal Forwarder memiliki beberapa batasan:
- Tidak dapat melakukan pengindeksan dan permintaan pencarian secara lokal.
- Anda tidak dapat mengatur peringatan.
- Anda dapat menganalisis aliran data yang masuk sebelum pengindeksan hanya jika terstruktur data.
- Tidak termasuk Python.
Cara menginstal dan mengonfigurasi Universal Forwarder dapat ditemukan di
sini .
Forwarder berat
Meskipun Universal Forwarder adalah cara yang disukai untuk mengirim data, Anda mungkin perlu Heavy Forwarder jika Anda perlu menganalisis atau membuat perubahan pada data sebelum mengirimnya, atau Anda perlu mengontrol ke mana data akan didasarkan pada kontennya.
Salah satu keuntungan utama Heavy Forwarder adalah dapat menyaring acara yang tidak diinginkan, bahkan dalam data yang tidak terstruktur, yang akan mengurangi volume pengindeksan, dan ukuran lisensi tergantung padanya.
Benar, harus dicatat bahwa penggunaan Forwarder Berat meningkatkan lalu lintas jaringan, CPU dan penggunaan memori. Ini karena fakta bahwa Forwarder Berat mengirimkan data yang dianalisis melalui jaringan tidak hanya dengan peristiwa mentah, tetapi dengan semua bidang yang disorot selama pengindeksan dan metadata tambahan.
Untuk membandingkan kinerja Heavy dan Universal Forwarder, tes dilakukan.
File tes memiliki 367.463.625 acara.
| Lalu Lintas Jaringan (GB) | Kecepatan bit rata-rata (kbps) | Kecepatan pengindeksan rata-rata
(kbps) | Durasi (dtk) |
|---|
| Forwarder berat | 38.4 | 1922 | 5139 | 20998 |
| Forwarder universal | 6.4 | 1015 | 17466 | 6662 |
Hasil percobaan
Saat menggunakan Universal Forwarder:
- Jumlah data yang dikirim melalui jaringan adalah 6 kali lebih rendah.
- Volume data yang diindeks per detik sekitar 3 kali lebih tinggi
- Total durasi pemuatan data adalah 3 kali lebih cepat
Rekomendasi
Gunakan
Heavy Forwarder hanya ketika:
- Dimungkinkan untuk menyaring bagian penting dari data dengan melakukan analisis pendahuluan atas kejadian yang tidak terstruktur
- Ada persyaratan khusus untuk antarmuka pengguna atau tambahan , misalnya, DBconnect, Checkpoint, Cisco IPS
- Perutean data yang kompleks (berdasarkan konten)
Dalam kasus lain, lebih baik menggunakan
Universal Forwarder.
Jika Anda masih belum mencoba Splunk, maka saatnya untuk memulai, versi gratis hingga 500MB per hari
tersedia untuk semua orang. Dan jika Anda memiliki pertanyaan atau masalah dengan Splunk - Anda dapat menanyakannya kepada
kami , dan kami akan membantu.
Kami adalah
Afiliasi Premier Splunk resmi.
