Aujourd'hui, nous allons parler d'agents (transitaires) pour télécharger des données sur
Splunk . Dans l'article, nous parlerons brièvement de ce que c'est, de quels types, de la différence entre eux et dans quelles situations il est préférable d'utiliser l'un ou l'autre transitaire.
Le chargement correct des données est le problème le plus problématique dans tout système de données. Le transfert de données peut être effectué de différentes manières, mais la plus courante d'entre elles est l'utilisation de transitaires.
Le porteur Splunk a plusieurs avantages:
- Étiquetage des métadonnées (source, type de source et hôte)
- Mise en mémoire tampon personnalisée
- Compression des données
- SSL
- Utilisation de tous les ports réseau disponibles
Une fois que vous avez décidé de transmettre des données à l'aide de redirecteurs, la question suivante se pose: quel transitaire est le meilleur à utiliser?
Il existe
2 types de transitaires :
- Universal Forwarder , qui ne contient que les composants nécessaires au transfert de données.
- Heavy Forwarder , qui est une entreprise Splunk à part entière, qui, en plus de transmettre des données, peut indexer, effectuer des requêtes de recherche et modifier des données.
Porteur universel
Universal Forwarder présente plusieurs avantages par rapport à l'utilisation de Heavy Forwarder. Et par conséquent, il est souvent recommandé de l'utiliser s'il n'y a pas de conditions préalables spécifiques pour utiliser Heavy Forwarder, dont nous discuterons plus tard.
L'avantage le plus notable est que Universal Forwarder utilise beaucoup moins de ressources matérielles que les autres logiciels Splunk. Il charge moins de CPU, utilise moins de mémoire et occupe moins d'espace disque. Il est également plus évolutif que les autres produits Splunk, car vous pouvez installer plus d'un millier d'instances qui n'affecteront pas considérablement les performances du réseau et de l'hôte.
Un autre avantage est sa disponibilité pour l'installation sur de nombreuses plateformes différentes. Il peut être installé non seulement sur Windows, Linux et Mac OS, comme Splunk Enterprise, mais également sur Solaris, FreeBSD et AIX.
Universal Forwarder est disponible en tant que package d'installation distinct et comprend uniquement les composants nécessaires pour envoyer des données à d'autres instances de la plate-forme Splunk. Bien qu'il ne possède pas d'interface Web, il peut toujours être personnalisé, géré et mis à l'échelle en modifiant les fichiers de configuration.
Pour obtenir de meilleures performances, Universal Forwarder présente plusieurs limitations:
- Impossible d'exécuter des requêtes d'indexation et de recherche localement.
- Vous ne pouvez pas configurer d'alertes.
- Vous pouvez analyser le flux de données entrant avant l'indexation uniquement s'il s'agit de données structurées.
- N'inclut pas Python.
Vous trouverez
ici comment installer et configurer Universal Forwarder.
Porteur lourd
Bien que Universal Forwarder soit le moyen préféré d'envoyer des données, vous pourriez avoir besoin de Heavy Forwarder si vous avez besoin d'analyser ou d'apporter des modifications aux données avant de les envoyer, ou si vous devez contrôler où vont les données en fonction de leur contenu.
L'un des principaux avantages de Heavy Forwarder est qu'il peut filtrer les événements indésirables, même dans les données non structurées, ce qui réduira la quantité d'indexation, et la taille de la licence en dépend.
Certes, il convient de noter que l'utilisation de Heavy Forwarder augmente le trafic réseau, le processeur et l'utilisation de la mémoire. Cela est dû au fait que Heavy Forwarder envoie les données analysées sur le réseau non seulement avec des événements bruts, mais avec tous les champs mis en évidence lors de l'indexation et des métadonnées supplémentaires.
Pour comparer les performances du porteur lourd et du porteur universel, un test a été effectué.
Le fichier de test contenait 367 463 625 événements.
| Trafic réseau (Go) | Débit moyen (kbps) | Vitesse d'indexation moyenne
(kbps) | Durée (sec) |
|---|
| Porteur lourd | 38,4 | 1922 | 5139 | 20998 |
| Porteur universel | 6,4 | 1015 | 17466 | 6662 |
Résultats de l'expérience
Lorsque vous utilisez Universal Forwarder:
- La quantité de données envoyées sur le réseau était 6 fois inférieure.
- Le volume de données indexées par seconde était environ 3 fois plus élevé
- La durée totale de chargement des données était 3 fois plus rapide
Recommandations
N'utilisez
Heavy Forwarder que lorsque:
- Il est possible de filtrer une partie importante des données en effectuant une analyse préliminaire des événements non structurés
- Il existe des exigences particulières pour l'interface utilisateur ou le module complémentaire , par exemple, DBconnect, Checkpoint, Cisco IPS
- Routage de données complexes (par contenu d'événement)
Dans d'autres cas, il est préférable d'utiliser
Universal Forwarder.
Si vous n'avez toujours pas essayé Splunk, alors il est temps de commencer, la version gratuite jusqu'à 500 Mo par jour
est disponible pour tout le monde. Et si vous avez des questions ou des problèmes avec Splunk, vous pouvez nous les poser et nous vous aiderons.
Nous sommes l'
affilié officiel de
Premier Splunk .
