Hoy hablaremos sobre agentes (reenviadores) para cargar datos a
Splunk . En el artículo hablaremos brevemente sobre qué es, qué tipos son, cuál es la diferencia entre ellos y en qué situaciones es mejor usar uno u otro promotor.
La correcta carga de datos es el problema más problemático en cualquier sistema de datos. La transferencia de datos se puede llevar a cabo de varias maneras, pero la más común es el uso de reenviadores.
El promotor de Splunk tiene varias ventajas:
- Etiquetado de metadatos (fuente, tipo de fuente y host)
- Almacenamiento en búfer personalizado
- Compresión de datos
- SSL
- Usar cualquier puerto de red disponible
Después de que haya decidido que reenviará los datos utilizando reenviadores, surge la siguiente pregunta: ¿qué reenviador es mejor usar?
Hay
2 tipos de reenviadores :
- Universal Forwarder , que contiene solo aquellos componentes que son necesarios para la transferencia de datos.
- Heavy Forwarder , que es una empresa Splunk Enterprise completa, que, además de transmitir datos, puede indexar, realizar consultas de búsqueda y modificar datos.
Promotor universal
Universal Forwarder tiene varias ventajas sobre el uso de Heavy Forwarder. Y, por lo tanto, a menudo se recomienda usarlo si no hay requisitos previos específicos para usar Heavy Forwarder, que discutiremos más adelante.
La ventaja más notable es que Universal Forwarder utiliza significativamente menos recursos de hardware que otros productos de software Splunk. Carga menos CPU, usa menos memoria y ocupa menos espacio en disco. También es más escalable que otros productos Splunk, ya que puede instalar más de mil instancias que no afectarán en gran medida el rendimiento de la red y el host.
Otra ventaja es su disponibilidad para la instalación en muchas plataformas diferentes. Se puede instalar no solo en Windows, Linux y Mac OS, como Splunk Enterprise, sino también en Solaris, FreeBSD y AIX.
Universal Forwarder está disponible como un paquete de instalación separado e incluye solo los componentes necesarios para enviar datos a otras instancias de la plataforma Splunk. Aunque no tiene una interfaz web, aún se puede personalizar, administrar y escalar editando archivos de configuración.
Para lograr un mejor rendimiento, Universal Forwarder tiene varias limitaciones:
- No se pueden realizar consultas de indexación y búsqueda localmente.
- No puede configurar alertas.
- Puede analizar el flujo de datos entrantes antes de indexar solo si se trata de datos estructurados.
- No incluye Python.
Aquí puede encontrar cómo instalar y configurar Universal Forwarder.
Promotor pesado
Aunque Universal Forwarder es la forma preferida de enviar datos, es posible que necesite Heavy Forwarder si necesita analizar o realizar cambios en los datos antes de enviarlos, o si necesita controlar dónde van los datos en función de su contenido.
Una de las ventajas clave de Heavy Forwarder es que puede filtrar eventos no deseados, incluso en datos no estructurados, lo que reducirá la cantidad de indexación, y el tamaño de la licencia depende de ello.
Es cierto que debe tenerse en cuenta que el uso de Heavy Forwarder aumenta el tráfico de red, el uso de CPU y memoria. Esto se debe al hecho de que Heavy Forwarder envía los datos analizados a través de la red no solo con eventos sin procesar, sino con todos los campos que se resaltan durante la indexación y metadatos adicionales.
Para comparar el rendimiento de Heavy y Universal Forwarder, se realizó una prueba.
El archivo de prueba tuvo 367,463,625 eventos.
| Tráfico de red (GB) | Velocidad de bits promedio (kbps) | Velocidad de indexación media
(kbps) | Duración (seg.) |
|---|
| Promotor pesado | 38,4 | 1922 | 5139 | 20998 |
| Promotor universal | 6.4 | 1015 | 17466 | 6662 |
Resultados experimentales
Cuando use Universal Forwarder:
- La cantidad de datos enviados a través de la red fue 6 veces menor.
- El volumen de datos indexados por segundo fue aproximadamente 3 veces mayor
- La duración total de la carga de datos fue 3 veces más rápida
Recomendaciones
Utilice el
reenviador pesado solo cuando:
- Es posible filtrar una parte significativa de los datos realizando un análisis preliminar de eventos no estructurados
- Existen requisitos especiales para la interfaz de usuario o complemento , por ejemplo, DBconnect, Checkpoint, Cisco IPS
- Enrutamiento de datos complejo (por contenido de evento)
En otros casos, es mejor usar
Universal Forwarder.
Si aún no ha probado Splunk, es hora de comenzar, la versión gratuita de hasta 500 MB por día
está disponible para todos. Y si tiene preguntas o problemas con Splunk, puede
hacernoslas y le ayudaremos.
Somos el
afiliado oficial
Premier Splunk .
