Hoje falaremos sobre agentes (encaminhadores) para enviar dados ao
Splunk . No artigo, falaremos brevemente sobre o que é, quais são os tipos, qual é a diferença entre eles e em que situações é melhor usar um ou outro encaminhador.
O carregamento correto de dados é a questão mais problemática em qualquer sistema de dados. A transferência de dados pode ser realizada de várias maneiras, mas a mais comum delas é o uso de encaminhadores.
O encaminhador do Splunk tem várias vantagens:
- Metadados de rotulagem (fonte, tipo de fonte e host)
- Buffer personalizado
- Compressão de dados
- SSL
- Usando todas as portas de rede disponíveis
Depois de decidir que você encaminhará os dados usando encaminhadores, surge a seguinte pergunta: qual encaminhador é melhor usar?
Existem
2 tipos de encaminhadores :
- Encaminhador universal , que contém apenas os componentes necessários para a transferência de dados.
- O Heavy Forwarder , que é uma empresa Splunk de pleno direito, que além de transmitir dados, pode indexar, executar consultas de pesquisa e modificar dados.
Encaminhador universal
O Universal Forwarder tem várias vantagens sobre o uso do Heavy Forwarder. E, portanto, geralmente é recomendável usá-lo se não houver pré-requisitos específicos para o uso do Heavy Forwarder, que discutiremos mais adiante.
A vantagem mais notável é que o Universal Forwarder usa significativamente menos recursos de hardware do que outros produtos de software Splunk. Carrega menos CPU, usa menos memória e ocupa menos espaço em disco. Também é mais escalável do que outros produtos Splunk, pois você pode instalar mais de mil instâncias que não afetarão muito o desempenho da rede e do host.
Outra vantagem é sua disponibilidade para instalação em muitas plataformas diferentes. Ele pode ser instalado não apenas no Windows, Linux e Mac OS, como o Splunk Enterprise, mas também no Solaris, FreeBSD e AIX.
O Universal Forwarder está disponível como um pacote de instalação separado e inclui apenas os componentes necessários para enviar dados para outras instâncias da plataforma Splunk. Embora não tenha uma interface da web, ainda pode ser personalizado, gerenciado e dimensionado editando os arquivos de configuração.
Para obter melhor desempenho, o Universal Forwarder tem várias limitações:
- Não é possível executar consultas de indexação e pesquisa localmente.
- Você não pode configurar alertas.
- Você pode analisar o fluxo de dados recebidos antes da indexação apenas se forem dados estruturados.
- Não inclui Python.
Como instalar e configurar o Universal Forwarder pode ser encontrado
aqui .
Forwarder pesado
Embora o Universal Forwarder seja a maneira preferida de enviar dados, você pode precisar do Heavy Forwarder se precisar analisar ou fazer alterações nos dados antes de enviá-los, ou precisa controlar para onde os dados vão com base em seu conteúdo.
Uma das principais vantagens do Heavy Forwarder é que ele pode filtrar eventos indesejados, mesmo em dados não estruturados, o que reduzirá o volume de indexação e o tamanho da licença depende disso.
É verdade que deve ser observado que o uso do Heavy Forwarder aumenta o tráfego de rede, a CPU e o uso de memória. Isso se deve ao fato de o Heavy Forwarder enviar os dados analisados pela rede, não apenas com eventos brutos, mas com todos os campos destacados durante a indexação e metadados adicionais.
Para comparar o desempenho do Heavy e Universal Forwarder, foi realizado um teste.
O arquivo de teste teve 367.463.625 eventos.
| Tráfego de rede (GB) | Taxa de bits média (kbps) | Velocidade média de indexação
(kbps) | Duração (s) |
|---|
| Forwarder pesado | 38,4 | 1922 | 5139 | 20998 |
| Encaminhador universal | 6.4 | 1015 | 17466 | 6662 |
Resultados da experiência
Ao usar o Universal Forwarder:
- A quantidade de dados enviados pela rede foi 6 vezes menor.
- O volume de dados indexados por segundo foi cerca de 3 vezes maior
- A duração total do carregamento de dados foi três vezes mais rápida
Recomendações
Use o
Forwarder pesado somente quando:
- É possível filtrar uma parte significativa dos dados realizando uma análise preliminar de eventos não estruturados
- Existem requisitos especiais para a interface do usuário ou complemento , por exemplo, DBconnect, Checkpoint, Cisco IPS
- Roteamento de dados complexo (por conteúdo do evento)
Em outros casos, é melhor usar o
Universal Forwarder.
Se você ainda não experimentou o Splunk, é hora de começar, a versão gratuita de até 500 MB por dia
está disponível para todos. E se você tiver dúvidas ou problemas com o Splunk, pode nos pedir e nós ajudaremos.
Nós somos o
afiliado oficial
Premier Splunk .
