Neste post, eu queria fazer uma demonstração do Nginx VTS + Prometheus + Grafana. Para a demonstração, era necessário que o upstream emitisse códigos http diferentes. Os seguintes projetos podem fazer isso: Mockify , escrito em Golang, e WireMock , escrito em Java.
Um pequeno índice
- instalação e configuração do Nginx VTS + Prometheus + Grafana;
- Mockify é uma API de emulação leve e configurável, escrita em Golang;
- Comparação do uso da CPU para Mockify, escrito em Golang, e WireMock, escrito em Java.
Máquina virtual de suporte de teste:
inxi CPU: 8x Single Core Intel Xeon E312xx (Sandy Bridge) (-SMP-) speed: 2594 MHz Kernel: 3.10.0-957.1.3.el7.x86_64 x86_64 Up: 58m Mem: 474.9/32011.6 MiB (1.5%) Storage: 80.00 GiB (2.7% used) Procs: 149 Shell: bash 4.2.46 inxi: 3.0.35
Config prometheus:
global: scrape_interval: 5s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 5s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: # - "first_rules.yml" # - "second_rules.yml" scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'nginx_vts_exporter' static_configs: - targets: ['localhost:9913']
Configura o padrão Grafana. ID do painel 2949.
Para o Nginx VTS, você precisa compilar o nginx com o módulo nginx-module-vts. Fazemos isso usando o Nginx-builder . Sua configuração:
nginx_version: 1.16.1 output_package: rpm modules: - module: name: nginx-module-vts git_url: https://github.com/vozlt/nginx-module-vts.git git_tag: v0.1.18
Instale o nginx montado. Aqui está sua principal configuração (não se esqueça de especificar vhost_traffic_status_zone;):
user nginx; worker_processes auto; worker_rlimit_nofile 40960; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { use epoll; worker_connections 1024; multi_accept on; } http { vhost_traffic_status_zone; include /etc/nginx/mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; #access_log /var/log/nginx/access.log main; access_log off; sendfile on; tcp_nodelay on; tcp_nopush on; keepalive_timeout 65; include /etc/nginx/conf.d/*.conf; open_file_cache max=200000 inactive=20s; open_file_cache_valid 30s; open_file_cache_min_uses 2; open_file_cache_errors on; }
Crie configurações de host virtual:
touch vhost1.conf vhost2.conf vhost3.conf vhost4.conf vhost5.conf
O seu conteúdo:
vhost1.conf:
server { listen 80; server_name vhost1; location / { proxy_pass http://127.0.0.1:8001/102; } }
vhost2.conf:
server { listen 80; server_name vhost2; location / { proxy_pass http://127.0.0.1:8001/204; } }
vhost3.conf:
server { listen 80; server_name vhost3; location / { proxy_pass http://localhost:8001/304; } }
vhost4.conf:
server { listen 80; server_name vhost4; location / { proxy_pass http://localhost:8001/403; } }
vhost5.conf:
server { listen 80; server_name vhost5; location / { proxy_pass http://localhost:8001/503; } }
Instale o nginx-vts-exportador:
wget https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz tar zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz cp nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter /usr/local/bin/nginx-vts-exporter
Crie o arquivo /etc/systemd/system/nginx_vts_exporter.service:
[Unit] Description=Nginx vts exporter Wants=network-online.target After=network-online.target [Service] ExecStart=/usr/local/bin/nginx-vts-exporter -nginx.scrape_uri=http://localhost:7070/status/format/json Restart=always RestartSec=3 [Install] WantedBy=default.target
Crie o arquivo de configuração VTS /etc/nginx/conf.d/vts-exporter.conf
server { listen 7070; listen [::]:7070; location / { } location /status { vhost_traffic_status_display; vhost_traffic_status_display_format html; } }
Adicione o DNS dos hosts virtuais ao / etc / hosts:
127.0.0.1 vhost1 127.0.0.1 vhost2 127.0.0.1 vhost3 127.0.0.1 vhost4 127.0.0.1 vhost5
Estamos otimizando o kernel para testes, pois o wiremock expirou com um grande número de conexões. Agora, pode não ser necessário, pois reduziu o número de conexões ao iniciar o benchmark apache. Crie o arquivo /etc/sysctl.d/90-nginx.conf com o conteúdo:
fs.file-max=100000 net.netfilter.nf_conntrack_max=1548576 net.ipv4.ip_local_port_range=10000 65000 net.ipv4.tcp_tw_reuse=1 net.core.somaxconn=15600 net.ipv4.tcp_fin_timeout=15 net.ipv4.tcp_tw_recycle=1 net.core.rmem_default=31457280 net.core.rmem_max=12582912 net.core.wmem_default=31457280 net.core.wmem_max=12582912 net.core.netdev_max_backlog=65536 net.core.optmem_max=25165824 net.ipv4.tcp_rmem=8192 87380 16777216 net.ipv4.udp_rmem_min=16384 net.ipv4.tcp_wmem=8192 65536 16777216
Aplicar configurações
sysctl -p /etc/sysctl.d/90-nginx.conf
Instale mockify-rpm
yum -y install yum-plugin-copr yum copr enable antonpatsev/mockify-rpm yum -y install mockify systemctl start mockify
Instale o Apache Benchmark:
yum install -y httpd-tools
Começamos um pequeno teste nginx:
while true; do ab -c 1 -n 1 -t 1 http://vhost1/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost2/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost3/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost4/; sleep 2; done while true; do ab -c 1 -n 1 -t 1 http://vhost5/; sleep 2; done
Imagens:
Instale o wiremock:
yum -y install yum-plugin-copr yum copr enable antonpatsev/wiremock-rpm yum -y install wiremock wiremock-popular-json systemctl start wiremock
Também nos arquivos vhost1-vhost5 no nginx, você precisa alterar a porta de 8001 para 8080.
Peço desculpas pelas capturas de tela irregulares.
Abaixo está a carga de mockify de CPU e MEM ao testar vhost1-vhost5
Abaixo está a carga da CPU e o wiremock MEM ao testar o vhost1
Abaixo está a carga da CPU e o wiremock MEM ao testar o vhost1-vhost2
Abaixo está a carga da CPU e do wiremock MEM ao testar o vhost1-vhost3
Abaixo está a carga da CPU e o wiremock MEM ao testar o vhost1-vhost4
Abaixo está a carga da CPU e do wiremock MEM ao testar o vhost1-vhost5. Às vezes, a carga na CPU cresceu até 700%.
Conclusões:
De acordo com o Nginx VTS, eu gostaria de mais métricas sem editar as configurações.
Por Wiremock vs Mockify: use Mockify. Ele usa menos CPU e MEM.
E, finalmente, a montagem dos aplicativos Golang no Fedora Copr usando o exemplo do Mockify.
Use o repositório https://github.com/patsevanton/mockify-rpm como um exemplo.