O Ansible Tour, parte 6: monitoramento – exporters, Prometheus, Grafana e um watchdog Monit

Parte 6 do Ansible Tour: como as métricas fluem, como o watchdog decide quando mandar e-mail e uma tabela de cada e-mail de alarme com o que fazer.

Ilustração da série Ansible Tour

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

Parte 6 do Ansible Tour, e a última. Depois da plataforma, das aplicações e da segurança, esta parte trata de saber o que está acontecendo. A série descreve o release v3.3.0, com mudanças posteriores adicionadas como atualizações.

Um servidor que ninguém observa falha em silêncio. O setup aqui observa de quatro formas, e ajuda mantê-las separadas:

TipoPerguntaFerramenta
MétricasComo o servidor está indo ao longo do tempo?exporters, Prometheus, Grafana
EstadosAlgo está quebrado agora?Monit
LogsO que aconteceu, e por quê?Loki e Grafana Alloy
Sinais de vidaO que raramente relata algo ainda está rodando?timestamps de jobs, um e-mail semanal

Todas seguem a regra da parte 5: silêncio enquanto tudo está saudável, para que cada e-mail signifique algo. E todas caíram na mesma armadilha: por um tempo ficaram em silêncio porque não conseguiam falar, não porque nada estivesse acontecendo.

Índice

📈 Métricas: exporters, Prometheus, Grafana

O modelo é pull: os exporters oferecem seus números como uma página de texto via HTTP, o Prometheus os coleta a cada 15 segundos e os guarda por 30 dias, o Grafana desenha as curvas. Nada sai do servidor. O node exporter informa o host, um exporter do MariaDB o banco de dados, um exporter do PHP-FPM como sidecar os workers PHP, o cAdvisor no kubelet cada contêiner, e o kube-state-metrics limites, reinícios e motivos de término a partir da API. Tudo escuta apenas localmente ou em portas que o firewall descarta de fora; só o Grafana é alcançável, pelo ingress, com login próprio e só a partir da Alemanha.

Os exporters são o exemplo mais claro do padrão de binário fixado da parte 2: ler a versão instalada, baixar só se ela divergir de versions.yml, depois reiniciar. O arquivo baixado em /tmp servia antes de marcador de “já instalado” – depois de cada reboot /tmp estava vazio, e cada execução baixava de novo. Comparar a versão instalada com o pin é o teste honesto.

O Prometheus avalia suas próprias regras de alerta, mas não manda e-mail; para isso seria preciso o Alertmanager, que está ausente de propósito. Os e-mails vêm do Grafana e do Monit, e a configuração diz isso nas primeiras linhas, para que ninguém espere um e-mail que não pode chegar. Até os scrape jobs serem separados por stack, todo servidor mostrava permanentemente dois targets como “down” – as portas do outro stack. Inofensivo, mas ruído exatamente onde você procura problemas reais.

O Grafana não tem módulo Ansible; o role fala com a API HTTP dele com o padrão “primeiro verificar, depois criar”, porque criar uma data source duas vezes cria duas data sources. Os dashboards são importados com um ID fixo, para que uma reimportação sobrescreva em vez de copiar. Três lições estão neste role:

  • Regras que nunca podiam disparar. Em setembro de 2026 uma verificação mostrou que nenhuma regra de alerta jamais tinha disparado – faltava o campo condition, e como um erro de avaliação contava como “OK”, elas pareciam verdes. Desde então a verificação final confere o estado de cada regra.
  • Um dashboard que nunca mostrou um número. O dashboard de PHP-FPM 4912 do grafana.com filtrava por labels do cluster dos próprios autores; aqui todos os painéis ficavam vazios. Desde 26 de outubro de 2026 é o 25545, cujas queries retornam dados aqui. O deep dive do Grafana conta as duas histórias.
  • Um caminho de e-mail que quebrou em silêncio. A senha SMTP continha um #, que iniciava um comentário na configuração. Desde 26 de outubro uma regra dispara de propósito o tempo todo e manda um e-mail uma vez por semana; se ele faltar na segunda-feira, o caminho de e-mail está quebrado.

Desde o release v3.3.0 há curvas por contêiner também: o cAdvisor por meio de uma ServiceAccount cujo único direito é ler métricas, e o kube-state-metrics com direitos somente leitura. Um dashboard dedicado compara cada contêiner com seu limite, e quatro alertas vigiam memória, throttling, OOM kills e loops de reinício. Uma armadilha na leitura: uma query que soma pelo nome do contêiner adiciona o pod antigo e o novo durante um rollout – a soma certa é por pod.

A lição: um alerta que nunca dispara e um painel que não mostra nada parecem exatamente um servidor saudável. Verifique o estado deles em vez de confiar no silêncio.

🐕 common_monit: o watchdog

O Monit existe por causa de um incidente: o fail2ban tinha morrido no blog, e por dois dias ninguém percebeu. Um serviço morto não aparece como curva. O Monit verifica estados: a cada dois minutos ele roda uma lista de checks, e só manda e-mail quando um muda de ok para falha ou de volta. Como o mesmo role roda nos dois stacks, ele primeiro pergunta com systemctl cat quais serviços existem neste host e escreve um check só para esses.

  • Serviços e firewall: SSH, K3s, os exporters, Prometheus, Grafana; a tabela do firewall com seus sets de ban; se o fail2ban e os sets baniram os mesmos endereços.
  • Pods: crash loop, erro de image pull, OOM – estados curtos de espera durante um reinício não contam.
  • Jails do fail2ban: se cada jail lê um arquivo de log que ainda existe.
  • E-mail: desde 26 de outubro de 2026, todo e-mail que o msmtp não conseguiu entregar. O Monit manda seus próprios e-mails por uma conexão SMTP própria, para que esse alerta passe mesmo quando o caminho do msmtp estiver quebrado.
  • Certificados: menos de 21 dias restantes. A renovação começa aos 30 dias; 21 significa que ela está falhando há mais de uma semana. Esse limite surgiu quando uma image policy bloqueou em silêncio o pod de challenge do cert-manager e isso só foi percebido pouco antes do vencimento.
  • Backups: o job de backup externo atualiza um arquivo no servidor após cada sucesso; se ele tiver mais de três dias, o Monit dispara um alerta. O servidor não consegue ver o backup, mas consegue ver que ninguém o avisou de um.

Se o watchdog late é verificado por um autoteste sob demanda: ele para brevemente o node exporter, espera até o Monit relatar a falha e o inicia de novo – um e-mail de alerta real e um e-mail real de normalização.

A lição: estados e métricas respondem perguntas diferentes. O que não aparece como curva precisa de um check que só relata quando algo muda.

🔎 Logs, vulnerabilidades e sinais de vida

Desde 20 de outubro de 2026 dois roles a mais rodam nos três servidores. Loki e Grafana Alloy coletam o journal, os logs dos pods, o audit log e o log do fail2ban, por 14 dias, pesquisáveis ao lado das métricas. Cinco alertas de log relatam um acesso bloqueado pelo SELinux, erros do fail2ban, OOM kills do kernel, logs ausentes e – desde 26 de outubro – um error budget estourado: mais de 100 linhas de erro e aviso de um serviço em uma hora, excluído o ruído conhecido. Antes disso, dois exporters tinham escrito até 240 dessas linhas por hora cada um durante dias sem que nada disparasse um alerta. O Trivy escaneia todas as imagens em execução toda noite e manda e-mail só sobre novos achados corrigíveis. Ambos têm seus próprios deep dives sobre o Loki e o Trivy.

O quarto tipo de observação veio por último. Jobs que só mandam e-mail quando acham algo – AIDE, rkhunter, ClamAV, o notificador do auditd – também ficam em silêncio quando nem rodam mais; o notificador do auditd fez isso uma vez por seis semanas. Desde 26 de outubro de 2026 cada um desses jobs escreve um timestamp após uma execução bem-sucedida, o Prometheus o coleta, e um alerta relata todo job atrasado. De fora, um script semanal verifica o que um visitante vê: nomes, certificados, portas abertas e se um ban realmente faz efeito.

A lição: silêncio só é boa notícia se você sabe que o remetente ainda está vivo.

🛠️ Na operação: quem manda o quê por e-mail

DeSignificadoO que fazer
Role de verificaçãoResultado após cada execução de playbooktudo verde, ou olhar os checks que falharam
Grafanaum recurso está ficando escasso, um job está atrasado, o PHP-FPM está ocupadoplanejar, não entrar em pânico; para um job atrasado, descobrir por que não rodou
Grafana “heartbeat”uma vez por semana, de propósitonada – se faltar, o caminho de e-mail está quebrado
Monitalgo está quebrado agoraolhar na hora
Lokinegação do SELinux, erro do fail2ban, OOM, sem logs, error budgetler as linhas correspondentes no Explore do Grafana
dnf-automatic, alerta de SSH, auditd, AIDE, rkhunter, ClamAV, Trivyveja a parte 2 e a parte 5veja lá
  • Disco: olhe a inclinação, não o nível. Uma linha que sobe dois por cento por semana atinge o alerta de 80 % em um dia previsível.
  • Memória: “used” é sempre alto por causa do cache de arquivos; o que conta é “available”.
  • PHP-FPM: quando todos os workers estão ocupados, as requisições entram na fila, por mais rápido que o servidor seja. Dois avisos antecipados relatam 80 % de workers ocupados e o alcance de max_children.

🎯 As lições da parte 6

  • Métricas, estados, logs e sinais de vida respondem perguntas diferentes; você precisa dos quatro.
  • Uma regra de alerta precisa de um estado verificado, não só de uma definição.
  • Confira primeiro um dashboard importado contra os seus próprios dados.
  • Todo caminho por onde os alertas passam precisa ele mesmo de um sinal de vida regular.
  • Agregue métricas de contêiner por pod, não por nome de contêiner.

🏁 O fim do tour

Esses são todos os roles do repositório, os quatro playbooks, o inventário e os checks ao redor deles. Quem leu as seis partes sabe o que roda nesses servidores, por que é construído assim, o que deu errado pelo caminho e o que fazer quando chega um e-mail. Esse era o objetivo: não que você copie este setup, mas que ele fique compreensível o bastante para operá-lo – ou para construir o seu e evitar os erros registrados aqui.

A tecnologia por baixo dos roles é explicada nos deep dives, do SELinux e do nftables, passando pelo K3s, até performance com medições. Os links do tour apontam para o release v3.3.0, para que continuem mostrando o código que o texto descreve.

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes