Deep Dive: Grafana e os dashboards – o que cada painel significa, e alertas que nunca dispararam

Dashboards só são úteis se você sabe o que ler neles. O que o Prometheus coleta nestes servidores, como ler os quatro dashboards painel por painel, como os alertas funcionam – e por que a primeira versão deles jamais poderia ter enviado um único e-mail.

Ilustração da série Deep Dive

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

Deep Dive da série em torno do Ansible Tour. O tour explica os roles, os deep dives a tecnologia por baixo: como ela funciona, por que é usada desta forma aqui e o que deu errado pelo caminho.

Cada servidor aqui tem seu próprio Prometheus e seu próprio Grafana (a parte 6 do tour mostra os roles). Este post é o guia de leitura: o que são os números, como é o normal nestas máquinas, quais painéis importam quando algo está errado – e como o alerting é montado, incluindo o erro que o manteve em silêncio por semanas.

Índice

🧭 Como o Prometheus e o Grafana funcionam

Pull, séries temporais, labels

Exporters são pequenos programas que expõem números via HTTP – o node exporter para o host, o mysqld_exporter para o MariaDB, o php-fpm_exporter para o PHP, o cAdvisor do kubelet para os containers, o kube-state-metrics para objetos do Kubernetes. O Prometheus os busca (“scrape”) a cada 15 segundos e armazena cada número como uma série temporal, identificada por um nome e labels como container="nextcloud-fpm". O Grafana pergunta ao Prometheus na linguagem de consulta dele, PromQL, e desenha a resposta.

Três funções que cobrem a maioria dos painéis

  • rate(x[5m]): aumento por segundo de um contador, com média em cinco minutos – requisições por segundo, segundos de CPU por segundo (= cores).
  • increase(x[1h]): quanto um contador cresceu em uma hora – reinícios, OOM kills, períodos com throttling.
  • max_over_time(…[7d]) e sum by (…): o pior valor em um período, e a soma de séries ao longo de labels escolhidos. O segundo é onde acontece a maioria dos erros de leitura (veja abaixo).

Alerting sem Alertmanager

O próprio Grafana avalia as regras de alerta: uma consulta (A), um limite (B), uma duração (“por 5 minutos”). Se a condição se mantém por tempo suficiente, ele envia um e-mail para o contact point. Para um administrador e três servidores, isso substitui um Alertmanager separado.

🛡️ Por que ele está aqui

  • Tendências em vez de momentos. 30 dias de histórico respondem “desde quando?” e “isso é normal?”, algo que o top nunca consegue.
  • Um só lugar para host, banco de dados, PHP, containers – e, desde outubro de 2026, os logs ao lado deles (Loki).
  • Aberto e padrão. Prometheus e Grafana são a língua do monitoramento de Kubernetes; já existem dashboards para cada exporter.

🔧 O que este repositório faz

ParteDetalhe
Prometheuscommon_prometheus: intervalo de scrape de 15 s, retenção de 30 dias, escuta em 127.0.0.1; 5 scrape jobs por servidor, ~7.500 séries, 0,5–0,8 GB em disco
Grafanacommon_grafana: pacote do repositório do Grafana, atrás do ingress em /grafana, porta 3000 aberta só para o próprio node; nível de log warn
Fontes de dadosPrometheus e Loki, criadas pela API com UIDs fixos
Dashboards1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 até 26 de outubro de 2026), mais o próprio “Container-Ressourcen”
Alertas17 regras de métricas e 5 regras de logs, um contact point de e-mail
Hardeningdomínio SELinux próprio para Grafana, Prometheus e os exporters; login do Grafana protegido por um jail do fail2ban e pelo bloqueio do próprio Grafana

Tudo é provisionado pela API HTTP do Grafana por pequenos scripts Python que o Ansible escreve e executa. Os dashboards são importados com UIDs fixos, então links e favoritos sobrevivem a uma reimportação; o dashboard 1860 ainda recebe um patch nas variáveis, porque a API de importação deixa a fonte de dados e as variáveis node/job sem inicializar, e todo painel mostrava “No data” ao abrir pela primeira vez.

📊 Lendo os dashboards

Node Exporter Full (1860) – o host

PainelNormal aquiOlhe com mais atenção quando
CPU Busymédia de 5 % (blog), 9 % e 16 % (Nextcloud); percentil 95 abaixo de 30 %acima de 70 % de forma contínua – aí o “CPU Basic” mostra se é user, system ou iowait
Sys Loadabaixo do número de cores, picos curtos um pouco acima (reboot, scans noturnos)acima do número de cores por mais de alguns minutos
RAM Used16–32 % em média, no máximo 39 %subindo por dias sem voltar – um vazamento, não carga
SWAP Usedperto de zerocrescendo sem parar
Root FS Usedbem abaixo de 80 %o alerta dispara em 80 %
Disk IOps / Read/Writepicos curtos à noite (scans, reboot)iowait alto junto com I/O alto durante o dia
Network Trafficbaixo, picos de uploads e backupstráfego de saída contínuo que ninguém consegue explicar

Um padrão se repete toda noite: uma lacuna de alguns minutos por volta das 03:30. Não é uma queda, mas o reboot planejado depois das atualizações; uma lacuna em qualquer outro horário merece uma olhada. E o servidor Nextcloud maior mostra várias vezes o tempo de CPU do blog para o próprio K3s, pelo mesmo trabalho – uma característica da geração do processador dele, explicada no deep dive sobre K3s, não um erro de configuração.

MySQL Overview (7362) – o banco de dados

PainelNormal aquiOlhe com mais atenção quando
MySQL Connectionsum punhado, picos de 6–15perto de max_connections (50)
MySQL Questions / Queriesdezenas por segundo, acompanha o horário do diaum salto sem mais usuários
InnoDB Buffer Poolgrande parte sem uso, taxa de acerto > 99 %páginas livres perto de zero e leituras do disco subindo
Temporary Objectsalgumas tabelas temporárias em disco (colunas TEXT)tabelas em disco crescendo mais rápido que as queries
Slow Queries0qualquer coisa acima de zero – aí o slow log diz qual

PHP-FPM (25545) – os workers

PainelNormal aquiOlhe com mais atenção quando
Active / idle processesalguns ativos, a maioria ociosaativos perto de max_children
Listen queue0qualquer coisa acima de zero por mais de um minuto
Max children reached0aumenta – o pool é pequeno demais
Slow requests0aumenta – o log do pod diz o script

O dashboard que nunca mostrou um número

Até 26 de outubro de 2026 esta seção descrevia o dashboard 4912 – e cada um dos painéis dele mostrava N/A. O 4912 foi feito para o cluster dos próprios autores do exporter: cada consulta filtra por labels como app, hip_new e kubernetes_namespace que só existem lá. Aqui as variáveis no topo ficavam vazias, e todo painel ficava vazio junto, enquanto os alertas, que consultam as métricas diretamente, funcionaram o tempo todo. Desde então os servidores usam o 25545: as mesmas métricas, filtradas só por job e instance, e cada uma das consultas dele retorna dados nos três servidores. Um dashboard importado é código que alguém escreveu para o próprio setup; antes de ler um painel vazio como “nada acontecendo”, vale conferir se as consultas dele retornam alguma coisa aqui.

Container-Ressourcen – o dashboard próprio

Oito painéis por namespace: CPU e memória como fração do limite do container, throttling de CPU, cores absolutos e working set, reinícios e OOM kills por hora, o último motivo de término por container, e os limits e requests configurados. Ele responde à única pergunta que os outros dashboards não respondem: um container está sendo segurado pelo próprio limite enquanto o host tem folga? Throttling de alguns por cento é normal para PHP com picos; um container que fica acima de 50 % de throttling é o que precisa de mais CPU.

O erro de leitura

Enquanto eu escrevia o deep dive de desempenho, uma consulta para o container PHP do blog mostrou um pico de memória de 940 MiB contra um limite de 1 GiB. Ela tinha somado todas as séries com aquele nome de container – durante um rollout o pod antigo e o novo se sobrepõem, e depois de um restart o cAdvisor reporta por um momento o cgroup antigo e o novo. O pico real de um único pod era de 538 MiB. Painéis que fazem sum by (namespace, pod, container), como o dashboard próprio, são seguros; um sum só pelo nome do container não é.

🚨 Alertas – e por que ficaram em silêncio

AlertaDispara quando (por 5 min)
Disk root / disk datamais de 80 % usado
Memorymais de 90 % usado
CPU loadmais de 85 % ocupado
Node downo node exporter não responde
Container memoryum container acima de 90 % do limite de memória
Container throttlingmais de 50 % dos períodos de CPU com throttling
Container OOM / crash loopum OOM kill, ou mais de 2 reinícios em 15 minutos
Trivy stale / failednenhum scan de vulnerabilidades por 36 horas, ou o último scan falhou
PHP-FPMrequisições esperando na fila; todos os workers ocupados; mais de 80 % ocupados
Collectorum collector do node exporter não retorna dados
Heartbeat mail pathsempre – um e-mail por semana e por host
Periodic jobum job (AIDE, rkhunter, ClamAV …) não se reportou por mais tempo do que o permitido
Logs (Loki)negação do SELinux em modo enforcing, erro do fail2ban, OOM do kernel, nenhum log, error budget estourado

Em setembro de 2026, uma verificação no servidor Nextcloud maior mostrou que nenhuma dessas regras jamais tinha disparado – não porque nada aconteceu, mas porque não conseguiam. As regras tinham sido criadas pela API sem o campo condition, que nomeia a consulta que decide o alerta. O Grafana registrava “condition must not be empty” a cada avaliação, e as regras estavam configuradas com execErrState: OK, que transformava cada erro de avaliação em “tudo certo”. Duas configurações, cada uma razoável sozinha, juntas faziam o alerting parecer saudável enquanto estava morto. Desde então toda regra nomeia condition: "B". A lição: depois de uma mudança, confira o estado de cada regra no Grafana – “Normal” sem erro de avaliação – em vez de tomar a ausência de e-mail como prova.

Uma lacuna continua, de propósito: noDataState e execErrState ainda estão em OK, para que um restart do Prometheus não mande uma dúzia de e-mails. Se o próprio Prometheus parasse, toda regra ficaria verde em silêncio. Esse caso é coberto de fora do Grafana: o Monit vigia Prometheus, Grafana, os exporters de node e MySQL, Loki e Alloy, e manda e-mail se um deles parar.

Desde 26 de outubro de 2026, duas regras fecham essa lacuna pelo outro lado. Uma dispara de propósito o tempo todo e manda um e-mail uma vez por semana; se ele faltar na segunda-feira, o caminho do e-mail está quebrado. A outra avisa quando um job periódico como AIDE ou rkhunter para de renovar o timestamp. Se o próprio Prometheus está rodando continua sendo verificado pelo Monit.

A lição: Um alerta que nunca dispara ou é desnecessário ou está quebrado. O único jeito de saber é dispará-lo uma vez – ou conferir o estado dele no Grafana em vez de confiar na ausência de e-mail.

  • Mudar um limite significa mudá-lo no role e rodar o playbook; uma mudança feita na interface web seria sobrescrita na próxima execução, e isso é intencional.
  • Um painel novo que deve ficar vai para o JSON do dashboard no repositório (o dashboard próprio) – para dashboards importados da comunidade, uma cópia com UID próprio.
  • Backups: tudo o que importa – fontes de dados, dashboards, regras de alerta – é recriado a partir do repositório. As métricas em si não têm backup; 30 dias de histórico é o horizonte escolhido de propósito.

🆘 Cola: sintoma → comando

A versão curta deste artigo para o momento em que algo está errado. Rode no host como root; <…> são placeholders.

SintomaComando
Grafana ou Prometheus inacessívelsystemctl status grafana-server prometheus
journalctl -u grafana-server --since -1h
403 em /grafana# country filter in the ingress: is the address in the list?
nft get element inet filter ssh_geo4 '{ <ip> }'
Um gráfico está vaziocurl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}'
Perguntar direto ao Prometheuscurl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result'
Nenhum e-mail de alerta, embora algo esteja errado# Grafana → Alerting → Alert rules: state "Error" or "No data"?
journalctl -u grafana-server | grep -i alert | tail
O próprio Prometheus paroumonit status svc_prometheus # Monit mails, Grafana cannot
Limite ou dashboard alterado na interface web# overwritten by the next playbook run - change it in the role

🎯 As lições

  • Ao lado de cada painel vai o valor normal para este servidor.
  • Agregue métricas de container por pod, não pelo nome do container.
  • Confira primeiro um dashboard importado contra os seus próprios labels.
  • Regras de alerta precisam de uma condition; o que se verifica é o estado delas, não a ausência de e-mail.
  • Um heartbeat mostra que o próprio caminho do alerta funciona.

⚖️ Alternativas – e por que Grafana + Prometheus

OpçãoPonto fortePor que não aqui
NetdataNenhuma configuração, resolução por segundoPor host, histórico curto por padrão, menos adequado a métricas de Kubernetes.
Zabbix / IcingaMonitoramento clássico baseado em checks, alerting maduroChecks dizem “no ar ou fora”, não “quanto desde quando”; métricas de container exigem trabalho extra. O Icinga foi testado em um lab.
Serviços de monitoramento na nuvemNada para rodarAs métricas saem do servidor; custos por host e por série.
Prometheus + GrafanaPadrão para Kubernetes, modelo pull, aberto, dashboards para cada exporterEscolhido.

Um dashboard é um conjunto de perguntas que outra pessoa fez. As úteis aqui são aquelas cujo estado normal é conhecido – por isso este post lista “normal aqui” ao lado de cada painel. E o alerting só é tão bom quanto o último teste dele: a linha mais importante deste post é a das regras que pareceram verdes por semanas sem nunca conseguir disparar.

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes