Deep Dive: Grafana e os dashboards – o que cada painel significa, e alertas que nunca dispararam
Dashboards só são úteis se você sabe o que ler neles. O que o Prometheus coleta nestes servidores, como ler os quatro dashboards painel por painel, como os alertas funcionam – e por que a primeira versão deles jamais poderia ter enviado um único e-mail.

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski
Deep Dive da série em torno do Ansible Tour. O tour explica os roles, os deep dives a tecnologia por baixo: como ela funciona, por que é usada desta forma aqui e o que deu errado pelo caminho.
Cada servidor aqui tem seu próprio Prometheus e seu próprio Grafana (a parte 6 do tour mostra os roles). Este post é o guia de leitura: o que são os números, como é o normal nestas máquinas, quais painéis importam quando algo está errado – e como o alerting é montado, incluindo o erro que o manteve em silêncio por semanas.
Índice
🧭 Como o Prometheus e o Grafana funcionam
Pull, séries temporais, labels
Exporters são pequenos programas que expõem números via HTTP – o node exporter para o host, o mysqld_exporter para o MariaDB, o php-fpm_exporter para o PHP, o cAdvisor do kubelet para os containers, o kube-state-metrics para objetos do Kubernetes. O Prometheus os busca (“scrape”) a cada 15 segundos e armazena cada número como uma série temporal, identificada por um nome e labels como container="nextcloud-fpm". O Grafana pergunta ao Prometheus na linguagem de consulta dele, PromQL, e desenha a resposta.
Três funções que cobrem a maioria dos painéis
rate(x[5m]): aumento por segundo de um contador, com média em cinco minutos – requisições por segundo, segundos de CPU por segundo (= cores).increase(x[1h]): quanto um contador cresceu em uma hora – reinícios, OOM kills, períodos com throttling.max_over_time(…[7d])esum by (…): o pior valor em um período, e a soma de séries ao longo de labels escolhidos. O segundo é onde acontece a maioria dos erros de leitura (veja abaixo).
Alerting sem Alertmanager
O próprio Grafana avalia as regras de alerta: uma consulta (A), um limite (B), uma duração (“por 5 minutos”). Se a condição se mantém por tempo suficiente, ele envia um e-mail para o contact point. Para um administrador e três servidores, isso substitui um Alertmanager separado.
🛡️ Por que ele está aqui
- Tendências em vez de momentos. 30 dias de histórico respondem “desde quando?” e “isso é normal?”, algo que o
topnunca consegue. - Um só lugar para host, banco de dados, PHP, containers – e, desde outubro de 2026, os logs ao lado deles (Loki).
- Aberto e padrão. Prometheus e Grafana são a língua do monitoramento de Kubernetes; já existem dashboards para cada exporter.
🔧 O que este repositório faz
| Parte | Detalhe |
|---|---|
| Prometheus | common_prometheus: intervalo de scrape de 15 s, retenção de 30 dias, escuta em 127.0.0.1; 5 scrape jobs por servidor, ~7.500 séries, 0,5–0,8 GB em disco |
| Grafana | common_grafana: pacote do repositório do Grafana, atrás do ingress em /grafana, porta 3000 aberta só para o próprio node; nível de log warn |
| Fontes de dados | Prometheus e Loki, criadas pela API com UIDs fixos |
| Dashboards | 1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 até 26 de outubro de 2026), mais o próprio “Container-Ressourcen” |
| Alertas | 17 regras de métricas e 5 regras de logs, um contact point de e-mail |
| Hardening | domínio SELinux próprio para Grafana, Prometheus e os exporters; login do Grafana protegido por um jail do fail2ban e pelo bloqueio do próprio Grafana |
Tudo é provisionado pela API HTTP do Grafana por pequenos scripts Python que o Ansible escreve e executa. Os dashboards são importados com UIDs fixos, então links e favoritos sobrevivem a uma reimportação; o dashboard 1860 ainda recebe um patch nas variáveis, porque a API de importação deixa a fonte de dados e as variáveis node/job sem inicializar, e todo painel mostrava “No data” ao abrir pela primeira vez.
📊 Lendo os dashboards
Node Exporter Full (1860) – o host
| Painel | Normal aqui | Olhe com mais atenção quando |
|---|---|---|
| CPU Busy | média de 5 % (blog), 9 % e 16 % (Nextcloud); percentil 95 abaixo de 30 % | acima de 70 % de forma contínua – aí o “CPU Basic” mostra se é user, system ou iowait |
| Sys Load | abaixo do número de cores, picos curtos um pouco acima (reboot, scans noturnos) | acima do número de cores por mais de alguns minutos |
| RAM Used | 16–32 % em média, no máximo 39 % | subindo por dias sem voltar – um vazamento, não carga |
| SWAP Used | perto de zero | crescendo sem parar |
| Root FS Used | bem abaixo de 80 % | o alerta dispara em 80 % |
| Disk IOps / Read/Write | picos curtos à noite (scans, reboot) | iowait alto junto com I/O alto durante o dia |
| Network Traffic | baixo, picos de uploads e backups | tráfego de saída contínuo que ninguém consegue explicar |
Um padrão se repete toda noite: uma lacuna de alguns minutos por volta das 03:30. Não é uma queda, mas o reboot planejado depois das atualizações; uma lacuna em qualquer outro horário merece uma olhada. E o servidor Nextcloud maior mostra várias vezes o tempo de CPU do blog para o próprio K3s, pelo mesmo trabalho – uma característica da geração do processador dele, explicada no deep dive sobre K3s, não um erro de configuração.
MySQL Overview (7362) – o banco de dados
| Painel | Normal aqui | Olhe com mais atenção quando |
|---|---|---|
| MySQL Connections | um punhado, picos de 6–15 | perto de max_connections (50) |
| MySQL Questions / Queries | dezenas por segundo, acompanha o horário do dia | um salto sem mais usuários |
| InnoDB Buffer Pool | grande parte sem uso, taxa de acerto > 99 % | páginas livres perto de zero e leituras do disco subindo |
| Temporary Objects | algumas tabelas temporárias em disco (colunas TEXT) | tabelas em disco crescendo mais rápido que as queries |
| Slow Queries | 0 | qualquer coisa acima de zero – aí o slow log diz qual |
PHP-FPM (25545) – os workers
| Painel | Normal aqui | Olhe com mais atenção quando |
|---|---|---|
| Active / idle processes | alguns ativos, a maioria ociosa | ativos perto de max_children |
| Listen queue | 0 | qualquer coisa acima de zero por mais de um minuto |
| Max children reached | 0 | aumenta – o pool é pequeno demais |
| Slow requests | 0 | aumenta – o log do pod diz o script |
O dashboard que nunca mostrou um número
Até 26 de outubro de 2026 esta seção descrevia o dashboard 4912 – e cada um dos painéis dele mostrava N/A. O 4912 foi feito para o cluster dos próprios autores do exporter: cada consulta filtra por labels como app, hip_new e kubernetes_namespace que só existem lá. Aqui as variáveis no topo ficavam vazias, e todo painel ficava vazio junto, enquanto os alertas, que consultam as métricas diretamente, funcionaram o tempo todo. Desde então os servidores usam o 25545: as mesmas métricas, filtradas só por job e instance, e cada uma das consultas dele retorna dados nos três servidores. Um dashboard importado é código que alguém escreveu para o próprio setup; antes de ler um painel vazio como “nada acontecendo”, vale conferir se as consultas dele retornam alguma coisa aqui.
Container-Ressourcen – o dashboard próprio
Oito painéis por namespace: CPU e memória como fração do limite do container, throttling de CPU, cores absolutos e working set, reinícios e OOM kills por hora, o último motivo de término por container, e os limits e requests configurados. Ele responde à única pergunta que os outros dashboards não respondem: um container está sendo segurado pelo próprio limite enquanto o host tem folga? Throttling de alguns por cento é normal para PHP com picos; um container que fica acima de 50 % de throttling é o que precisa de mais CPU.
O erro de leitura
Enquanto eu escrevia o deep dive de desempenho, uma consulta para o container PHP do blog mostrou um pico de memória de 940 MiB contra um limite de 1 GiB. Ela tinha somado todas as séries com aquele nome de container – durante um rollout o pod antigo e o novo se sobrepõem, e depois de um restart o cAdvisor reporta por um momento o cgroup antigo e o novo. O pico real de um único pod era de 538 MiB. Painéis que fazem sum by (namespace, pod, container), como o dashboard próprio, são seguros; um sum só pelo nome do container não é.
🚨 Alertas – e por que ficaram em silêncio
| Alerta | Dispara quando (por 5 min) |
|---|---|
| Disk root / disk data | mais de 80 % usado |
| Memory | mais de 90 % usado |
| CPU load | mais de 85 % ocupado |
| Node down | o node exporter não responde |
| Container memory | um container acima de 90 % do limite de memória |
| Container throttling | mais de 50 % dos períodos de CPU com throttling |
| Container OOM / crash loop | um OOM kill, ou mais de 2 reinícios em 15 minutos |
| Trivy stale / failed | nenhum scan de vulnerabilidades por 36 horas, ou o último scan falhou |
| PHP-FPM | requisições esperando na fila; todos os workers ocupados; mais de 80 % ocupados |
| Collector | um collector do node exporter não retorna dados |
| Heartbeat mail path | sempre – um e-mail por semana e por host |
| Periodic job | um job (AIDE, rkhunter, ClamAV …) não se reportou por mais tempo do que o permitido |
| Logs (Loki) | negação do SELinux em modo enforcing, erro do fail2ban, OOM do kernel, nenhum log, error budget estourado |
Em setembro de 2026, uma verificação no servidor Nextcloud maior mostrou que nenhuma dessas regras jamais tinha disparado – não porque nada aconteceu, mas porque não conseguiam. As regras tinham sido criadas pela API sem o campo condition, que nomeia a consulta que decide o alerta. O Grafana registrava “condition must not be empty” a cada avaliação, e as regras estavam configuradas com execErrState: OK, que transformava cada erro de avaliação em “tudo certo”. Duas configurações, cada uma razoável sozinha, juntas faziam o alerting parecer saudável enquanto estava morto. Desde então toda regra nomeia condition: "B". A lição: depois de uma mudança, confira o estado de cada regra no Grafana – “Normal” sem erro de avaliação – em vez de tomar a ausência de e-mail como prova.
Uma lacuna continua, de propósito: noDataState e execErrState ainda estão em OK, para que um restart do Prometheus não mande uma dúzia de e-mails. Se o próprio Prometheus parasse, toda regra ficaria verde em silêncio. Esse caso é coberto de fora do Grafana: o Monit vigia Prometheus, Grafana, os exporters de node e MySQL, Loki e Alloy, e manda e-mail se um deles parar.
Desde 26 de outubro de 2026, duas regras fecham essa lacuna pelo outro lado. Uma dispara de propósito o tempo todo e manda um e-mail uma vez por semana; se ele faltar na segunda-feira, o caminho do e-mail está quebrado. A outra avisa quando um job periódico como AIDE ou rkhunter para de renovar o timestamp. Se o próprio Prometheus está rodando continua sendo verificado pelo Monit.
A lição: Um alerta que nunca dispara ou é desnecessário ou está quebrado. O único jeito de saber é dispará-lo uma vez – ou conferir o estado dele no Grafana em vez de confiar na ausência de e-mail.
- Mudar um limite significa mudá-lo no role e rodar o playbook; uma mudança feita na interface web seria sobrescrita na próxima execução, e isso é intencional.
- Um painel novo que deve ficar vai para o JSON do dashboard no repositório (o dashboard próprio) – para dashboards importados da comunidade, uma cópia com UID próprio.
- Backups: tudo o que importa – fontes de dados, dashboards, regras de alerta – é recriado a partir do repositório. As métricas em si não têm backup; 30 dias de histórico é o horizonte escolhido de propósito.
🆘 Cola: sintoma → comando
A versão curta deste artigo para o momento em que algo está errado. Rode no host como root; <…> são placeholders.
| Sintoma | Comando |
|---|---|
| Grafana ou Prometheus inacessível | systemctl status grafana-server prometheusjournalctl -u grafana-server --since -1h |
| 403 em /grafana | # country filter in the ingress: is the address in the list?nft get element inet filter ssh_geo4 '{ <ip> }' |
| Um gráfico está vazio | curl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}' |
| Perguntar direto ao Prometheus | curl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result' |
| Nenhum e-mail de alerta, embora algo esteja errado | # Grafana → Alerting → Alert rules: state "Error" or "No data"?journalctl -u grafana-server | grep -i alert | tail |
| O próprio Prometheus parou | monit status svc_prometheus # Monit mails, Grafana cannot |
| Limite ou dashboard alterado na interface web | # overwritten by the next playbook run - change it in the role |
🎯 As lições
- Ao lado de cada painel vai o valor normal para este servidor.
- Agregue métricas de container por pod, não pelo nome do container.
- Confira primeiro um dashboard importado contra os seus próprios labels.
- Regras de alerta precisam de uma
condition; o que se verifica é o estado delas, não a ausência de e-mail. - Um heartbeat mostra que o próprio caminho do alerta funciona.
⚖️ Alternativas – e por que Grafana + Prometheus
| Opção | Ponto forte | Por que não aqui |
|---|---|---|
| Netdata | Nenhuma configuração, resolução por segundo | Por host, histórico curto por padrão, menos adequado a métricas de Kubernetes. |
| Zabbix / Icinga | Monitoramento clássico baseado em checks, alerting maduro | Checks dizem “no ar ou fora”, não “quanto desde quando”; métricas de container exigem trabalho extra. O Icinga foi testado em um lab. |
| Serviços de monitoramento na nuvem | Nada para rodar | As métricas saem do servidor; custos por host e por série. |
| Prometheus + Grafana | Padrão para Kubernetes, modelo pull, aberto, dashboards para cada exporter | Escolhido. |
Um dashboard é um conjunto de perguntas que outra pessoa fez. As úteis aqui são aquelas cujo estado normal é conhecido – por isso este post lista “normal aqui” ao lado de cada painel. E o alerting só é tão bom quanto o último teste dele: a linha mais importante deste post é a das regras que pareceram verdes por semanas sem nunca conseguir disparar.
