Deep Dive: Trivy – elke nacht alle draaiende images scannen en 241 bevindingen lezen zonder paniek

Hoe Trivy bekende kwetsbaarheden in container-images vindt, waarom het hier als nachtelijke timer draait in plaats van als operator, wat de eerste scan van de blog vond – en hoe je 241 "fixbare" bevindingen sorteert tot de paar die actie vragen.

Illustratie voor de Deep Dive-serie

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Deep Dive in de serie rond de Ansible Tour. De tour legt de roles uit, de deep dives de techniek eronder: hoe het werkt, waarom het hier zo gebruikt wordt en wat er onderweg misging.

Elke image in deze setup is vastgepind op een exacte versie. Dat is goed voor reproduceerbaarheid en slecht voor security op één specifieke manier: een vastgepinde image wordt niet vanzelf beter. De Debian- of Alpine-pakketten erin verouderen, de Go-runtime waarmee een binary gebouwd is veroudert, en elke dag worden er nieuwe kwetsbaarheden gepubliceerd voor software die helemaal niet veranderd is. De host krijgt elke nacht zijn security-updates van dnf-automatic; de images kregen niets – tot iemand ging kijken. Trivy kijkt nu elke nacht. Deze post legt uit hoe het kwetsbaarheden vindt, hoe het sinds 19 oktober 2026 op de blog draait, wat de eerste scan vond – 241 fixbare bevindingen – en waarom dat getal veel minder alarmerend is dan het klinkt zodra je het sorteert.

Inhoud

🧭 Hoe Trivy werkt

Eerst een inventaris, dan een database-lookup

Trivy draait of valt niets aan. Het leest een image laag voor laag en bouwt een inventaris: welk besturingssysteem en welke release (Debian 13, Alpine 3.21, Ubuntu 22.04 …), welke pakketten in welke exacte versies uit de database van de package manager, en welke taal-dependencies in binaries gecompileerd zijn of in lock files staan – Go-modules uit de build-informatie die elke Go-binary meedraagt, npm, pip, Composer, Java enzovoort. Daarna vergelijkt het die inventaris met zijn kwetsbaarhedendatabase.

De database wordt door het Trivy-project gebouwd uit veel bronnen – de security trackers van de distributies, de GitHub Advisory Database, de Go-kwetsbaarhedendatabase en andere – en gedownload als één bestand van een paar honderd megabyte. Voor elk pakket weet hij welke versies door welke CVE getroffen zijn en, als die bestaat, in welke versie het probleem is opgelost.

Severity en “fixed version” – de twee velden die ertoe doen

  • Severity (CRITICAL, HIGH, MEDIUM, LOW, UNKNOWN) komt uit de bron – vaak de eigen beoordeling van de distributie, anders een CVSS-score. Ze beschrijft de kwetsbaarheid in het algemeen, niet het risico in deze image. Een CRITICAL bug in een library die de image nooit aanroept, staat nog steeds als CRITICAL in de lijst.
  • Fixed version zegt of er überhaupt een fix bestaat. Zonder fix kun je niets doen behalve de bevinding accepteren of de software vervangen. Met een fix wordt de vraag: wie moet hem leveren – de distributie (al gedaan), de image-maintainer (rebuild nodig) of het upstream-project (nieuwe release nodig)?

Dat onderscheid is de sleutel tot alles hieronder. Trivy rapporteert wat bekend is; het kan niet weten of het kwetsbare codepad bereikbaar is. Het lezen van de resultaten is dus altijd een tweede stap, gedaan door een mens.

Waar de image vandaan komt

Trivy kan een image lezen uit een registry (remote), uit een lokale Docker- of Podman-daemon, uit een tar-bestand – of direct uit containerd, de runtime die K3s gebruikt. Die laatste optie betekent: geen tweede download, de scan ziet precies de image die de pods draaien. In deze setup heeft het de socket en de namespace van K3s nodig:

CONTAINERD_ADDRESS=/run/k3s/containerd/containerd.sock \
CONTAINERD_NAMESPACE=k8s.io \
trivy image --image-src containerd docker.io/library/mariadb:10.11.19

🛡️ Waarom het hier is

  • Vastgepinde images verouderen stilletjes. De image refresh in de update-playbooks haalt opnieuw gebouwde images onder dezelfde tag op – maar niets vertelde ons wanneer een rebuild de moeite waard was, of wanneer een image er nooit een zou krijgen.
  • De host was gedekt, de containers niet. dnf-automatic patcht de host elke nacht; de 14 images waaruit het cluster bestaat, vielen buiten die cyclus.
  • Beslissingen hebben data nodig. “Moeten we deze exporter vervangen?” of “Is een K3s-update urgent?” zijn makkelijker met een lijst van wat elke image echt bevat.

🔧 Wat deze repository doet

Een timer op de host, geen operator in het cluster

De gebruikelijke manier om Trivy in Kubernetes te draaien is de Trivy Operator: die houdt het cluster in de gaten, start per workload een scan-job en slaat de resultaten op als custom resources. Op één kleine node zou dat CRD’s, een controller en scan-pods betekenen – en voor elk daarvan uitzonderingen in de image policy en de NetworkPolicies die deze setup afdwingt. De role common_trivy doet hetzelfde werk met één binary en één script: een systemd-timer start trivy_scan.py elke nacht om 05:15, na de security-updates (01:00–02:00), het reboot-venster (03:30) en de andere nachtelijke jobs.

De binary: vastgepind en met checksum

Trivy wordt geïnstalleerd uit het GitHub-release-archief, met de versie én de SHA-256 vastgepind in versions.yml. Die tweede pin heeft een concrete reden: in maart 2026 werd de release-pipeline van Trivy zelf gecompromitteerd en werd er kort een kwaadaardige build uitgeleverd (advisory GHSA-69fq-xp46-6x23). Een security-scanner draait als root en leest alles – precies de tool waar je zeker van wilt zijn. De regel in de notities: alleen updaten naar een release van minstens twee weken oud, en de checksum kopiëren uit het checksum-bestand van die release. Ansibles get_url weigert een archief waarvan de hash niet klopt.

Twee kleine dingen waar de installatie tegenaan liep, allebei elders met opzet: /tmp is door de CIS-hardening met noexec gemount, dus het archief wordt vanuit /root uitgepakt; en na het uitpakken geeft restorecon de binary het juiste SELinux-label – bestanden die via een tijdelijk pad geschreven worden, houden anders het label van dat pad, dezelfde les als bij de k3s-binary.

Het script

  1. De kwetsbaarhedendatabase één keer bijwerken (--download-db-only); alle image-scans draaien daarna met --skip-db-update.
  2. De images van alle draaiende pods opsommen. Afgeronde pods van Jobs en CronJobs blijven buiten beschouwing – de eerste versie nam ze mee, en een helm-install-job die één keer bij de start van het cluster draaide, leverde 32 bevindingen op voor een image die niet draait.
  3. Elke image vanuit containerd scannen. Als dat mislukt, opnieuw proberen vanuit de registry (zie hieronder). Per image één JSON-rapport schrijven naar /var/lib/trivy/reports.
  4. Metrics schrijven voor de textfile collector van node_exporter: trivy_image_vulnerabilities{image, severity, fixable}, trivy_image_scan_ok, trivy_db_update_ok, trivy_last_run_timestamp_seconds. Het bestand wordt onder een tijdelijke naam geschreven en hernoemd, zodat node_exporter nooit een half bestand leest.
  5. De fixbare CRITICAL- en HIGH-bevindingen vergelijken met de vorige nacht en alleen de nieuwe mailen.

Waarom een mail voor nieuwe bevindingen en geen alert

Het voor de hand liggende ontwerp zou een Grafana-alert “kritieke kwetsbaarheid met beschikbare fix” zijn. De eerste scan liet zien waarom dat verkeerd zou zijn: de MariaDB-image bevat gosu, een piepkleine helper in Go, gebouwd met een oudere Go-versie die een CRITICAL kwetsbaarheid in de standaardbibliotheek heeft. Dat oplossen is aan de maintainers van de MariaDB-image. Een alert zou afgaan, zich elke vier uur herhalen en dat dagen of weken blijven doen – tot hij genegeerd wordt, en daarmee elke andere alert. De mail zegt het één keer. Een bevinding die blijft, mailt niet opnieuw; een die verdwijnt, telt als “gone”. Grafana alert alleen als de scan zelf kapot is: database-update of een image-scan mislukt, of de laatste geslaagde run is ouder dan 36 uur.

De les: Een alert past bij toestanden die je meteen kunt oplossen. Voor bevindingen die vaak niemand meteen kan oplossen, werkt een mail over wat nieuw is beter dan een alert die rood blijft en daardoor niemand meer interesseert.

Een bevinding accepteren

Sommige bevindingen worden met opzet geaccepteerd. Ze gaan in de variabele trivy_ignore, elk met een verplichte reden, en komen terecht in een .trivyignore-bestand dat de scan gebruikt. De lijst is met opzet leeg: elke entry is een beslissing, geen standaard.

SELinux en de textfile collector

node_exporter draait sinds dezelfde dag in een eigen SELinux-domein (na een permissive leerfase, enforcing sinds 20/21 oktober). Zijn textfile-map /var/lib/node_exporter/textfile kreeg een eigen type, homelab_node_exporter_textfile_t, met precies twee regels: de exporter mag de map opsommen en de bestanden lezen. De scan, die als root draait, schrijft ze; nieuwe bestanden erven het type van de map.

🔍 Wat de eerste runs vonden – over de tool zelf

Lagen die containerd al had weggegooid

Twee van de 15 images mislukten bij de eerste run: metrics-server en kube-state-metrics, met “content digest … not found”. containerd pakt image-lagen uit in snapshots en mag daarna de gecomprimeerde laag-blobs weggooien; de image draait prima, maar kan niet meer als geheel worden geëxporteerd. Trivy biedt --image-src containerd,remote als fallback-lijst – wat niet hielp, want hij valt alleen terug als de image in de eerste bron ontbreekt, niet als er een laag ontbreekt. Het script probeert het nu voor precies die images expliciet opnieuw met remote.

De les: Wie data uit de runtime leest, loopt tegen gaten aan die de runtime met opzet laat. Een tweede pad – de image uit de registry – maakt de scan robuust.

Een AVC, gevonden door de log-alerts van dezelfde dag

De eerste versie van de scan-unit had NoNewPrivileges=yes. Het script roept k3s kubectl aan om de pods op te sommen, en de k3s-binary maakt de overgang naar het SELinux-domein container_runtime_t. Onder NoNewPrivileges weigert SELinux die overgang, tenzij de policy hem expliciet toestaat, en logt avc: denied { nnp_transition }. De nieuwe Loki-alert voor echte SELinux-denials ging binnen minuten af. De instelling is weg; de unit houdt de andere systemd-beperkingen (read-only /usr en /etc, geen home-mappen, privé /tmp, laagste CPU- en I/O-prioriteit, geheugenlimiet van 2 GB).

De les: Bij elke nieuwe unit met NoNewPrivileges die een programma met een eigen SELinux-domein start, wordt na de eerste run de audit log gecontroleerd.

📊 241 bevindingen lezen

Na de fixes rapporteerde de scan 209 fixbare CRITICAL/HIGH-bevindingen over 14 draaiende images. Gesorteerd op wie ze kan oplossen, verandert het beeld volledig:

GroepBevindingenWie kan het oplossenActie
php-fpm_exporter 2.2.072 (5 van de 6 CRITICAL)Niemand: laatste release in 2022, nog op OpenSSL 1.1Vervangen, opnieuw bouwen of verwijderen – een beslissing, zie hieronder
MariaDB 10.11.1926Image-maintainers: een rebuild onder dezelfde tag is al gepubliceerd (libssl3)Image refresh in het update-playbook; gosu blijft tot upstream hem opnieuw bouwt
WordPress 7.1.3 (php8.4-fpm)32Debian heeft curl, ghostscript, expat gefixt; de officiële image is sindsdien niet opnieuw gebouwdWachten – de image refresh neemt de volgende rebuild automatisch mee
nginx, Redis (Alpine)4Idem: fixes in Alpine, image nog niet opnieuw gebouwdWachten
Go-binaries: CoreDNS, metrics-server, cert-manager, kube-state-metrics, mysqld_exporter75Upstream-projecten: nieuwe releases met nieuwere Go en nieuwere modulesAl op de nieuwste releases; de met K3s meegeleverde komen met de volgende K3s

Drie lessen uit die tabel:

  • De meeste bevindingen vragen geen actie van ons. Ze zijn ergens upstream opgelost en komen met de volgende rebuild of release, die de update-playbooks al oppikken.
  • Eén image is een echt probleem. Een exporter die al vier jaar geen release heeft gehad en nog steeds OpenSSL 1.1 meelevert, is verantwoordelijk voor bijna een derde van alle bevindingen en bijna alle CRITICAL. De praktische blootstelling is klein – hij praat alleen FastCGI met PHP-FPM binnen de pod en serveert metrics binnen het cluster, achter NetworkPolicies – maar “kleine blootstelling” is geen reden om verlaten software eeuwig te houden.
  • “Fixed” betekent niet “relevant”. De WordPress-image noemt linux-libc-dev, de kernel-headers – een container gebruikt de kernel van de host, de headers zijn er alleen om te compileren. Een kandidaat voor trivy_ignore, met precies die reden.

Er kwam meteen een vraag op: is er een nieuwere WordPress-image die de 32 bevindingen oplost? Nee. WordPress 7.1.3 is de huidige release, en de image 7.1.3-php8.4-fpm op de blog heeft dezelfde digest als die in de registry. Debian heeft de gefixte pakketten gepubliceerd, maar de officiële image is sindsdien niet opnieuw gebouwd. Een eigen image bouwen met een extra apt-get upgrade zou het vandaag oplossen – tegen de prijs van voor altijd een image-build onderhouden. Een paar dagen wachten op de officiële rebuild is de betere ruil.

Wat te doen met een mail

  1. Is de image upstream opnieuw gebouwd onder dezelfde tag? Dan lost de volgende update-run (image refresh) het op – of draai het update-playbook nu.
  2. Is er een nieuwere release? Verhoog dan de pin in versions.yml, bij voorkeur naar een die al een paar dagen oud is.
  3. Geen van beide? Dan is het een bevinding om te accepteren (met een reden in trivy_ignore) of een reden om de software te vervangen.

Kosten

De kwetsbaarhedendatabase en de laag-cache nemen ongeveer 1,6 GB in onder /var/cache/trivy. Een volledige nachtelijke run inclusief database-download kost op de blog minder dan een halve minuut CPU; latere runs hergebruiken de gecachete laaganalyse en duren een paar seconden. De scan draait met de laagste CPU- en I/O-prioriteit en een geheugenlimiet van 2 GB, dus hij kan de sites niet vertragen.

🆘 Cheat sheet: symptoom → commando

De korte versie van dit artikel voor het moment dat er iets mis is. Draai op de host als root; <…> zijn placeholders.

SymptoomCommando
Heeft de scan gedraaid?systemctl list-timers trivy-scan.timer
journalctl -u trivy-scan -n 20 | grep "images scanned"
Nu draaiensystemctl start trivy-scan.service
Wat staat er nu open?python3 -c 'import json; [print(v["severity"], v["id"], v["pkg"], v["image"]) for v in json.load(open("/var/lib/trivy/last-findings.json")).values()]' | sort
Eén image in detailtrivy image --image-src containerd --skip-db-update <image>:<tag>
Een mail over een CRITICAL bevinding# 1. rebuilt upstream under the same tag? -> next update run
# 2. newer release? -> raise the pin in versions.yml
# 3. neither -> trivy_ignore with a reason
Scanresultaten te oud(time() - trivy_last_run_timestamp_seconds) / 3600
Schijfruimte van de cachedu -sh /var/cache/trivy

🔭 Wat er nog komt

  • Een beslissing over de PHP-FPM-exporter vóór 20 januari 2027, als de acceptatie verloopt: twee eenmansforks zijn actief (één met automatische dependency-updates); anders de acceptatie verlengen.
  • Configuratiescans – in oktober 2026 één keer geprobeerd tegen de live manifests van de blog: 21 soorten bevindingen, bijna allemaal bewuste beslissingen (ingress op het host-netwerk, hostPath-volumes, images die als root draaien). Als CI-job zou het gerenderde templates en een lange ignore-lijst nodig hebben; voorlopig niet de moeite waard.
  • Secret scanning zit al in de CI: gitleaks controleert bij elke push de hele git-geschiedenis, naast de pre-commit-hook.
  • Een klein dashboard met de trend van openstaande bevindingen per image.

🎯 De lessen

  • Vastgepinde images verouderen stilletjes. De scan moet de draaiende images controleren, niet de lijst in de repository.
  • Sorteer bevindingen op wie ze kan oplossen, niet op hun aantal.
  • “Fixed in” telt zwaarder voor de beslissing dan de severity.
  • Geaccepteerde bevindingen krijgen een reden en een vervaldatum.
  • Ook de scanner zelf heeft een pin met checksum nodig – zijn eigen release-pipeline werd in 2026 gecompromitteerd.

⚖️ Alternatieven – en waarom Trivy

OptieSterk puntWaarom niet hier
Trivy OperatorContinu, resultaten als Kubernetes-resourcesController, CRD’s en scan-pods op één kleine node; uitzonderingen in image policy en NetworkPolicies.
Grype (Anchore)Snel, goede SBOM-integratie met SyftVergelijkbaar; Trivy leest containerd direct en dekt meer ecosystemen in één binary.
Registry-scanning (Harbor/Clair, Docker Scout, GitHub)Scant bij het pushenEr is hier geen eigen registry – de images komen van Docker Hub, Quay en registry.k8s.io zoals gepubliceerd.
dnf updateinfo / OpenSCAPExact voor de hostDekt alleen de host-pakketten, niet wat er in de images zit.
Trivy, als nachtelijke host-timerEén binary, leest de draaiende images uit containerd, metrics + mailGekozen.

Het punt van de tool is niet het getal dat hij rapporteert, maar het sorteren dat hij mogelijk maakt. 241 bevindingen klonken als een noodgeval. Gesorteerd op wie ze kan oplossen, werden het één echte beslissing, één image refresh – en veel wachten op upstream, wat de bestaande update-routine al afhandelt.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details