Deep Dive: nftables – één eigen tabel, sets met timeouts en de 300 regels die K3s ernaast schrijft

Hoe nftables pakketten echt beoordeelt, waarom deze setup precies één tabel bezit en nooit de ruleset flusht, hoe fail2ban, portscan-detectie en het SSH-landenfilter kernel-sets delen – en vier bugs die de details leerden.

Illustratie voor de Deep Dive-serie

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Deep Dive in de serie rond de Ansible Tour. De tour legt de rollen uit, de deep dives de techniek eronder: hoe het werkt, waarom het hier zo wordt gebruikt en wat er onderweg misging.

nftables heeft iptables al jaren geleden in de kernel vervangen, maar de meeste handleidingen vertalen nog steeds oude iptables-regels regel voor regel en houden daar op. Dat werkt tot een tweede programma ook regels schrijft – en op een K3s-host doen er meerdere dat. Deze post legt het datamodel van nftables uit met de details die in de praktijk tellen, hoe de rol common_firewall één tabel bouwt voor de host, fail2ban, portscan-detectie en het SSH-landenfilter, wat K3s ernaast zet, en vier bugs uit de afgelopen maanden die elk een van die details op de harde manier leerden. De migratie zelf staat in een eerdere post, het landenfilter in nog een; deze gaat over hoe alles in elkaar past.

Inhoud

🧭 Hoe nftables beslist

Tabellen, chains, hooks

In iptables lagen de tabellen (filter, nat, mangle) en hun chains vast. In nftables is een tabel gewoon een namespace die je zelf aanmaakt, en die hoort bij een adresfamilie: ip, ip6, inet (beide), arp, bridge, netdev. Een chain ziet alleen pakketten als het een base chain is – een die aan een netfilter-hook hangt (prerouting, input, forward, output, postrouting) met een prioriteit en een policy. Gewone chains zonder hook worden alleen via jump of goto bereikt.

table inet filter {
  chain input {
    type filter hook input priority filter; policy drop;
    ...
  }
}

Prioriteiten: meerdere tabellen op één hook

Willekeurig veel base chains uit willekeurig veel tabellen kunnen aan dezelfde hook hangen. De kernel voert ze uit in volgorde van hun prioriteitsgetal – laagste eerst: raw is −300, connection tracking draait op −200, mangle −150, dstnat −100, filter 0, srcnat 100. Daaruit volgen twee feiten die je makkelijk mist:

  • Een accept is alleen definitief voor de eigen chain. Als onze input-chain een pakket accepteert, ziet de volgende base chain op dezelfde hook – bijvoorbeeld die van K3s – het nog steeds en kan hem droppen. Alleen een drop beëindigt de reis van het pakket overal.
  • Waar een chain zit ten opzichte van conntrack doet ertoe. Een chain op −300 draait vóór connection tracking en kan niet weten of een pakket een antwoord is. Een op −150 draait erna en kan ct state gebruiken. Een van de bugs hieronder kwam precies uit dit verschil.

Sets en maps

Sets zijn getypeerde verzamelingen (ipv4_addr, ipv6_addr, poortnummers, concatenaties) die in de kernel worden bewaard en in constante tijd worden opgezocht. Met flags interval bevatten ze bereiken, met flags timeout verloopt elk element vanzelf, en met flags dynamic kan de regel zelf elementen toevoegen vanuit het pakketpad (add @set, update @set). Daardoor werd ipset overbodig: een banlijst met 24 uur verlooptijd is drie regels.

Atomaire vervanging – en waarom “flush ruleset” gevaarlijk is

nft -f file past het hele bestand toe als één transactie: alles wordt geladen of niets, en er is geen moment zonder regels. Veel voorbeeldconfiguraties beginnen met flush ruleset. Op een host waar maar één programma regels schrijft is dat prima. Op een host waar kube-proxy, flannel en de Kubernetes network policy controller hun eigen tabellen bijhouden, verwijdert het ook hun regels – en dat merken ze pas bij hun volgende sync, seconden tot minuten later.

iptables-nft en iptables-legacy

De meeste Kubernetes-componenten spreken nog steeds iptables. Op huidige distributies is het iptables-commando iptables-nft: dezelfde syntax, maar het schrijft in nftables-tabellen met de namen ip filter, ip nat enzovoort, met een compatibiliteitslaag voor oude match-modules. De andere backend, iptables-legacy, schrijft in de oude x_tables-structuren van de kernel. Beide kunnen tegelijk actief zijn – en dan laat noch nft list ruleset noch iptables-legacy -L het hele plaatje zien.

🛡️ Waarom het hier staat

  • Eén leesbaar bestand voor IPv4 en IPv6 (table inet), geversioneerd in Git, gerenderd uit één template.
  • Standaard drop in beide richtingen. Inkomend alleen web, SSH en wat K3s nodig heeft; uitgaand alleen DNS, NTP, HTTP(S), mailsubmissie en het eigen verkeer van het cluster.
  • Banlijsten in de kernel met timeouts voor fail2ban, de portscan-detectie en de SSH-landen-allowlist – geen daemon in het pakketpad.

🔧 Wat deze repository doet

Eén eigen tabel

De rol rendert fw.nft.j2 naar /etc/sysconfig/nftables.conf – het bestand dat de nftables-unit op AlmaLinux echt leest (niet /etc/nftables.conf). Het bestand begint zo:

table inet filter
delete table inet filter

table inet filter {
  ...
}

De eerste regel maakt de tabel aan als hij nog niet bestaat (zodat de delete bij een verse boot niet kan falen), de tweede verwijdert hem met alles erin, daarna wordt hij opnieuw opgebouwd – alles in één transactie. Alleen onze tabel wordt vervangen; de tabellen van K3s blijven onaangeroerd. Een systemd drop-in begrenst de unit op dezelfde manier: ExecReload laadt het bestand, ExecStop draait nft delete table inet filter in plaats van de standaard flush van de distributie. Voordat het bestand het actieve vervangt, valideert Ansible de gerenderde kandidaat met nft -c -f; een syntaxfout bereikt de firewall nooit.

De les: op een host waar meerdere programma’s regels schrijven, vervang je alleen je eigen tabel – nooit de hele ruleset.

De input-chain, op volgorde

  1. Loopback, established/related, drop invalid; drop XMAS- en NULL-pakketten, reset SYN+ACK op nieuwe verbindingen, rate-limit RST’s.
  2. Eerst de banlijsten: f2b_<jail>4/6 (fail2ban, één paar per jail, met de bantijd van die jail), banned4/6 (handmatig, 24 u) en scanban4/6 (portscanners, 1 u) – vóór elke accept, dus een geband adres bereikt niets.
  3. K3s-uitzonderingen: pods mogen de API-server en kubelet bereiken (6443, 10250), de eigen HTTP(S) van de host voor de self-check van cert-manager, en op de Nextcloud-hosts MariaDB en Redis op de host.
  4. Private en gereserveerde bronbereiken van buiten droppen, het nuttige ICMP toestaan en de ICMPv6-types waar IPv6 niet zonder kan.
  5. Web op 80/443 (geen UDP 443 – de ingress controller heeft geen HTTP/3), SSH op 10022 alleen vanaf de landen-allowlist.
  6. Portscan-detectie: wat hier nog aankomt, staat op het punt de policy drop te raken – een gesloten poort. Een bron die meer dan 30 SYN’s per minuut naar gesloten poorten stuurt, wordt door de regel zelf aan scanban4 toegevoegd.
  7. Logregel met rate limit, policy drop.

fail2ban schrijft in dezelfde sets

fail2ban krijgt geen eigen tabel. Zijn action is twee regels:

actionban   = nft add element inet filter <nftset> { <ip> timeout <bantime>s }
actionunban = nft delete element inet filter <nftset> { <ip> } 2>/dev/null; true

Elke ban draagt zijn eigen timeout, dus hij verloopt in de kernel ook als fail2ban niet draait. Op de blog bevatten de fail2ban-sets op het moment van schrijven 22 adressen, de SSH-allowlist ssh_geo4 7.498 Duitse adresbereiken (met flags interval en auto-merge, wekelijks opgebouwd uit RIPE-data). Sinds 19 oktober 2026 bewaakt dezelfde lijst ook de WordPress-login: ssh-geo-update schrijft hem een tweede keer als nginx-geo-bestand, en nginx in de blog-pod beantwoordt /wp-login.php en /wp-admin/ met 403 voor alles daarbuiten. Sinds 20 oktober 2026 gaat dezelfde lijst ook naar de ingress controller op elke server, die buiten de lijst 403 geeft op /grafana.

Wat K3s ernaast schrijft

Op de blog toont nft list tables zeven tabellen. Alleen inet filter is van ons (49 regels). De rest komt van K3s via iptables-nft: ip filter met zo’n 190 regels – KUBE-SERVICES, KUBE-NODEPORTS, KUBE-PROXY-FIREWALL van kube-proxy en KUBE-ROUTER-*, KUBE-NWPLCY-* van de network policy controller plus één KUBE-POD-FW-*-chain per pod –, ip nat met zo’n 120 (Service-DNAT, masquerading van flannel) en kleine ip6-tabellen. Onze forward-chain hoeft daarom alleen het podnetwerk door te laten; of een pod met een andere pod mag praten, wordt beslist in de chains van K3s op dezelfde hook.

De les: onze 49 regels zijn het kleinere deel. Of een pakket erdoor komt, zie je pas als je naar elke tabel op dezelfde hook en zijn prioriteit kijkt.

🐛 Vier bugs, vier details

1. “flush ruleset” sloopte de Services

De eerste versie van de template begon met flush ruleset. Elke firewall-reload verwijderde ook de regels van kube-proxy en flannel; Nextcloud verloor 30 tot 90 seconden de verbinding met MariaDB en Redis via ClusterIP, tot kube-proxy opnieuw synchroniseerde. De fix is de tot de tabel beperkte delete hierboven.

De les: flush ruleset hoort alleen op hosts waar niemand anders regels schrijft.

2. Een reload hief stilletjes alle bans op

Onze tabel vervangen vervangt ook de bansets – leeg. fail2ban merkte het niet en hield de adressen als “geband” in zijn eigen database, terwijl de firewall ze weer binnenliet. Gevonden op 30 september 2026: na een playbook-run bestonden 15 van de 17 bans op de ene Nextcloud-server en 17 van de 24 op de andere alleen nog in fail2ban. De firewall-handler herstart fail2ban nu direct na elke reload (systemctl try-restart fail2ban), en fail2ban past elke nog actieve ban opnieuw toe vanuit zijn database.

De les: twee systemen die dezelfde state bijhouden, lopen uit elkaar. Sindsdien herstart een handler fail2ban na elke reload, wat de actieve bans opnieuw toepast, en Monit vergelijkt fail2ban met de sets.

3. De NodePort-chain dropte de antwoorden op ons eigen verkeer

kube-proxy maakt elke NodePort (30000–32767) bereikbaar op elk lokaal adres – ook het publieke – en dat verkeer wordt naar een pod geDNAT en passeert daarna de forward-chain, niet input. De exporters waren bereikbaar vanaf internet. De eerste fix was een chain op prioriteit raw (−300) die alles naar die poortrange op het publieke adres dropte. Het werkte – en dropte ook ongeveer 4 % van de antwoorden op uitgaande podverbindingen: flannel masqueradet podverkeer met --random-fully over de hele poortrange, dus sommige verbindingen kregen een bronpoort tussen 30000 en 32767, en hun SYN-ACK werd weggegooid voordat conntrack hem als antwoord kon herkennen. Symptoom gedurende twee maanden: sporadische timeouts naar GitHub en app stores vanaf elke K3s-host. De chain draait nu op −150, na conntrack, en dropt alleen ct state new.

De les: waar een chain zit ten opzichte van connection tracking bepaalt of hij antwoorden op ons eigen verkeer als zodanig herkent. Een blokkade op poorten die ook als bronpoort voorkomen, mag alleen nieuwe verbindingen raken.

4. De policy-engine die niets afdwong, en een te brede moduleblokkade

Twee maanden lang draaide Calico naast K3s als de vermeende NetworkPolicy-engine. Een deny-all-test op 19 oktober 2026 liet zien dat hij nooit ergens op matchte: Felix van Calico handelt alleen cali*-interfaces af – die van zijn eigen CNI – terwijl Flannel van K3s veth* aanmaakt. Alle handhaving kwam altijd al van de ingebouwde policy controller van K3s (de KUBE-NWPLCY-*-chains). Calico werd verwijderd; de blog, die tot dan iptables-legacy gebruikte, ging over op alleen nftables, en de legacy-tabelmodules werden geblokkeerd met install … /bin/false in modprobe.d. De eerste versie van die blokkade bevatte ook ip_tables en ip6_tables – na de volgende reboot raakte de policy controller van K3s in paniek, omdat iptables-nft de oude icmp-match nog via de compatibiliteitslaag gebruikt, en die heeft die modules nodig. De blog gaf ongeveer vijf minuten lang 502. Nu worden alleen de tabelmodules iptable_* en ip6table_* geblokkeerd.

De les: een bescherming werkt pas als een test laat zien dat hij iets blokkeert. Een deny-all-test vond in één middag wat twee maanden lezen niet had gevonden.

Het droplog lezen

Gedropte pakketten worden gelogd met de prefixen nftables DROP IN:, DROP FWD: en DROP OUT:, maximaal twee per minuut per chain. Sinds oktober 2026 zijn ze doorzoekbaar in Loki: {job="journal", transport="kernel"} |= "nftables DROP". Een DROP OUT-regel is de interessante – die betekent dat iets op de server ergens heen wilde verbinden waar het niet mag.

🆘 Spiekbriefje: symptoom → commando

De korte versie van dit artikel voor het moment dat er iets mis is. Uitvoeren op de host als root; <…> zijn placeholders.

SymptoomCommando
Is een adres geblokkeerd?nft get element inet filter f2b_<jail>4 '{ <ip> }' # "No such file" = not in the set
nft get element inet filter scanban4 '{ <ip> }'
SSH geweigerd vanaf een nieuw adresnft get element inet filter ssh_geo4 '{ <ip> }'
# outside the list: fw_ssh_geo_extra in the inventory
Een portscan-ban opheffennft delete element inet filter scanban4 '{ <ip> }'
Wat wordt er nu gedropt?journalctl -k --since -10min | grep "nftables DROP"
Alleen onze regels tonennft list table inet filter
Pods bereiken na een reload geen servicesnft list tables # are the K3s tables still there?
journalctl -u k3s --since -10min
Het bestand controleren vóór het ladennft -c -f /etc/sysconfig/nftables.conf
Eén pakket door alle chains volgennft add rule inet filter prerouting ip saddr <ip> meta nftrace set 1
nft monitor trace
Terug naar de stand in de repositoryansible-playbook <playbook>.yml -l <host> --tags common_firewall

🎯 De lessen

  • Vervang alleen je eigen tabel, atomair in één transactie.
  • Prioriteiten en de positie ten opzichte van connection tracking bepalen wat een chain überhaupt ziet.
  • Bans in de kernel met een timeout overleven een uitval van fail2ban – maar niet een reload van de tabel waarin ze wonen.
  • Waar twee systemen dezelfde state bijhouden, hoort een vergelijking in de monitoring.
  • Bewijs elke bescherming met een echte test, niet door de configuratie te lezen.

⚖️ Alternatieven – en waarom kale nftables

OptieSterk puntWaarom niet hier
iptables + ipsetWat de meeste Kubernetes-componenten nog sprekenTwee tools, aparte IPv4/IPv6-rulesets, geen atomaire vervanging van het hele bestand.
firewalldZones, runtime vs. permanent, fijne CLIBezit de ruleset en herschrijft hem; op K3s-hosts staat het bekend om ruzie met kube-proxy. Door de rol verwijderd.
eBPF (Cilium, XDP)Zeer snel, diepe Kubernetes-integratieEen ander operationeel model en een andere CNI – te veel voor drie single-node clusters.
Kale nftablesEén leesbaar bestand, atomair laden, kernel-sets, geen daemonGekozen.

De echte les van de afgelopen maanden is geen syntaxdetail. Het is dat een firewall op een Kubernetes-host nooit alleen is: elke aanname over wie welke regel schrijft, en in welke volgorde de kernel ze uitvoert, moet getest worden – een deny-all-test vond in één middag meer dan twee maanden configuratiebestanden lezen.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details