Deep Dive: SELinux na hoście K3s – Type Enforcement i dwa razy, kiedy po cichu nic nie robił
Jak type enforcement w SELinux naprawdę podejmuje decyzje, jak ogranicza bloga i Nextcloud na K3s – i dwa prawdziwe przypadki, gdy był enforcing, ale nic nie chronił: MariaDB w initrc_t i pody bez container_t.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Deep Dive z serii wokół Ansible Tour. Tour objaśnia role, deep dive’y – technologię pod spodem: jak działa, dlaczego jest tu używana właśnie tak i co po drodze poszło nie tak.
SELinux to warstwa, którą większość administratorów najpierw wyłącza, a najpóźniej rozumie. Szkoda, bo to jedyna warstwa na tych serwerach, która wciąż trzyma, gdy proces został już przejęty – nawet taki działający jako root. Ten wpis najpierw wyjaśnia, jak SELinux podejmuje decyzje, z detalami, które liczą się w praktyce: typy, przejścia, kategorie i jak czytać denial. Potem przygląda się blogowi i dwóm serwerom Nextcloud: co jest ograniczone, jak, oraz dwa przypadki, w których SELinux był włączony, enforcing, a mimo to nic nie chronił – bo jeden szczegół gdzie indziej sprawił, że właściwe reguły nigdy nie zadziałały.
Spis treści
🧭 Jak SELinux podejmuje decyzje
Discretionary kontra mandatory
Klasyczne uprawnienia uniksowe są discretionary (uznaniowe): właściciel pliku decyduje, kto może go czytać, a root może wszystko. SELinux dokłada na wierzch warstwę mandatory (obowiązkową). Kernel przy każdej istotnej operacji pyta centralną politykę – otwarcie pliku, połączenie socketu, wysłanie sygnału, uruchomienie programu – a odpowiedź nie zależy od tego, kto jest właścicielem pliku ani czy proces jest rootem. Obie kontrole muszą powiedzieć tak. Serwer WWW działający jako root nadal nie przeczyta /etc/shadow, jeśli polityka nie pozwala jego typowi czytać typu tego pliku.
Etykiety: cztery pola, z których jedno robi prawie całą robotę
Każdy proces i każdy obiekt – plik, katalog, socket, port, a nawet własne struktury kernela – ma security context w postaci user:role:type:level. Na serwerze z polityką targeted, którą dostarcza AlmaLinux, trzy z czterech pól prawie nie mają znaczenia: user to niemal zawsze system_u albo unconfined_u, rola system_r albo object_r. Decyzje podejmuje type. W przypadku procesu type nazywa się jego domain.
$ ps -eZ | grep -E ' (mariadbd|redis-server|php-fpm)$'
system_u:system_r:mysqld_t:s0 ... mariadbd
system_u:system_r:redis_t:s0 ... redis-server
system_u:system_r:container_t:s0:c628,c864 ... php-fpm
$ ls -Zd /var/lib/mysql /var/lib/redis
unconfined_u:object_r:mysqld_db_t:s0 /var/lib/mysql
system_u:object_r:redis_var_lib_t:s0 /var/lib/redis
Etykiety plików są przechowywane w systemie plików jako rozszerzone atrybuty (security.selinux). Skąd plik bierze swoją etykietę – to źródło większości kłopotów z SELinux, więc warto znać trzy drogi: nowy plik dziedziczy typ katalogu nadrzędnego; reguła type transition w polityce może powiedzieć „pliki, które domain X tworzy w katalogu typu Y, dostają typ Z”; a restorecon ustawia etykiety z bazy file context – reguł w rodzaju /var/lib/mysql(/.*)? → mysqld_db_t, które dostarcza polityka i które rozszerza semanage fcontext. Przeniesienie pliku zachowuje etykietę; skopiowanie nadaje nową. Klasyk: plik konfiguracyjny przeniesiony z katalogu domowego do /etc, a potem nieczytelny dla swojej usługi.
Type enforcement
Polityka to w gruncie rzeczy duży zbiór reguł allow między typami: allow mysqld_t mysqld_db_t:file { read write open … }; – proces w domenie mysqld_t może czytać i zapisywać pliki typu mysqld_db_t. Czego nie dozwolono, jest zabronione. Polityka targeted na tych hostach zawiera grubo ponad sto tysięcy takich reguł, skompilowanych do binarki ładowanej do kernela; na całość składa się 439 modułów, od apache po zabbix. Sens nazwy „targeted”: ograniczane są tylko usługi z własnym modułem. Cała reszta działa w domenie unconfined, której wolno prawie wszystko – i właśnie tam, jak pokazuje drugi przypadek poniżej, rzeczy mogą prześlizgnąć się niezauważone.
Domain transitions – i dlaczego NoNewPrivileges może je zablokować
Proces dostaje swoją domenę przy execve(). Reguła type_transition init_t mysqld_exec_t:process mysqld_t mówi: gdy coś w init_t (systemd) uruchamia plik typu mysqld_exec_t, nowy proces działa w mysqld_t. Dlatego etykieta pliku wykonywalnego jest równie ważna jak etykieta danych: binarka mariadbd z etykietą bin_t nigdy nie weszłaby do swojej domeny.
Jest subtelna interakcja z opcją systemd, która poza tym jest czystym zyskiem dla hardeningu. NoNewPrivileges=yes ustawia flagę kernela PR_SET_NO_NEW_PRIVS: od tej chwili execve() nigdy nie może zyskać uprawnień – żadnego setuid, żadnych file capabilities. SELinux traktuje przejście między domenami także jako potencjalną zmianę uprawnień. Pod NNP pozwala na przejście tylko wtedy, gdy domena docelowa jest podzbiorem źródłowej (bounded) albo gdy polityka jawnie przyznaje nnp_transition dla tej pary. Jeśli żadne nie zachodzi, przejście zostaje odrzucone – a program dalej działa w domenie rodzica. Kilka innych opcji sandboxa systemd implikuje NNP, nie mówiąc o tym. Zapamiętaj to; to pierwszy przypadek poniżej.
MCS: pole level, które trzyma kontenery osobno
Czwarte pole, level, zwykle brzmi s0. Z Multi-Category Security może zawierać kategorie: s0:c628,c864. Proces może uzyskać dostęp do obiektu tylko wtedy, gdy jego kategorie dominują nad kategoriami obiektu: proces z c628,c864 może czytać plik z dokładnie tymi kategoriami albo plik bez żadnych (s0), ale nie plik z etykietą c53,c213. Container runtime’y wykorzystują to, by oddzielić kontenery dzielące jeden typ: każdy pod dostaje własną losową parę. Wszystkie 46 procesów kontenerowych na hoście Nextcloud działa jako container_t, a mimo to Collabora (c53,c213) nie może dotknąć plików kontenera PHP (c628,c864).
Łatwo przeoczyć jedną konsekwencję: katalog hosta zamontowany w podach i oznaczony container_file_t:s0 – bez kategorii – jest dostępny dla każdego kontenera. MCS izoluje własne systemy plików kontenerów, nie współdzielone wolumeny. Na tych serwerach każdy katalog HostPath należy do dokładnie jednej aplikacji, więc jest w porządku; na węźle multi-tenant by nie było.
Czytanie denialu
Gdy polityka mówi nie, kernel zapisuje do logu audytu komunikat AVC (access vector cache). Ten pochodzi z kontroli backupu narzędzia do integralności plików i zawiera wszystko, czego trzeba, by go zrozumieć:
type=AVC msg=audit(...): avc: denied { getattr } for pid=... comm="aide"
name="/" dev="vda2" scontext=system_u:system_r:aide_t:s0
tcontext=system_u:object_r:dosfs_t:s0 tclass=filesystem permissive=0
Czytaj to jak zdanie: proces aide, działający w domenie aide_t, chciał wykonać getattr na obiekcie klasy filesystem o typie dosfs_t – partycji EFI w vfat – i dostał odmowę (permissive=0). ausearch -m AVC -ts today znajduje takie komunikaty, audit2why wyjaśnia, której reguły brakuje albo który boolean by na to pozwolił. audit2allow -M napisałby moduł, który pozwala dokładnie na to, czego odmówiono – i to jest najniebezpieczniejsze polecenie w administracji SELinux, bo zamienia każdy symptom w uprawnienie, nie pytając, czy dostęp był uprawniony.
🛡️ Dlaczego jest włączony, wszędzie
Wszystkie trzy serwery działają z polityką targeted w trybie enforcing i każda rola to zakłada. Powodem jest model zagrożeń, a nie odhaczony checkbox. Realistyczny atak na bloga to podatna wtyczka WordPressa; na Nextcloud – złośliwy dokument wykorzystujący pakiet biurowy. W obu przypadkach atakujący kończy z wykonaniem kodu wewnątrz procesu PHP albo Collabory. Wszystko potem – bezpośrednie czytanie plików bazy, kradzież kluczy SSH, podrzucenie binarki na hosta, atak na drugą aplikację – zależy od tego, co temu procesowi wolno. Uprawnienia uniksowe niewiele tu pomagają; w kontenerze proces i tak często jest rootem. SELinux to warstwa, która mówi „nie” niezależnie od user ID.
- Worker PHP-FPM w
container_tmoże zapisywać tylkocontainer_file_t– własny wolumen. Polityka nie zawiera reguły pozwalającejcontainer_tczytaćshadow_t, więc/etc/shadowpozostaje poza zasięgiem nawet dla procesu roota, który wydostał się ze swojego mount namespace. - MariaDB hosta w
mysqld_tmoże czytać i zapisywać własnemysqld_db_t, bindować swój port i niewiele więcej. Przejęty serwer bazy danych nie przeczyta danych użytkowników Nextcloud w/data, które sącontainer_file_t. - Redis w
redis_ttak samo: własneredis_var_lib_t, swój port, swój socket. - Moduły kernela, surowe urządzenia, ptrace na inne domeny: domyślnie zabronione dla wszystkich.
Koszt jest niewielki, gdy etykiety są poprawne. Niemal każdy problem z SELinux na tych hostach był dotąd brakującą albo błędną etykietą, a nie brakującą regułą – a polityka dla baz danych, Redisa i kontenerów przychodzi gotowa z dystrybucją i container-selinux.
🔧 Co robi to repozytorium
common_selinux: enforcing i właściwe etykiety
Rola ustawia tryb enforcing z polityką targeted i nadaje etykiety katalogom hosta, które montują pody. Które katalogi – zależy od stacku: playbook ustawia zmienną stack, a słownik wybiera profil – web root i katalog bazy dla bloga, web root i dane użytkowników dla Nextcloud. Dla każdego katalogu rola dodaje trwałą regułę file context i ją stosuje.
Wniosek: Niemal każdy problem z SELinux był tu błędną etykietą, nie brakującą regułą. Etykieta należy do polityki jako trwała reguła, a nie do pliku przez chcon – inaczej następny relabel ją usunie.
Przypadek 1: baza danych, która była enforcing – i unconfined
We wrześniu drop-in systemd utwardził MariaDB hosta na serwerach Nextcloud: bez capabilities, system plików tylko do odczytu poza katalogiem danych, prywatny /tmp, filtr wywołań systemowych – i, jawnie oraz niejawnie, NoNewPrivileges. MariaDB wystartowała, Nextcloud działał, drop-in wyglądał na wyraźną poprawę. Pięć tygodni później rzut oka na działające procesy pokazał to:
$ ps -eZ | grep mariadbd
system_u:system_r:initrc_t:s0 ... mariadbd
initrc_t zamiast mysqld_t. Unit dystrybucji nie uruchamia mariadbd bezpośrednio, tylko przez /bin/sh -c, żeby najpierw odpalić helper odzyskiwania Galery. Shell działa w initrc_t; gdy uruchamia mariadbd, musi nastąpić przejście do mysqld_t – a pod NNP polityka nie pozwala na nie z initrc_t. Log audytu to mówił, przy każdym starcie, w linii, której nikt nie przeczytał: avc: denied { nnp_transition } … scontext=…initrc_t… tcontext=…mysqld_t… tclass=process2. Baza dalej działała w domenie shella, która jest znacznie mniej ograniczona. Od 11 września do 16 października MariaDB hosta w praktyce w ogóle nie była ograniczona przez SELinux.
Poprawka to jedna linia w drop-inie: uruchomić binarkę bezpośrednio, bez shella (Galera nie jest tu używana, więc helper nie ma nic do roboty):
ExecStart=
ExecStart=/usr/sbin/mariadbd $MYSQLD_OPTS $_WSREP_NEW_CLUSTER
Gdy uruchamia ją bezpośrednio systemd, przejście z init_t jest dozwolone, a ps -eZ znowu pokazuje mysqld_t. Najpierw przetestowałem to przez systemd-run z tymi samymi właściwościami, więc zmiany nigdy nie trzeba było próbować na produkcyjnej bazie.
Wniosek: „Enforcing” nie znaczy, że usługa jest ograniczona. Po każdej zmianie unitu ps -eZ pokazuje, w jakiej domenie proces naprawdę działa; systemctl status tego nie pokazuje.
Przypadek 2: pody, które nigdy nie działały jako container_t
Drugi przypadek jest większy. SELinux był enforcing na wszystkich trzech serwerach, katalogi hosta miały container_file_t, container-selinux był zainstalowany – a 19 października, w trakcie pisania tej serii, ps -eZ pokazał, że ani jeden pod nie działa jako container_t. Na blogu były to spc_t („super privileged container”, praktycznie unconfined), na serwerach Nextcloud unconfined_service_t.
Brakowało dwóch rzeczy. K3s uruchamia swój wbudowany containerd ze wsparciem SELinux tylko wtedy, gdy konfiguracja mówi selinux: true; w przeciwnym razie enable_selinux containerd ma wartość false i nigdy nie prosi polityki o etykietę kontenera. Do tego K3s potrzebuje własnego pakietu polityki, k3s-selinux, który nadaje binarce etykietę container_runtime_exec_t, żeby działała jako container_runtime_t. Na blogu skrypt instalacyjny kiedyś dodał ten pakiet; na serwerach Nextcloud binarka była zwykłym bin_t, więc systemd uruchamiał ją jako unconfined_service_t, a każde dziecko to dziedziczyło. Całe staranne etykietowanie wolumenów było przygotowaniem do kontroli, która nigdy się nie odbyła.
common_k3s robi teraz cztery rzeczy:
- dodaje podpisane repozytorium pakietów Ranchera i instaluje
k3s-selinux, - ustawia
selinux: truew/etc/rancher/k3s/config.yaml, - uruchamia
restorecon -v /usr/local/bin/k3spo każdym pobraniu binarki –get_urlpodmienia plik przez plik tymczasowy w tym samym katalogu, co daje nowej binarcebin_tkatalogu i po cichu cofnęłoby politykę przy następnym upgradzie, - i jednorazowo odtwarza wszystkie workloady, gdy jeszcze ani jeden pause container nie działa jako
container_t. Pody zachowują domenę, z którą wystartowały; sama zmiana konfiguracji nie ogranicza niczego, co już działa.
Potem obraz na serwerze Nextcloud: 46 procesów w container_t, każdy pod z własną parą kategorii, tylko uprzywilejowane pody w spc_t i ani jednego AVC – ani od Nextcloud, ani od Collabory z jej mount namespace’ami, ani od notify_push. Collabora była komponentem z największym potencjałem do kłopotów, bo dla każdego dokumentu buduje jail z bind mountami; container_t pozwala na operacje mount namespace, których potrzebuje.
Wniosek: Container runtime musi jawnie używać SELinux. Bez selinux: true w K3s każdy pod działał unconfined, choć wszystko inne było poprawne.
Przypadek 3, mały: jedna reguła dla AIDE
Narzędzie do sprawdzania integralności plików AIDE działa jako aide_t i przechodzi cały system plików. Partycja EFI to vfat (dosfs_t), a polityka nie pozwala aide_t do niej zaglądać. Wyłączenie /boot/efi z kontroli powstrzymało AIDE przed czytaniem plików, ale nie przed wywołaniem statfs() na punkcie montowania – 13 denialów na przebieg, każdej nocy. Najczystsza poprawka to lokalny moduł z dokładnie jedną regułą, budowany na hoście i ładowany tylko wtedy, gdy zmieni się jego źródło.
To kontrprzykład dla audit2allow: regułę napisałem ręcznie, po decyzji, że czytanie metadanych systemu plików jest uprawnione i nic więcej nie jest potrzebne. Od tego czasu trzy serwery nie logują żadnego AVC – co jest też warunkiem, by zauważyć następny prawdziwy.
Wniosek: audit2allow zapisuje to, czego odmówiono. Czy należy na to pozwolić, to decyzja człowieka, a regułę pisze się potem ręcznie.
Stack monitoringu: własne domeny – i ukryty denial
Prometheus, Grafana i exportery działały najpierw jako unconfined_service_t, bo polityka nie ma modułów dla programów w /usr/local/bin. Od 19 października mają własne domeny: małe lokalne moduły jak homelab_prometheus i homelab_grafana, zbudowane z makr reference policy. Jeden szczegół prawie powtórzył przypadek 1: unity działają z NoNewPrivileges, więc każdy moduł potrzebuje init_nnp_daemon_domain(). Bez tego Grafana została w init_t, nie mogła czytać własnej bazy i na blogu zniknęła na pięć minut. Monit celowo nie dostał domeny – uruchamia dowolne kontrole jako root – tylko sandbox systemd.
Reguły powstały w fazie uczenia w trybie permissive. Na blogu jeden dzień dał 82 703 denialów, które sprowadzały się do 203 różnych dostępów; z nich powstały przejrzane, ręcznie napisane reguły. Dwie niespodzianki po drodze: file context dla /run/grafana nigdy nie zadziałał, bo polityka wyszukuje ścieżki /run jako /var/run, a zalew komunikatów rotował audit.log co dwie godziny. Od 20 i 21 października wszystkie domeny działają w trybie enforcing. Dwa dni później w Grafanie brakowało wartości dysków: node_exporter nie miał prawa czytać /proc/1/mountinfo. Log audytu milczał, bo polityka dystrybucji tłumi dokładnie ten komunikat regułą dontaudit – także w fazie uczenia, która przez to po cichu na ten dostęp pozwalała. Pokazał to dopiero własny log exportera. semodule -DB tymczasowo wyłącza takie reguły, semodule -B je przywraca.
Wniosek: Brak AVC nie znaczy, że niczego nie odmówiono. Po przełączeniu na enforcing własny log usługi i jej metryki są częścią kontroli.
🆘 Ściągawka: symptom → polecenie
Krótka wersja tego artykułu na moment, gdy coś jest nie tak. Uruchamiaj na hoście jako root; <…> to placeholdery.
| Symptom | Polecenie |
|---|---|
| Coś pada z “Permission denied”, choć uprawnienia plików są w porządku | ausearch -m AVC -ts recentausearch -m AVC -ts recent | audit2why |
| Usługa “running”, ale w jakiej domenie? | ps -eZ | grep <name> # initrc_t or unconfined_service_t = not confined |
| Błędna etykieta na pliku | ls -Z <path>; matchpathcon <path>restorecon -Rv <path> # never chcon |
| Które etykiety zmieniłby relabel? | restorecon -Rnv /etc /srv /var/lib |
| Tryb i polityka | sestatussemanage permissive -l # domains still in the learning phase |
| Lokalne moduły | semodule -l | grep homelab_ |
| Czy konkretny dostęp jest dozwolony? | sesearch -A -s <source_t> -t <target_t> |
| Kontener nie może pisać do katalogu hosta | ls -Zd <dir> # container_file_t expected# add it to the stack profile in common_selinux, not by hand |
Kilka nawyków, które się sprawdziły:
- Po każdej zmianie unitu usługi sprawdź jej domenę, nie tylko status. Usługa „active (running)” w złej domenie wygląda na całkowicie zdrową.
- Traktuj każde AVC jako znalezisko. W spokojnym systemie są na tyle rzadkie, że da się przeczytać każde; w chwili, gdy zaakceptujesz tło znanych denialów, ten ważny w nim zniknie.
- Nowy katalog hosta dla poda? Dodaj go do profilu stacku w
common_selinux, nigdy nie etykietuj ręcznie. Katalogu backupu bloga dla joba aktualizacji brakowało w profilu do 19 października; działało to tylko dlatego, że pody nie były jeszcze ograniczone. - Tryb permissive dla pojedynczej domeny (
semanage permissive -a <domain>) to narzędzie do debugowania na minuty, a nie poprawka.setenforce 0na hoście produkcyjnym w ogóle nie wchodzi w grę. - Po aktualizacji polityki
semodule -lnadal wymienia lokalne moduły; jeśli moduł przestanie się kompilować z nową polityką,semodule -ipada głośno w przebiegu playbooka, a nie po cichu w trakcie działania.
🎯 Wnioski
- Błędna etykieta to najczęstsza przyczyna, brakująca reguła – najrzadsza.
- „Enforcing” nie znaczy ograniczony: sprawdzaj domenę każdego procesu przez
ps -eZ. NoNewPrivilegesi wiele opcji sandboxa systemd, które go implikują, może blokować przejścia między domenami.- Pisz reguły ręcznie, po decyzji – nigdy na ślepo przez
audit2allow -M. dontauditukrywa denialy. Po każdej zmianie czytaj też własny log usługi.
⚖️ Alternatywy – i dlaczego SELinux
| Opcja | Mocne strony | Dlaczego nie tutaj |
|---|---|---|
| AppArmor | Profile oparte na ścieżkach, łatwiejsze do czytania i pisania; domyślny w Debianie i Ubuntu | Nie jest natywnym wyborem w AlmaLinux; reguły oparte na ścieżkach są słabsze wobec hard linków i plików o zmienionej nazwie; brak separacji identycznych kontenerów w stylu MCS |
| Tylko seccomp | Filtruje wywołania systemowe, tani, już używany przez container runtime i unity systemd | Nie mówi nic o tym, które pliki czy sockety – uzupełnienie, nie zamiennik |
| Landlock | Nieuprzywilejowany sandboxing od środka aplikacji | Wymaga, żeby aplikacja go używała; żadna z tych tego nie robi |
| gVisor / Kata Containers | Drugi kernel albo granica VM na każdy pod | Dużo cięższe i przesada dla jednego zaufanego operatora na małym serwerze |
| Żaden MAC | Nic do nauki | Pierwszy przejęty proces ma wszystko, co ma root |
SELinux pasuje, bo już tam jest: AlmaLinux dostarcza dojrzałą politykę targeted, container-selinux integruje się z containerd, K3s przynosi własny pakiet polityki, a od administratorów systemów z rodziny RHEL oczekuje się, że go znają. Jego prawdziwym kosztem nie jest złożoność, tylko cisza – jak pokazują oba przypadki, może być włączony i nic nie robić, a nikt tego nie zauważy. Odpowiedzią na to nie jest wyłączenie go, tylko sprawdzanie, co naprawdę robi.
