Deep Dive: SELinux em um host K3s – Type Enforcement e as duas vezes em que ele silenciosamente não fez nada
Como o type enforcement do SELinux realmente decide, como ele confina o blog e o Nextcloud no K3s – e dois casos reais em que estava enforcing, mas não protegia nada: um MariaDB em initrc_t e pods sem container_t.

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski
Deep Dive da série em torno do Ansible Tour. O tour explica as roles; os deep dives, a tecnologia por baixo: como funciona, por que é usada assim aqui e o que deu errado pelo caminho.
O SELinux é a camada que a maioria dos administradores desliga primeiro e entende por último. Uma pena, porque é a única camada nesses servidores que ainda segura quando um processo já foi tomado – mesmo um rodando como root. Este post explica primeiro como o SELinux decide, com os detalhes que importam na prática: types, transições, categorias e como ler um denial. Depois olha para o blog e os dois servidores Nextcloud: o que está confinado, como, e as duas ocasiões em que o SELinux estava ligado, enforcing, e mesmo assim não protegia nada – porque um único detalhe em outro lugar garantiu que as regras certas nunca fossem aplicadas.
Índice
🧭 Como o SELinux decide
Discricionário versus obrigatório
As permissões clássicas do Unix são discricionárias: o dono de um arquivo decide quem pode lê-lo, e o root pode tudo. O SELinux adiciona uma camada obrigatória (mandatory) por cima. O kernel consulta uma política central em cada operação relevante – abrir um arquivo, conectar um socket, enviar um sinal, executar um programa – e a resposta não depende de quem é o dono do arquivo nem de o processo ser root. As duas verificações precisam dizer sim. Um servidor web rodando como root ainda assim não consegue ler /etc/shadow se a política não permitir que o type dele leia o type desse arquivo.
Labels: quatro campos, um dos quais faz quase todo o trabalho
Todo processo e todo objeto – arquivo, diretório, socket, porta, até as estruturas do próprio kernel – carrega um security context no formato user:role:type:level. Em um servidor com a política targeted que o AlmaLinux traz, três dos quatro campos quase não importam: o user é quase sempre system_u ou unconfined_u, a role system_r ou object_r. Quem decide é o type. Para um processo, o type se chama domain.
$ ps -eZ | grep -E ' (mariadbd|redis-server|php-fpm)$'
system_u:system_r:mysqld_t:s0 ... mariadbd
system_u:system_r:redis_t:s0 ... redis-server
system_u:system_r:container_t:s0:c628,c864 ... php-fpm
$ ls -Zd /var/lib/mysql /var/lib/redis
unconfined_u:object_r:mysqld_db_t:s0 /var/lib/mysql
system_u:object_r:redis_var_lib_t:s0 /var/lib/redis
Os labels de arquivos ficam guardados como atributos estendidos (security.selinux) no sistema de arquivos. De onde vem o label de um arquivo é a origem da maioria dos problemas com SELinux, então vale conhecer os três caminhos: um arquivo novo herda o type do diretório pai; uma regra de type transition na política pode dizer “arquivos que o domain X cria em um diretório do type Y recebem o type Z”; e o restorecon define labels a partir do banco de file contexts – regras como /var/lib/mysql(/.*)? → mysqld_db_t, que a política traz e que o semanage fcontext estende. Mover um arquivo mantém o label; copiar dá um novo. Um arquivo de configuração movido de um diretório home para /etc e depois ilegível para o seu serviço é o clássico.
Type enforcement
A política é basicamente um grande conjunto de regras allow entre types: allow mysqld_t mysqld_db_t:file { read write open … }; – um processo no domain mysqld_t pode ler e escrever arquivos do type mysqld_db_t. O que não é permitido é negado. A política targeted nesses hosts contém bem mais de cem mil dessas regras, compiladas em um binário carregado no kernel; 439 módulos formam o todo, de apache a zabbix. O sentido do nome “targeted”: só serviços com módulo próprio são confinados. Todo o resto roda em um domain unconfined que pode quase tudo – e é exatamente aí, como mostra o segundo caso abaixo, que as coisas podem escapar sem ninguém perceber.
Domain transitions – e por que NoNewPrivileges pode impedi-las
Um processo recebe seu domain no execve(). A regra type_transition init_t mysqld_exec_t:process mysqld_t diz: quando algo em init_t (systemd) executa um arquivo do type mysqld_exec_t, o novo processo roda em mysqld_t. Por isso o label de um executável importa tanto quanto o label dos dados: um binário mariadbd com label bin_t nunca entraria no seu domain.
Há uma interação sutil com uma opção do systemd que, fora isso, é puro ganho de hardening. NoNewPrivileges=yes ativa a flag do kernel PR_SET_NO_NEW_PRIVS: a partir daí, execve() nunca pode ganhar privilégios – nada de setuid, nada de file capabilities. O SELinux também trata uma domain transition como uma possível mudança de privilégio. Sob NNP ele só permite uma transição se o domain de destino for um subconjunto do de origem (bounded) ou se a política conceder explicitamente nnp_transition para esse par. Se nenhum dos dois se aplica, a transição é recusada – e o programa continua rodando no domain do pai. Várias outras opções de sandbox do systemd implicam NNP sem dizer isso. Guarde isso; é o primeiro caso abaixo.
MCS: o campo level que mantém os containers separados
O quarto campo, o level, normalmente mostra s0. Com Multi-Category Security ele pode carregar categorias: s0:c628,c864. Um processo só pode acessar um objeto se as categorias dele dominarem as do objeto: um processo com c628,c864 pode ler um arquivo com exatamente essas categorias, ou um arquivo sem nenhuma (s0), mas não um arquivo com label c53,c213. Os container runtimes usam isso para separar containers que compartilham o mesmo type: cada pod recebe seu próprio par aleatório. Todos os 46 processos de container em um host Nextcloud rodam como container_t, e mesmo assim o Collabora (c53,c213) não consegue tocar nos arquivos do container PHP (c628,c864).
Uma consequência passa fácil despercebida: um diretório do host montado em pods e com label container_file_t:s0 – sem categorias – é acessível a todos os containers. O MCS isola os sistemas de arquivos próprios dos containers, não volumes compartilhados. Nesses servidores cada diretório HostPath pertence a exatamente uma aplicação, então tudo bem; em um node multi-tenant não estaria.
Lendo um denial
Quando a política diz não, o kernel escreve uma mensagem AVC (access vector cache) no log de auditoria. Esta veio da verificação de backup da ferramenta de integridade de arquivos, e contém tudo o que é preciso para entendê-la:
type=AVC msg=audit(...): avc: denied { getattr } for pid=... comm="aide"
name="/" dev="vda2" scontext=system_u:system_r:aide_t:s0
tcontext=system_u:object_r:dosfs_t:s0 tclass=filesystem permissive=0
Leia como uma frase: o processo aide, rodando no domain aide_t, queria getattr em um objeto da classe filesystem com type dosfs_t – a partição EFI em vfat – e foi recusado (permissive=0). ausearch -m AVC -ts today encontra essas mensagens, audit2why explica qual regra falta ou qual boolean permitiria o acesso. audit2allow -M escreveria um módulo que permite exatamente o que foi negado – e esse é o comando mais perigoso da administração de SELinux, porque transforma cada sintoma em permissão sem perguntar se o acesso era legítimo.
🛡️ Por que está ligado, em todo lugar
Os três servidores rodam a política targeted em modo enforcing, e todas as roles partem disso. O motivo é um modelo de ameaça, não um checkbox. O ataque realista contra um blog é um plugin vulnerável do WordPress; contra o Nextcloud, um documento malicioso que explora a suíte de escritório. Nos dois casos o atacante acaba com execução de código dentro de um processo PHP ou Collabora. Tudo o que vem depois – ler os arquivos do banco diretamente, roubar chaves SSH, plantar um binário no host, atacar a outra aplicação – depende do que esse processo pode fazer. Permissões Unix não ajudam muito ali; dentro de um container o processo muitas vezes é root de qualquer jeito. O SELinux é a camada que responde “não” independentemente de user IDs.
- Um worker PHP-FPM em
container_tsó consegue escrevercontainer_file_t– o próprio volume. A política não contém nenhuma regra que deixecontainer_tlershadow_t, então/etc/shadowfica fora de alcance até para um processo root que escapou do seu mount namespace. - O MariaDB do host em
mysqld_tpode ler e escrever o seu própriomysqld_db_t, fazer bind na sua porta e pouco mais. Um servidor de banco comprometido não consegue ler os dados dos usuários do Nextcloud em/data, que sãocontainer_file_t. - O Redis em
redis_tidem: seu próprioredis_var_lib_t, sua porta, seu socket. - Módulos de kernel, dispositivos raw, ptrace em outros domains: negados a todos eles por padrão.
O custo é pequeno quando os labels estão certos. Quase todo problema de SELinux nesses hosts até agora foi um label ausente ou errado, não uma regra ausente – e a política para bancos de dados, Redis e containers já vem pronta com a distribuição e o container-selinux.
🔧 O que este repositório faz
common_selinux: enforcing e os labels certos
A role define o modo enforcing com a política targeted e aplica labels nos diretórios do host que os pods montam. Quais diretórios depende da stack: o playbook define a variável stack, e um dicionário escolhe o perfil – web root e diretório do banco para o blog, web root e dados dos usuários para o Nextcloud. Para cada diretório ela adiciona uma regra de file context persistente e a aplica.
A lição: Quase todo problema de SELinux aqui foi um label errado, não uma regra ausente. Um label pertence à política como regra persistente, não ao arquivo via chcon – senão o próximo relabel o remove.
Caso 1: um banco de dados que estava enforcing – e unconfined
Em setembro, um drop-in do systemd endureceu o MariaDB do host nos servidores Nextcloud: sem capabilities, sistema de arquivos somente leitura exceto o diretório de dados, /tmp privado, um filtro de system calls – e, explícita e implicitamente, NoNewPrivileges. O MariaDB subiu, o Nextcloud funcionou, o drop-in parecia uma melhoria clara. Cinco semanas depois, uma olhada nos processos em execução mostrou isto:
$ ps -eZ | grep mariadbd
system_u:system_r:initrc_t:s0 ... mariadbd
initrc_t em vez de mysqld_t. A unit da distribuição não inicia o mariadbd diretamente, mas via /bin/sh -c, para rodar antes um helper de recuperação do Galera. O shell roda em initrc_t; quando ele executa o mariadbd, a transição para mysqld_t precisa acontecer – e sob NNP a política não a permite a partir de initrc_t. O log de auditoria dizia isso, a cada start, em uma linha que ninguém tinha lido: avc: denied { nnp_transition } … scontext=…initrc_t… tcontext=…mysqld_t… tclass=process2. O banco continuou rodando no domain do shell, que é bem menos restrito. De 11 de setembro até 16 de outubro o MariaDB do host efetivamente não esteve confinado pelo SELinux.
A correção é uma linha no drop-in: iniciar o binário diretamente, sem o shell (o Galera não é usado aqui, então o helper não tem nada a fazer):
ExecStart=
ExecStart=/usr/sbin/mariadbd $MYSQLD_OPTS $_WSREP_NEW_CLUSTER
Executado diretamente pelo systemd, a transição a partir de init_t é permitida, e ps -eZ volta a mostrar mysqld_t. Testei primeiro com systemd-run e as mesmas propriedades, então a mudança nunca precisou ser experimentada no banco de produção.
A lição: “Enforcing” não significa que um serviço está confinado. Depois de cada mudança em uma unit, ps -eZ mostra em qual domain o processo realmente roda; systemctl status não mostra.
Caso 2: pods que nunca rodaram como container_t
O segundo caso é maior. O SELinux estava enforcing nos três servidores, os diretórios do host tinham container_file_t, o container-selinux estava instalado – e em 19 de outubro, enquanto esta série era escrita, ps -eZ mostrou que nenhum pod rodava como container_t. No blog eles eram spc_t (“super privileged container”, praticamente unconfined), nos servidores Nextcloud unconfined_service_t.
Faltavam duas coisas. O K3s só inicia o seu containerd embutido com suporte a SELinux quando a configuração diz selinux: true; caso contrário o enable_selinux do containerd é false e ele nunca pede à política um label de container. E o K3s precisa do seu próprio pacote de política, k3s-selinux, que aplica ao binário o label container_runtime_exec_t para que ele rode como container_runtime_t. No blog o script de instalação tinha adicionado esse pacote uma vez; nos servidores Nextcloud o binário era simplesmente bin_t, então o systemd o iniciava como unconfined_service_t, e todo filho herdava isso. Todo o cuidadoso trabalho de labels nos volumes tinha sido preparação para uma verificação que nunca acontecia.
O common_k3s agora faz quatro coisas:
- adiciona o repositório de pacotes assinado da Rancher e instala o
k3s-selinux, - define
selinux: trueem/etc/rancher/k3s/config.yaml, - roda
restorecon -v /usr/local/bin/k3sdepois de cada download do binário – oget_urlsubstitui o arquivo através de um arquivo temporário no mesmo diretório, o que dá ao novo binário obin_tdo diretório e desfaria silenciosamente a política no próximo upgrade, - e recria todos os workloads uma vez, quando nem um único pause container roda ainda como
container_t. Pods mantêm o domain com que foram iniciados; uma mudança de configuração sozinha não confina nada que já está rodando.
Depois disso, o quadro em um servidor Nextcloud: 46 processos em container_t, cada pod com seu próprio par de categorias, só pods privilegiados em spc_t, e nenhum AVC – nem do Nextcloud, nem do Collabora com seus mount namespaces, nem do notify_push. O Collabora era o componente com mais potencial de dar problema, porque monta uma jail para cada documento com bind mounts; container_t permite as operações de mount namespace de que ele precisa.
A lição: Um container runtime precisa usar o SELinux explicitamente. Sem selinux: true no K3s, todo pod rodava unconfined, embora todo o resto estivesse certo.
Caso 3, pequeno: uma regra para o AIDE
O verificador de integridade de arquivos AIDE roda como aide_t e percorre o sistema de arquivos inteiro. A partição EFI é vfat (dosfs_t), e a política não deixa o aide_t olhar para ela. Excluir /boot/efi da verificação impediu o AIDE de ler os arquivos, mas não de chamar statfs() no ponto de montagem – 13 denials por execução, toda noite. A correção mais limpa é um módulo local com exatamente uma regra, construído no host e carregado só quando o seu código-fonte muda.
Esse é o contraexemplo do audit2allow: a regra foi escrita à mão, depois de decidir que ler metadados do sistema de arquivos é legítimo e nada mais é necessário. Desde então os três servidores não registram AVC nenhum – o que também é a condição para perceber o próximo de verdade.
A lição: O audit2allow anota o que foi negado. Se deve ser permitido é uma decisão humana, e a regra é então escrita à mão.
A stack de monitoramento: domains próprios – e um denial escondido
Prometheus, Grafana e os exporters rodavam primeiro como unconfined_service_t, porque a política não tem módulos para programas em /usr/local/bin. Desde 19 de outubro eles têm domains próprios: pequenos módulos locais como homelab_prometheus e homelab_grafana, construídos com as macros da reference policy. Um detalhe quase repetiu o caso 1: as units rodam com NoNewPrivileges, então todo módulo precisa de init_nnp_daemon_domain(). Sem isso o Grafana ficou em init_t, não conseguia ler o próprio banco de dados e sumiu do blog por cinco minutos. O Monit deliberadamente não ganhou domain – ele roda verificações arbitrárias como root –, mas sim um sandbox do systemd.
As regras vieram de uma fase de aprendizado em modo permissive. No blog, um dia produziu 82.703 denials, que se resumiam a 203 acessos distintos; eles viraram regras revisadas e escritas à mão. Duas surpresas no caminho: um file context para /run/grafana nunca era aplicado, porque a política procura caminhos /run como /var/run, e a enxurrada de mensagens rotacionava o audit.log a cada duas horas. Desde 20 e 21 de outubro todos os domains rodam enforcing. Dois dias depois, os valores de disco sumiram do Grafana: o node_exporter não tinha permissão para ler /proc/1/mountinfo. O log de auditoria não disse nada, porque a política da distribuição suprime exatamente essa mensagem com uma regra dontaudit – também na fase de aprendizado, que por isso permitiu o acesso em silêncio. Só o log do próprio exporter mostrou. semodule -DB desativa essas regras temporariamente, semodule -B as restaura.
A lição: Nenhum AVC não significa que nada é negado. Depois de mudar para enforcing, o log do próprio serviço e as suas métricas fazem parte da verificação.
🆘 Cola: sintoma → comando
A versão curta deste artigo para o momento em que algo está errado. Rode no host como root; <…> são placeholders.
| Sintoma | Comando |
|---|---|
| Algo falha com “Permission denied”, embora as permissões de arquivo estejam certas | ausearch -m AVC -ts recentausearch -m AVC -ts recent | audit2why |
| Serviço “running”, mas em qual domain? | ps -eZ | grep <name> # initrc_t or unconfined_service_t = not confined |
| Label errado em um arquivo | ls -Z <path>; matchpathcon <path>restorecon -Rv <path> # never chcon |
| Quais labels um relabel mudaria? | restorecon -Rnv /etc /srv /var/lib |
| Modo e política | sestatussemanage permissive -l # domains still in the learning phase |
| Módulos locais | semodule -l | grep homelab_ |
| Um acesso específico é permitido? | sesearch -A -s <source_t> -t <target_t> |
| Um container não consegue escrever em um diretório do host | ls -Zd <dir> # container_file_t expected# add it to the stack profile in common_selinux, not by hand |
Alguns hábitos que se provaram úteis:
- Depois de qualquer mudança em uma unit de serviço, verifique o domain, não só o status. Um serviço “active (running)” no domain errado parece perfeitamente saudável.
- Trate cada AVC como um achado. Em um sistema tranquilo eles são raros o bastante para ler um por um; no momento em que se aceita um fundo de denials conhecidos, o importante desaparece no meio.
- Novo diretório do host para um pod? Adicione ao perfil da stack no
common_selinux, nunca aplique o label à mão. O diretório de backup do blog para o job de update ficou fora do perfil até 19 de outubro; só funcionava porque os pods ainda não estavam confinados. - Modo permissive para um único domain (
semanage permissive -a <domain>) é uma ferramenta de depuração para minutos, não uma correção.setenforce 0em um host de produção não é opção de jeito nenhum. - Depois de uma atualização da política,
semodule -lainda lista os módulos locais; se um módulo deixar de compilar contra uma política nova, osemodule -ifalha ruidosamente na execução do playbook, não silenciosamente em tempo de execução.
🎯 As lições
- Um label errado é a causa mais comum, uma regra ausente a mais rara.
- “Enforcing” não significa confinado: verifique o domain de cada processo com
ps -eZ. NoNewPrivilegese as muitas opções de sandbox do systemd que o implicam podem impedir domain transitions.- Escreva regras à mão, depois de uma decisão – nunca às cegas com
audit2allow -M. dontauditesconde denials. Depois de cada mudança, leia também o log do próprio serviço.
⚖️ Alternativas – e por que SELinux
| Opção | Pontos fortes | Por que não aqui |
|---|---|---|
| AppArmor | Perfis baseados em caminhos, mais fáceis de ler e escrever; padrão no Debian e no Ubuntu | Não é a escolha nativa no AlmaLinux; regras baseadas em caminhos são mais fracas contra hard links e arquivos renomeados; nenhuma separação tipo MCS entre containers idênticos |
| Só seccomp | Filtra system calls, barato, já usado pelo container runtime e pelas units do systemd | Não diz nada sobre quais arquivos ou sockets – complementar, não substituto |
| Landlock | Sandboxing sem privilégios de dentro da aplicação | Exige que a aplicação o use; nenhuma destas usa |
| gVisor / Kata Containers | Um segundo kernel ou uma fronteira de VM por pod | Muito mais pesado, e exagero para um único operador confiável em um servidor pequeno |
| Nenhum MAC | Nada para aprender | O primeiro processo comprometido tem tudo o que o root tem |
O SELinux encaixa porque já está lá: o AlmaLinux traz uma política targeted madura, o container-selinux se integra ao containerd, o K3s traz o próprio pacote de política, e espera-se que administradores de sistemas da família RHEL o conheçam. O custo real não é a complexidade, mas o silêncio – como os dois casos mostram, ele pode estar ligado e não fazer nada sem que ninguém perceba. A resposta para isso não é desligá-lo, e sim verificar o que ele realmente está fazendo.
