Arquivando terabytes de dados pessoais – meu workflow nerd com RAR + Bash

Ilustração: um homem com uma camiseta No Backup, No Mercy trabalhando em um notebook em um homelab

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

Ao longo das últimas décadas acumulei alguns terabytes de dados pessoais.

Principalmente coisas como:

  • Fotos
  • Música
  • Documentos
  • Vídeos
  • Backups aleatórios de projetos

Por muito tempo tudo ficava em um único local central de armazenamento no meu NAS.

Isso funcionou bem por anos… até que dois problemas ficaram cada vez mais irritantes:

  • Tempo de backup
  • Necessidade de armazenamento

Principalmente quando eu precisava reinstalar ou trocar o sistema operacional do NAS,

restaurar o conjunto completo de dados podia levar muitas horas.

Em algum momento percebi: minha estratégia de dados precisava ser repensada 🤓


Índice

Separando dados ativos de dados de arquivo

Meu setup atual separa os dados em duas categorias.

Dados ativos

São os arquivos que uso diariamente ou semanalmente.

Eles continuam no meu NAS:

  • Cofre de senhas (KeePass)
  • Documentos atuais
  • Fotos recentes
  • Notas fiscais para as próximas declarações de imposto
  • Projetos ativos

Como o conjunto de dados ficou bem menor, pude trocar o hardware de armazenamento:

Graças à quantidade reduzida de dados, pude substituir o HDD de alta capacidade usado antes por um SSD bem mais rápido e de menor capacidade.

Isso me dá uma resposta muito melhor para os arquivos do dia a dia.


Dados de arquivo

Tudo o que raramente preciso foi movido para um disco externo de arquivo.

Exemplos:

  • Fotos antigas
  • Vídeos antigos
  • Projetos concluídos
  • Documentos históricos

Essa abordagem tem várias vantagens:

  • Os backups ficam muito mais rápidos
  • O NAS contém bem menos arquivos
  • Os requisitos de hardware são menores
  • O armazenamento offline reduz o risco de ransomware

Mesmo que eu pessoalmente considere esse risco bem pequeno, ter um conjunto de dados offline

nunca faz mal 🙂.


Por que muitos arquivos pequenos são lentos no ext4

Enquanto otimizava meus backups, notei algo interessante:

Copiar muitos arquivos pequenos é dramaticamente mais lento do que copiar poucos arquivos grandes.

Esse comportamento é fácil de explicar quando você olha como o ext4 funciona.

Cada arquivo precisa de um inode

O ext4 é um sistema de arquivos baseado em inodes.

Para cada arquivo, o sistema de arquivos precisa:

  • encontrar um inode livre
  • gravar o inode
  • criar uma entrada de diretório
  • alocar blocos de dados
  • atualizar metadados

Exemplo:

1 file of 1 GB   → 1 inode
100,000 files of 10 KB → 100,000 inodes

Isso gera uma quantidade enorme de I/O de metadados.

O resultado:

  • mais seeks no disco
  • mais gravações no journal
  • mais operações de metadados

Em outras palavras: muitos arquivos minúsculos deixam tudo mais lento.


Solução: agrupar arquivos pequenos em arquivos grandes

Para resolver esse problema, decidi agrupar muitos arquivos de imagem pequenos em arquivos compactados grandes.

Pedi a uma IA que me ajudasse a escrever um pequeno script Bash que:

  • percorre recursivamente meus diretórios de fotos
  • reúne as imagens de cada pasta
  • cria um arquivo grande

Detalhe importante:

Sem compressão.

Imagens JPEG já são comprimidas, então uma compressão adicional normalmente não adianta nada e só desperdiça ciclos de CPU.


Por que escolhi RAR

Alguns vão perguntar: por que RAR?

Resposta simples: experiência de longa data.

O RAR oferece alguns recursos extremamente úteis para arquivamento:

Arquivos divididos

Se um arquivo passa de um limite de tamanho configurado, ele cria volumes automaticamente:

jpg_archive.part1.rar
jpg_archive.part2.rar
jpg_archive.part3.rar

Esses volumes pertencem ao mesmo conjunto e podem ser extraídos sem problemas.

Recovery records

O RAR pode guardar informações de recuperação dentro do arquivo.

Isso pode ajudar a recuperar dados se:

  • um setor do disco estragar
  • ocorrer bitrot
  • um arquivo ficar parcialmente corrompido

Para arquivos de longo prazo, esse recurso vale muito.


O preço

Claro que essa abordagem tem uma desvantagem.

Se eu quiser acessar uma única foto, primeiro preciso:

  1. extrair o arquivo
  2. abrir a imagem

Mas, sendo realista:

Com que frequência eu fico olhando aleatoriamente uma foto de 2007?

Exatamente 🙂.


Estratégia de backup

Naturalmente, o disco externo de arquivo não é a única cópia.

Mantenho várias cópias:

  • um disco de backup local
  • mais uma cópia adicional
  • um backup off-site

Isso protege contra:

  • falha de hardware
  • exclusão acidental
  • incêndio ou roubo
  • bitrot

O script Bash

Abaixo está o script que usei para agrupar recursivamente arquivos de imagem em arquivos RAR.

⚠️ Este script pode apagar arquivos. Faça um backup antes, teste com dados de teste e adapte os caminhos ao seu próprio ambiente.

#!/bin/bash

# Abort immediately on any error
set -e

# Base directory
BASE_DIR="/media/user3/MASTER/daten/bilder/"
LOG_FILE="$BASE_DIR/jpg_rar_log.txt"

if [[ -z "$BASE_DIR" ]]; then
    echo "Please provide the base directory as a parameter."
    exit 1
fi

# Check if RAR is installed
if ! command -v rar &> /dev/null; then
    echo "RAR is not installed. Please install it and try again."
    exit 1
fi

# Initialize logfile
echo "=== JPG RAR Archiving Log $(date) ===" > "$LOG_FILE"

# Recursive directory traversal
find "$BASE_DIR" -type d -print0 | while IFS= read -r -d '' DIR; do

    # Skip directory if RAR files already exist
    if find "$DIR" -maxdepth 1 -type f -iname "*.rar" -print -quit | grep -q .; then
        echo "[SKIP] '$DIR' already contains RAR files."
        echo "$(date) | $DIR | SKIPPED | Reason: RAR files present" >> "$LOG_FILE"
        continue
    fi

    # Count JPG files
    JPG_COUNT=$(find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) | wc -l)

    if [[ "$JPG_COUNT" -le 5 ]]; then
        echo "[SKIP] '$DIR' has only $JPG_COUNT JPGs."
        echo "$(date) | $DIR | SKIPPED | Reason: too few JPGs ($JPG_COUNT)" >> "$LOG_FILE"
        continue
    fi

    ARCHIVE_NAME="$DIR/jpg_archive.rar"
    echo "[PROCESS] '$DIR' → '$ARCHIVE_NAME' ($JPG_COUNT JPGs)"

    # Create archive (null-terminated to support special characters)
    if find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -print0 | \
       xargs -0 rar a -m0 -rr10p -v5000m -ep1 "$ARCHIVE_NAME"; then

        # Determine archive size in MB
        ARCHIVE_SIZE=$(du -m "$ARCHIVE_NAME" | cut -f1)

        # Delete original files
        find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -exec rm -f {} +

        echo "[DONE] Archive successfully created and originals removed."
        echo "$(date) | $DIR | SUCCESS | Archive: $ARCHIVE_NAME | Size: ${ARCHIVE_SIZE}MB | JPGs: $JPG_COUNT" >> "$LOG_FILE"
    else
        echo "[ERROR] Archiving failed, original files remain."
        echo "$(date) | $DIR | ERROR | Archive: $ARCHIVE_NAME | JPGs: $JPG_COUNT" >> "$LOG_FILE"
        exit 1
    fi

done

echo "Finished! Logfile: $LOG_FILE"

Aviso importante

⚠️ Não assumo absolutamente nenhuma responsabilidade por quem usar este script.

Arquivamento automatizado pode levar a perda de dados se usado de forma incorreta.

Sempre:

  • teste primeiro com cópias
  • mantenha vários backups
  • verifique seus arquivos

Só então considere rodar algo assim em dados reais.


Próximo artigo

Depois de arquivar a maior parte dos meus dados, criei também outro script que

varre automaticamente todos os arquivos RAR e verifica a integridade deles.

Vou descrevê-lo no próximo artigo 🙂.

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes