Arquivando terabytes de dados pessoais – meu workflow nerd com RAR + Bash

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski
Ao longo das últimas décadas acumulei alguns terabytes de dados pessoais.
Principalmente coisas como:
- Fotos
- Música
- Documentos
- Vídeos
- Backups aleatórios de projetos
Por muito tempo tudo ficava em um único local central de armazenamento no meu NAS.
Isso funcionou bem por anos… até que dois problemas ficaram cada vez mais irritantes:
- Tempo de backup
- Necessidade de armazenamento
Principalmente quando eu precisava reinstalar ou trocar o sistema operacional do NAS,
restaurar o conjunto completo de dados podia levar muitas horas.
Em algum momento percebi: minha estratégia de dados precisava ser repensada 🤓
Índice
Separando dados ativos de dados de arquivo
Meu setup atual separa os dados em duas categorias.
Dados ativos
São os arquivos que uso diariamente ou semanalmente.
Eles continuam no meu NAS:
- Cofre de senhas (KeePass)
- Documentos atuais
- Fotos recentes
- Notas fiscais para as próximas declarações de imposto
- Projetos ativos
Como o conjunto de dados ficou bem menor, pude trocar o hardware de armazenamento:
Graças à quantidade reduzida de dados, pude substituir o HDD de alta capacidade usado antes por um SSD bem mais rápido e de menor capacidade.
Isso me dá uma resposta muito melhor para os arquivos do dia a dia.
Dados de arquivo
Tudo o que raramente preciso foi movido para um disco externo de arquivo.
Exemplos:
- Fotos antigas
- Vídeos antigos
- Projetos concluídos
- Documentos históricos
Essa abordagem tem várias vantagens:
- Os backups ficam muito mais rápidos
- O NAS contém bem menos arquivos
- Os requisitos de hardware são menores
- O armazenamento offline reduz o risco de ransomware
Mesmo que eu pessoalmente considere esse risco bem pequeno, ter um conjunto de dados offline
nunca faz mal 🙂.
Por que muitos arquivos pequenos são lentos no ext4
Enquanto otimizava meus backups, notei algo interessante:
Copiar muitos arquivos pequenos é dramaticamente mais lento do que copiar poucos arquivos grandes.
Esse comportamento é fácil de explicar quando você olha como o ext4 funciona.
Cada arquivo precisa de um inode
O ext4 é um sistema de arquivos baseado em inodes.
Para cada arquivo, o sistema de arquivos precisa:
- encontrar um inode livre
- gravar o inode
- criar uma entrada de diretório
- alocar blocos de dados
- atualizar metadados
Exemplo:
1 file of 1 GB → 1 inode
100,000 files of 10 KB → 100,000 inodes
Isso gera uma quantidade enorme de I/O de metadados.
O resultado:
- mais seeks no disco
- mais gravações no journal
- mais operações de metadados
Em outras palavras: muitos arquivos minúsculos deixam tudo mais lento.
Solução: agrupar arquivos pequenos em arquivos grandes
Para resolver esse problema, decidi agrupar muitos arquivos de imagem pequenos em arquivos compactados grandes.
Pedi a uma IA que me ajudasse a escrever um pequeno script Bash que:
- percorre recursivamente meus diretórios de fotos
- reúne as imagens de cada pasta
- cria um arquivo grande
Detalhe importante:
Sem compressão.
Imagens JPEG já são comprimidas, então uma compressão adicional normalmente não adianta nada e só desperdiça ciclos de CPU.
Por que escolhi RAR
Alguns vão perguntar: por que RAR?
Resposta simples: experiência de longa data.
O RAR oferece alguns recursos extremamente úteis para arquivamento:
Arquivos divididos
Se um arquivo passa de um limite de tamanho configurado, ele cria volumes automaticamente:
jpg_archive.part1.rar
jpg_archive.part2.rar
jpg_archive.part3.rar
Esses volumes pertencem ao mesmo conjunto e podem ser extraídos sem problemas.
Recovery records
O RAR pode guardar informações de recuperação dentro do arquivo.
Isso pode ajudar a recuperar dados se:
- um setor do disco estragar
- ocorrer bitrot
- um arquivo ficar parcialmente corrompido
Para arquivos de longo prazo, esse recurso vale muito.
O preço
Claro que essa abordagem tem uma desvantagem.
Se eu quiser acessar uma única foto, primeiro preciso:
- extrair o arquivo
- abrir a imagem
Mas, sendo realista:
Com que frequência eu fico olhando aleatoriamente uma foto de 2007?
Exatamente 🙂.
Estratégia de backup
Naturalmente, o disco externo de arquivo não é a única cópia.
Mantenho várias cópias:
- um disco de backup local
- mais uma cópia adicional
- um backup off-site
Isso protege contra:
- falha de hardware
- exclusão acidental
- incêndio ou roubo
- bitrot
O script Bash
Abaixo está o script que usei para agrupar recursivamente arquivos de imagem em arquivos RAR.
⚠️ Este script pode apagar arquivos. Faça um backup antes, teste com dados de teste e adapte os caminhos ao seu próprio ambiente.
#!/bin/bash
# Abort immediately on any error
set -e
# Base directory
BASE_DIR="/media/user3/MASTER/daten/bilder/"
LOG_FILE="$BASE_DIR/jpg_rar_log.txt"
if [[ -z "$BASE_DIR" ]]; then
echo "Please provide the base directory as a parameter."
exit 1
fi
# Check if RAR is installed
if ! command -v rar &> /dev/null; then
echo "RAR is not installed. Please install it and try again."
exit 1
fi
# Initialize logfile
echo "=== JPG RAR Archiving Log $(date) ===" > "$LOG_FILE"
# Recursive directory traversal
find "$BASE_DIR" -type d -print0 | while IFS= read -r -d '' DIR; do
# Skip directory if RAR files already exist
if find "$DIR" -maxdepth 1 -type f -iname "*.rar" -print -quit | grep -q .; then
echo "[SKIP] '$DIR' already contains RAR files."
echo "$(date) | $DIR | SKIPPED | Reason: RAR files present" >> "$LOG_FILE"
continue
fi
# Count JPG files
JPG_COUNT=$(find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) | wc -l)
if [[ "$JPG_COUNT" -le 5 ]]; then
echo "[SKIP] '$DIR' has only $JPG_COUNT JPGs."
echo "$(date) | $DIR | SKIPPED | Reason: too few JPGs ($JPG_COUNT)" >> "$LOG_FILE"
continue
fi
ARCHIVE_NAME="$DIR/jpg_archive.rar"
echo "[PROCESS] '$DIR' → '$ARCHIVE_NAME' ($JPG_COUNT JPGs)"
# Create archive (null-terminated to support special characters)
if find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -print0 | \
xargs -0 rar a -m0 -rr10p -v5000m -ep1 "$ARCHIVE_NAME"; then
# Determine archive size in MB
ARCHIVE_SIZE=$(du -m "$ARCHIVE_NAME" | cut -f1)
# Delete original files
find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -exec rm -f {} +
echo "[DONE] Archive successfully created and originals removed."
echo "$(date) | $DIR | SUCCESS | Archive: $ARCHIVE_NAME | Size: ${ARCHIVE_SIZE}MB | JPGs: $JPG_COUNT" >> "$LOG_FILE"
else
echo "[ERROR] Archiving failed, original files remain."
echo "$(date) | $DIR | ERROR | Archive: $ARCHIVE_NAME | JPGs: $JPG_COUNT" >> "$LOG_FILE"
exit 1
fi
done
echo "Finished! Logfile: $LOG_FILE"
Aviso importante
⚠️ Não assumo absolutamente nenhuma responsabilidade por quem usar este script.
Arquivamento automatizado pode levar a perda de dados se usado de forma incorreta.
Sempre:
- teste primeiro com cópias
- mantenha vários backups
- verifique seus arquivos
Só então considere rodar algo assim em dados reais.
Próximo artigo
Depois de arquivar a maior parte dos meus dados, criei também outro script que
varre automaticamente todos os arquivos RAR e verifica a integridade deles.
Vou descrevê-lo no próximo artigo 🙂.
