Archiwizacja terabajtów prywatnych danych – mój nerdowski workflow z RAR + Bash

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Przez ostatnie dekady nazbierałem kilka terabajtów prywatnych danych.
Głównie takie rzeczy jak:
- Zdjęcia
- Muzyka
- Dokumenty
- Filmy
- Przypadkowe backupy projektów
Przez długi czas wszystko leżało w jednym centralnym miejscu na moim NAS-ie.
Przez lata działało to dobrze… aż dwa problemy zaczęły coraz bardziej irytować:
- Czas backupu
- Zapotrzebowanie na miejsce
Zwłaszcza gdy musiałem przeinstalować albo wymienić system operacyjny NAS-a,
odtworzenie całego zbioru danych mogło trwać wiele godzin.
W pewnym momencie zrozumiałem: moja strategia danych wymaga przemyślenia 🤓
Spis treści
Oddzielenie danych aktywnych od archiwalnych
Mój obecny setup dzieli dane na dwie kategorie.
Dane aktywne
To pliki, których używam codziennie albo co tydzień.
Zostają na moim NAS-ie:
- Sejf haseł (KeePass)
- Bieżące dokumenty
- Najnowsze zdjęcia
- Faktury do najbliższych zeznań podatkowych
- Aktywne projekty
Ponieważ cały zbiór danych mocno się zmniejszył, mogłem wymienić sprzęt do przechowywania:
Dzięki mniejszej ilości danych mogłem zastąpić używany wcześniej pojemny HDD znacznie szybszym SSD o mniejszej pojemności.
Dzięki temu pliki na co dzień reagują dużo szybciej.
Dane archiwalne
Wszystko, czego rzadko potrzebuję, trafiło na zewnętrzny dysk archiwalny.
Przykłady:
- Stare zdjęcia
- Stare filmy
- Zakończone projekty
- Dokumenty historyczne
To podejście ma kilka zalet:
- Backupy są dużo szybsze
- Na NAS-ie jest dużo mniej plików
- Wymagania sprzętowe są niższe
- Przechowywanie offline zmniejsza ryzyko ransomware
Nawet jeśli osobiście uważam to ryzyko za dość małe, zbiór danych offline
nigdy nie zaszkodzi 🙂.
Dlaczego wiele małych plików jest wolnych na ext4
Optymalizując backupy, zauważyłem coś ciekawego:
Kopiowanie wielu małych plików jest dramatycznie wolniejsze niż kopiowanie kilku dużych.
Łatwo to wyjaśnić, gdy spojrzy się, jak działa ext4.
Każdy plik potrzebuje inode’a
ext4 to system plików oparty na inode’ach.
Dla każdego pojedynczego pliku system plików musi:
- znaleźć wolny inode
- zapisać inode
- utworzyć wpis w katalogu
- przydzielić bloki danych
- zaktualizować metadane
Przykład:
1 file of 1 GB → 1 inode
100,000 files of 10 KB → 100,000 inodes
To generuje ogromną ilość I/O metadanych.
Skutek:
- więcej seeków dysku
- więcej zapisów do journala
- więcej operacji na metadanych
Innymi słowy: mnóstwo malutkich plików spowalnia wszystko.
Rozwiązanie: spakować małe pliki w duże archiwa
Żeby rozwiązać ten problem, postanowiłem spakować wiele małych plików graficznych w duże pliki archiwów.
Poprosiłem AI o pomoc w napisaniu małego skryptu w Bashu, który:
- rekurencyjnie przechodzi przez moje katalogi ze zdjęciami
- zbiera obrazy w każdym folderze
- tworzy jeden duży plik archiwum
Ważny szczegół:
Bez kompresji.
Obrazy JPEG są już skompresowane, więc dodatkowa kompresja zwykle nic nie daje i tylko marnuje cykle CPU.
Dlaczego wybrałem RAR
Niektórzy zapytają: dlaczego RAR?
Prosta odpowiedź: wieloletnie doświadczenie.
RAR ma kilka funkcji, które są niezwykle przydatne przy archiwach:
Archiwa dzielone
Jeśli archiwum przekroczy ustawiony limit rozmiaru, automatycznie tworzy woluminy:
jpg_archive.part1.rar
jpg_archive.part2.rar
jpg_archive.part3.rar
Te woluminy należą do siebie i można je bezproblemowo rozpakować.
Recovery records
RAR może przechowywać w archiwum informacje naprawcze.
Mogą one pomóc odzyskać dane, gdy:
- sektor dysku się zepsuje
- wystąpi bitrot
- plik archiwum zostanie częściowo uszkodzony
Przy archiwach długoterminowych ta funkcja jest niezwykle cenna.
Cena
Oczywiście to podejście ma jedną wadę.
Jeśli chcę dostać się do pojedynczego zdjęcia, muszę najpierw:
- rozpakować archiwum
- otworzyć obraz
Ale realnie:
Jak często przeglądam przypadkowe zdjęcie z 2007 roku?
No właśnie 🙂.
Strategia backupu
Oczywiście zewnętrzny dysk archiwalny nie jest jedyną kopią.
Trzymam kilka kopii:
- lokalny dysk backupowy
- jeszcze jedną dodatkową kopię
- jeden backup off-site
To chroni przed:
- awarią sprzętu
- przypadkowym usunięciem
- pożarem lub kradzieżą
- bitrotem
Skrypt w Bashu
Poniżej jest skrypt, którego użyłem do rekurencyjnego pakowania plików graficznych w archiwa RAR.
⚠️ Ten skrypt może usuwać pliki. Najpierw zrób backup, wypróbuj go na danych testowych i dostosuj ścieżki do własnego środowiska.
#!/bin/bash
# Abort immediately on any error
set -e
# Base directory
BASE_DIR="/media/user3/MASTER/daten/bilder/"
LOG_FILE="$BASE_DIR/jpg_rar_log.txt"
if [[ -z "$BASE_DIR" ]]; then
echo "Please provide the base directory as a parameter."
exit 1
fi
# Check if RAR is installed
if ! command -v rar &> /dev/null; then
echo "RAR is not installed. Please install it and try again."
exit 1
fi
# Initialize logfile
echo "=== JPG RAR Archiving Log $(date) ===" > "$LOG_FILE"
# Recursive directory traversal
find "$BASE_DIR" -type d -print0 | while IFS= read -r -d '' DIR; do
# Skip directory if RAR files already exist
if find "$DIR" -maxdepth 1 -type f -iname "*.rar" -print -quit | grep -q .; then
echo "[SKIP] '$DIR' already contains RAR files."
echo "$(date) | $DIR | SKIPPED | Reason: RAR files present" >> "$LOG_FILE"
continue
fi
# Count JPG files
JPG_COUNT=$(find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) | wc -l)
if [[ "$JPG_COUNT" -le 5 ]]; then
echo "[SKIP] '$DIR' has only $JPG_COUNT JPGs."
echo "$(date) | $DIR | SKIPPED | Reason: too few JPGs ($JPG_COUNT)" >> "$LOG_FILE"
continue
fi
ARCHIVE_NAME="$DIR/jpg_archive.rar"
echo "[PROCESS] '$DIR' → '$ARCHIVE_NAME' ($JPG_COUNT JPGs)"
# Create archive (null-terminated to support special characters)
if find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -print0 | \
xargs -0 rar a -m0 -rr10p -v5000m -ep1 "$ARCHIVE_NAME"; then
# Determine archive size in MB
ARCHIVE_SIZE=$(du -m "$ARCHIVE_NAME" | cut -f1)
# Delete original files
find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -exec rm -f {} +
echo "[DONE] Archive successfully created and originals removed."
echo "$(date) | $DIR | SUCCESS | Archive: $ARCHIVE_NAME | Size: ${ARCHIVE_SIZE}MB | JPGs: $JPG_COUNT" >> "$LOG_FILE"
else
echo "[ERROR] Archiving failed, original files remain."
echo "$(date) | $DIR | ERROR | Archive: $ARCHIVE_NAME | JPGs: $JPG_COUNT" >> "$LOG_FILE"
exit 1
fi
done
echo "Finished! Logfile: $LOG_FILE"
Ważne ostrzeżenie
⚠️ Nie biorę absolutnie żadnej odpowiedzialności za to, że ktoś używa tego skryptu.
Automatyczna archiwizacja użyta niewłaściwie może prowadzić do utraty danych.
Zawsze:
- najpierw testuj na kopiach
- trzymaj kilka backupów
- weryfikuj swoje archiwa
Dopiero wtedy rozważ uruchomienie czegoś takiego na prawdziwych danych.
Następny artykuł
Po zarchiwizowaniu większości danych napisałem też kolejny skrypt, który
automatycznie skanuje wszystkie pliki RAR i sprawdza ich integralność.
Opiszę go w następnym artykule 🙂.
