Terabytes aan persoonlijke data archiveren – mijn nerdy RAR + Bash-workflow

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
In de afgelopen decennia heb ik een paar terabyte aan persoonlijke data verzameld.
Vooral dingen als:
- Foto’s
- Muziek
- Documenten
- Video’s
- Willekeurige projectbackups
Lange tijd stond alles op één centrale opslaglocatie op mijn NAS.
Dat werkte jarenlang prima… tot twee problemen steeds vervelender werden:
- Backuptijden
- Opslagbehoefte
Vooral als ik het onderliggende besturingssysteem van mijn NAS moest herinstalleren of vervangen,
kon het terugzetten van de volledige dataset vele uren duren.
Op een gegeven moment besefte ik: mijn datastrategie moest op de schop 🤓
Inhoud
Actieve data scheiden van archiefdata
Mijn huidige setup verdeelt data in twee categorieën.
Actieve data
Dit zijn bestanden die ik dagelijks of wekelijks gebruik.
Ze blijven op mijn NAS:
- Wachtwoordkluis (KeePass)
- Actuele documenten
- Recente foto’s
- Facturen voor de komende belastingaangiftes
- Actieve projecten
Omdat de totale dataset veel kleiner werd, kon ik de opslaghardware vervangen:
Door de kleinere hoeveelheid data kon ik de eerder gebruikte HDD met hoge capaciteit vervangen door een veel snellere SSD met minder capaciteit.
Dat geeft me een veel betere responstijd voor de bestanden van alledag.
Archiefdata
Alles wat ik zelden nodig heb, is verhuisd naar een externe archiefschijf.
Voorbeelden:
- Oude foto’s
- Oude video’s
- Afgeronde projecten
- Historische documenten
Deze aanpak heeft meerdere voordelen:
- Backups zijn veel sneller
- De NAS bevat veel minder bestanden
- De hardware-eisen zijn lager
- Offline opslag verkleint het ransomwarerisico
Ook al vind ik dat risico persoonlijk vrij klein, een offline dataset
kan nooit kwaad 🙂.
Waarom veel kleine bestanden traag zijn op ext4
Tijdens het optimaliseren van mijn backups merkte ik iets interessants:
Veel kleine bestanden kopiëren is dramatisch trager dan een paar grote.
Dat gedrag is makkelijk te verklaren als je kijkt hoe ext4 werkt.
Elk bestand heeft een inode nodig
ext4 is een inode-gebaseerd bestandssysteem.
Voor elk afzonderlijk bestand moet het bestandssysteem:
- een vrije inode vinden
- de inode schrijven
- een directory-entry aanmaken
- datablokken toewijzen
- metadata bijwerken
Voorbeeld:
1 file of 1 GB → 1 inode
100,000 files of 10 KB → 100,000 inodes
Dat levert een enorme hoeveelheid metadata-I/O op.
Het resultaat:
- meer disk seeks
- meer journal-writes
- meer metadata-operaties
Met andere woorden: heel veel piepkleine bestanden vertragen alles.
Oplossing: kleine bestanden bundelen in grote archieven
Om dit probleem aan te pakken besloot ik veel kleine afbeeldingsbestanden te bundelen in grote archiefbestanden.
Ik vroeg een AI om me te helpen een klein Bash-script te schrijven dat:
- recursief mijn fotodirectory’s doorzoekt
- de afbeeldingen in elke map verzamelt
- een groot archiefbestand aanmaakt
Belangrijk detail:
Geen compressie.
JPEG-afbeeldingen zijn al gecomprimeerd, dus extra compressie heeft meestal geen zin en verspilt alleen CPU-cycli.
Waarom ik voor RAR koos
Sommigen zullen vragen: waarom RAR?
Simpel antwoord: jarenlange ervaring.
RAR biedt een paar functies die voor archieven ontzettend handig zijn:
Gesplitste archieven
Als een archief een ingestelde maximale grootte overschrijdt, maakt het automatisch volumes aan:
jpg_archive.part1.rar
jpg_archive.part2.rar
jpg_archive.part3.rar
Deze volumes horen bij elkaar en kunnen naadloos worden uitgepakt.
Recovery records
RAR kan herstelinformatie in het archief opslaan.
Dat kan helpen data terug te halen als:
- een sector op de schijf slecht wordt
- er bitrot optreedt
- een archiefbestand gedeeltelijk beschadigd raakt
Voor archieven voor de lange termijn is die functie ontzettend waardevol.
De keerzijde
Natuurlijk heeft deze aanpak één nadeel.
Als ik bij één enkele foto wil, moet ik eerst:
- het archief uitpakken
- de afbeelding openen
Maar eerlijk is eerlijk:
Hoe vaak blader ik zomaar door een foto uit 2007?
Precies 🙂.
Backupstrategie
Uiteraard is de externe archiefschijf niet de enige kopie.
Ik houd meerdere kopieën bij:
- een lokale backupschijf
- nog een extra kopie
- één off-site backup
Dat beschermt tegen:
- hardwarefalen
- per ongeluk verwijderen
- brand of diefstal
- bitrot
Het Bash-script
Hieronder staat het script dat ik gebruikte om afbeeldingsbestanden recursief in RAR-archieven te bundelen.
⚠️ Dit script kan bestanden verwijderen. Maak eerst een backup, probeer het op testdata en pas de paden aan je eigen omgeving aan.
#!/bin/bash
# Abort immediately on any error
set -e
# Base directory
BASE_DIR="/media/user3/MASTER/daten/bilder/"
LOG_FILE="$BASE_DIR/jpg_rar_log.txt"
if [[ -z "$BASE_DIR" ]]; then
echo "Please provide the base directory as a parameter."
exit 1
fi
# Check if RAR is installed
if ! command -v rar &> /dev/null; then
echo "RAR is not installed. Please install it and try again."
exit 1
fi
# Initialize logfile
echo "=== JPG RAR Archiving Log $(date) ===" > "$LOG_FILE"
# Recursive directory traversal
find "$BASE_DIR" -type d -print0 | while IFS= read -r -d '' DIR; do
# Skip directory if RAR files already exist
if find "$DIR" -maxdepth 1 -type f -iname "*.rar" -print -quit | grep -q .; then
echo "[SKIP] '$DIR' already contains RAR files."
echo "$(date) | $DIR | SKIPPED | Reason: RAR files present" >> "$LOG_FILE"
continue
fi
# Count JPG files
JPG_COUNT=$(find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) | wc -l)
if [[ "$JPG_COUNT" -le 5 ]]; then
echo "[SKIP] '$DIR' has only $JPG_COUNT JPGs."
echo "$(date) | $DIR | SKIPPED | Reason: too few JPGs ($JPG_COUNT)" >> "$LOG_FILE"
continue
fi
ARCHIVE_NAME="$DIR/jpg_archive.rar"
echo "[PROCESS] '$DIR' → '$ARCHIVE_NAME' ($JPG_COUNT JPGs)"
# Create archive (null-terminated to support special characters)
if find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -print0 | \
xargs -0 rar a -m0 -rr10p -v5000m -ep1 "$ARCHIVE_NAME"; then
# Determine archive size in MB
ARCHIVE_SIZE=$(du -m "$ARCHIVE_NAME" | cut -f1)
# Delete original files
find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -exec rm -f {} +
echo "[DONE] Archive successfully created and originals removed."
echo "$(date) | $DIR | SUCCESS | Archive: $ARCHIVE_NAME | Size: ${ARCHIVE_SIZE}MB | JPGs: $JPG_COUNT" >> "$LOG_FILE"
else
echo "[ERROR] Archiving failed, original files remain."
echo "$(date) | $DIR | ERROR | Archive: $ARCHIVE_NAME | JPGs: $JPG_COUNT" >> "$LOG_FILE"
exit 1
fi
done
echo "Finished! Logfile: $LOG_FILE"
Belangrijke waarschuwing
⚠️ Ik neem absoluut geen verantwoordelijkheid voor wie dit script gebruikt.
Geautomatiseerd archiveren kan bij verkeerd gebruik tot dataverlies leiden.
Altijd:
- eerst met kopieën testen
- meerdere backups bewaren
- je archieven verifiëren
Pas dan zou je moeten overwegen zoiets op echte data te draaien.
Volgend artikel
Na het archiveren van het grootste deel van mijn data heb ik nog een script gemaakt dat
automatisch alle RAR-bestanden scant en hun integriteit controleert.
Dat beschrijf ik in het volgende artikel 🙂.
