Terabytes aan persoonlijke data archiveren – mijn nerdy RAR + Bash-workflow

Illustratie: een man in een No Backup, No Mercy-T-shirt werkt op een laptop in een homelab

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

In de afgelopen decennia heb ik een paar terabyte aan persoonlijke data verzameld.

Vooral dingen als:

  • Foto’s
  • Muziek
  • Documenten
  • Video’s
  • Willekeurige projectbackups

Lange tijd stond alles op één centrale opslaglocatie op mijn NAS.

Dat werkte jarenlang prima… tot twee problemen steeds vervelender werden:

  • Backuptijden
  • Opslagbehoefte

Vooral als ik het onderliggende besturingssysteem van mijn NAS moest herinstalleren of vervangen,

kon het terugzetten van de volledige dataset vele uren duren.

Op een gegeven moment besefte ik: mijn datastrategie moest op de schop 🤓


Inhoud

Actieve data scheiden van archiefdata

Mijn huidige setup verdeelt data in twee categorieën.

Actieve data

Dit zijn bestanden die ik dagelijks of wekelijks gebruik.

Ze blijven op mijn NAS:

  • Wachtwoordkluis (KeePass)
  • Actuele documenten
  • Recente foto’s
  • Facturen voor de komende belastingaangiftes
  • Actieve projecten

Omdat de totale dataset veel kleiner werd, kon ik de opslaghardware vervangen:

Door de kleinere hoeveelheid data kon ik de eerder gebruikte HDD met hoge capaciteit vervangen door een veel snellere SSD met minder capaciteit.

Dat geeft me een veel betere responstijd voor de bestanden van alledag.


Archiefdata

Alles wat ik zelden nodig heb, is verhuisd naar een externe archiefschijf.

Voorbeelden:

  • Oude foto’s
  • Oude video’s
  • Afgeronde projecten
  • Historische documenten

Deze aanpak heeft meerdere voordelen:

  • Backups zijn veel sneller
  • De NAS bevat veel minder bestanden
  • De hardware-eisen zijn lager
  • Offline opslag verkleint het ransomwarerisico

Ook al vind ik dat risico persoonlijk vrij klein, een offline dataset

kan nooit kwaad 🙂.


Waarom veel kleine bestanden traag zijn op ext4

Tijdens het optimaliseren van mijn backups merkte ik iets interessants:

Veel kleine bestanden kopiëren is dramatisch trager dan een paar grote.

Dat gedrag is makkelijk te verklaren als je kijkt hoe ext4 werkt.

Elk bestand heeft een inode nodig

ext4 is een inode-gebaseerd bestandssysteem.

Voor elk afzonderlijk bestand moet het bestandssysteem:

  • een vrije inode vinden
  • de inode schrijven
  • een directory-entry aanmaken
  • datablokken toewijzen
  • metadata bijwerken

Voorbeeld:

1 file of 1 GB   → 1 inode
100,000 files of 10 KB → 100,000 inodes

Dat levert een enorme hoeveelheid metadata-I/O op.

Het resultaat:

  • meer disk seeks
  • meer journal-writes
  • meer metadata-operaties

Met andere woorden: heel veel piepkleine bestanden vertragen alles.


Oplossing: kleine bestanden bundelen in grote archieven

Om dit probleem aan te pakken besloot ik veel kleine afbeeldingsbestanden te bundelen in grote archiefbestanden.

Ik vroeg een AI om me te helpen een klein Bash-script te schrijven dat:

  • recursief mijn fotodirectory’s doorzoekt
  • de afbeeldingen in elke map verzamelt
  • een groot archiefbestand aanmaakt

Belangrijk detail:

Geen compressie.

JPEG-afbeeldingen zijn al gecomprimeerd, dus extra compressie heeft meestal geen zin en verspilt alleen CPU-cycli.


Waarom ik voor RAR koos

Sommigen zullen vragen: waarom RAR?

Simpel antwoord: jarenlange ervaring.

RAR biedt een paar functies die voor archieven ontzettend handig zijn:

Gesplitste archieven

Als een archief een ingestelde maximale grootte overschrijdt, maakt het automatisch volumes aan:

jpg_archive.part1.rar
jpg_archive.part2.rar
jpg_archive.part3.rar

Deze volumes horen bij elkaar en kunnen naadloos worden uitgepakt.

Recovery records

RAR kan herstelinformatie in het archief opslaan.

Dat kan helpen data terug te halen als:

  • een sector op de schijf slecht wordt
  • er bitrot optreedt
  • een archiefbestand gedeeltelijk beschadigd raakt

Voor archieven voor de lange termijn is die functie ontzettend waardevol.


De keerzijde

Natuurlijk heeft deze aanpak één nadeel.

Als ik bij één enkele foto wil, moet ik eerst:

  1. het archief uitpakken
  2. de afbeelding openen

Maar eerlijk is eerlijk:

Hoe vaak blader ik zomaar door een foto uit 2007?

Precies 🙂.


Backupstrategie

Uiteraard is de externe archiefschijf niet de enige kopie.

Ik houd meerdere kopieën bij:

  • een lokale backupschijf
  • nog een extra kopie
  • één off-site backup

Dat beschermt tegen:

  • hardwarefalen
  • per ongeluk verwijderen
  • brand of diefstal
  • bitrot

Het Bash-script

Hieronder staat het script dat ik gebruikte om afbeeldingsbestanden recursief in RAR-archieven te bundelen.

⚠️ Dit script kan bestanden verwijderen. Maak eerst een backup, probeer het op testdata en pas de paden aan je eigen omgeving aan.

#!/bin/bash

# Abort immediately on any error
set -e

# Base directory
BASE_DIR="/media/user3/MASTER/daten/bilder/"
LOG_FILE="$BASE_DIR/jpg_rar_log.txt"

if [[ -z "$BASE_DIR" ]]; then
    echo "Please provide the base directory as a parameter."
    exit 1
fi

# Check if RAR is installed
if ! command -v rar &> /dev/null; then
    echo "RAR is not installed. Please install it and try again."
    exit 1
fi

# Initialize logfile
echo "=== JPG RAR Archiving Log $(date) ===" > "$LOG_FILE"

# Recursive directory traversal
find "$BASE_DIR" -type d -print0 | while IFS= read -r -d '' DIR; do

    # Skip directory if RAR files already exist
    if find "$DIR" -maxdepth 1 -type f -iname "*.rar" -print -quit | grep -q .; then
        echo "[SKIP] '$DIR' already contains RAR files."
        echo "$(date) | $DIR | SKIPPED | Reason: RAR files present" >> "$LOG_FILE"
        continue
    fi

    # Count JPG files
    JPG_COUNT=$(find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) | wc -l)

    if [[ "$JPG_COUNT" -le 5 ]]; then
        echo "[SKIP] '$DIR' has only $JPG_COUNT JPGs."
        echo "$(date) | $DIR | SKIPPED | Reason: too few JPGs ($JPG_COUNT)" >> "$LOG_FILE"
        continue
    fi

    ARCHIVE_NAME="$DIR/jpg_archive.rar"
    echo "[PROCESS] '$DIR' → '$ARCHIVE_NAME' ($JPG_COUNT JPGs)"

    # Create archive (null-terminated to support special characters)
    if find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -print0 | \
       xargs -0 rar a -m0 -rr10p -v5000m -ep1 "$ARCHIVE_NAME"; then

        # Determine archive size in MB
        ARCHIVE_SIZE=$(du -m "$ARCHIVE_NAME" | cut -f1)

        # Delete original files
        find "$DIR" -maxdepth 1 -type f \( -iname "*.jpg" -o -iname "*.jpeg" \) -exec rm -f {} +

        echo "[DONE] Archive successfully created and originals removed."
        echo "$(date) | $DIR | SUCCESS | Archive: $ARCHIVE_NAME | Size: ${ARCHIVE_SIZE}MB | JPGs: $JPG_COUNT" >> "$LOG_FILE"
    else
        echo "[ERROR] Archiving failed, original files remain."
        echo "$(date) | $DIR | ERROR | Archive: $ARCHIVE_NAME | JPGs: $JPG_COUNT" >> "$LOG_FILE"
        exit 1
    fi

done

echo "Finished! Logfile: $LOG_FILE"

Belangrijke waarschuwing

⚠️ Ik neem absoluut geen verantwoordelijkheid voor wie dit script gebruikt.

Geautomatiseerd archiveren kan bij verkeerd gebruik tot dataverlies leiden.

Altijd:

  • eerst met kopieën testen
  • meerdere backups bewaren
  • je archieven verifiëren

Pas dan zou je moeten overwegen zoiets op echte data te draaien.


Volgend artikel

Na het archiveren van het grootste deel van mijn data heb ik nog een script gemaakt dat

automatisch alle RAR-bestanden scant en hun integriteit controleert.

Dat beschrijf ik in het volgende artikel 🙂.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details