Verificare automaticamente tutti gli archivi RAR con uno script Bash

Illustrazione: un uomo con una maglietta No Backup, No Mercy che esegue un test di backup al portatile

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski

Nel mio articolo precedente ho descritto come ho riorganizzato diversi terabyte di dati personali e raccolto grandi collezioni di foto in archivi RAR.

Questo approccio ha ridotto drasticamente il numero di piccoli file nel mio set di dati e ha reso i backup molto più veloci. Però, una volta che inizi ad affidarti agli archivi per la conservazione a lungo termine, sorge spontanea una nuova domanda:

Come verifichi regolarmente che tutti i file di archivio siano ancora integri? 🤔

Gli hard disk invecchiano, gli SSD possono guastarsi, e la corruzione silenziosa (bitrot) è sempre una possibilità teorica quando si conservano dati per molti anni.

Per fortuna, gli strumenti RAR includono comandi integrati per testare gli archivi senza estrarli. Lanciare un test a mano è facile:

rar t archive.rar

Ma farlo a mano per centinaia o migliaia di archivi è ovviamente impraticabile.

Così ho scritto un piccolo script Bash che scansiona ricorsivamente un albero di storage e verifica ogni archivio RAR che trova.


Indice

Cosa fa lo script

  • Scansiona ricorsivamente una directory di storage
  • Riconosce archivi RAR sia a volume singolo sia multivolume
  • Testa solo il primo volume degli archivi multiparte
  • Esegue prima una scansione rapida degli header
  • Esegue una verifica CRC completa
  • Registra tutti i risultati in un file di log
  • Scrive gli archivi difettosi in una lista di errori separata
  • Esegue i test in thread paralleli per andare più veloce
  • Mostra un indicatore di avanzamento e l’ETA

Questo rende pratico verificare periodicamente un grande set di archivi senza toccare a mano ogni file.


Lo script

Qui sotto lo script Bash che uso attualmente per verificare i miei archivi RAR.

#!/usr/bin/env bash

# ==========================================
# Configuration
# ==========================================

ERRORFILE="fehlerhafte_rars.txt"
LOGFILE="rar_test.log"
LISTFILE="$(mktemp)"

# Number of parallel jobs (adjust depending on storage speed)
THREADS=${THREADS:-4}

: > "$ERRORFILE"
: > "$LOGFILE"

echo "Searching for RAR archives..."

# ==========================================
# Build list of archives to test
# Only first volumes are included
# ==========================================

find /media/user3/MASTER/daten/ -type f \( -iname "*.rar" -o -iname "*.r[0-9][0-9]" \) | while read -r f
do
    base=$(basename "$f")

    # Detect modern multipart archives (.part01.rar)
    if [[ "$base" =~ \.part([0-9]+)\.rar$ ]]; then
        part="${BASH_REMATCH[1]}"

        # Only keep the first volume
        [[ "$part" != "01" && "$part" != "1" ]] && continue

        echo "$f"
        continue
    fi

    # Skip old multipart volumes (.r00 .r01 ...)
    if [[ "$base" =~ \.r[0-9][0-9]$ ]]; then
        continue
    fi

    # Normal archive or first volume of an old multipart set
    echo "$f"

done | sort -u > "$LISTFILE"

TOTAL=$(wc -l < "$LISTFILE") echo "Found archives: $TOTAL" echo "Parallel jobs: $THREADS" echo START=$(date +%s) COUNT=0 # ========================================== # Function: test archive # ========================================== test_archive() { file="$1" # Fast header scan (quickly checks archive structure) if ! unrar lt -idq "$file" >/dev/null 2>&1; then

        echo "$(date '+%F %T') | HEADER_ERROR | $file" >> "$LOGFILE"
        echo "$(date '+%F %T') | $file" >> "$ERRORFILE"
        return

    fi

    # Full CRC verification
    if unrar t -idq "$file" >/dev/null 2>&1; then

        echo "$(date '+%F %T') | OK | $file" >> "$LOGFILE"

    else

        echo "$(date '+%F %T') | CRC_ERROR | $file" >> "$LOGFILE"
        echo "$(date '+%F %T') | $file" >> "$ERRORFILE"

    fi
}

export -f test_archive
export ERRORFILE LOGFILE

# ==========================================
# Main loop with parallel execution
# ==========================================

while read -r file
do
    ((COUNT++))

    test_archive "$file" &

    # Limit number of parallel jobs
    if (( $(jobs -r | wc -l) >= THREADS )); then
        wait -n
    fi

    # Progress and ETA calculation
    now=$(date +%s)
    runtime=$((now-START))
    avg=$((runtime/COUNT))
    remain=$((TOTAL-COUNT))
    eta=$((remain*avg))

    printf "\rProgress: %d/%d | ETA %02d:%02d:%02d" \
        "$COUNT" "$TOTAL" \
        $((eta/3600)) $((eta%3600/60)) $((eta%60))

done < "$LISTFILE"

wait

echo
echo
echo "Finished."
echo "Error list: $ERRORFILE"
echo "Logfile: $LOGFILE"

Come funziona

Lo script esegue due fasi di verifica:

  • Scansione degli header – verifica rapidamente la struttura dell’archivio
  • Test CRC completo – verifica il contenuto effettivo dei file

Se un archivio non supera uno dei due passi, viene scritto in un file di errori separato.

Siccome lo script esegue più job di verifica in parallelo, può testare grandi set di dati molto più in fretta di una scansione sequenziale.


Perché la verifica degli archivi conta

La conservazione a lungo termine comporta sempre qualche rischio. Una verifica periodica degli archivi aiuta a individuare i problemi presto, prima che i backup diventino inutilizzabili.

Soprattutto per i dati conservati per molti anni — come le foto di famiglia o gli archivi personali — eseguire periodicamente un controllo d’integrità è semplicemente buona pratica.

E ovviamente… automatizzare compiti del genere con Bash è metà del divertimento 🙂.

Alcuni testi e immagini di questo sito sono creati con l’aiuto dell’IA o generati dall’IA. Dettagli