Automatyczna weryfikacja wszystkich archiwów RAR skryptem w Bashu

Ilustracja: mężczyzna w koszulce No Backup, No Mercy uruchamia test backupu na laptopie

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

W moim poprzednim artykule opisałem, jak przeorganizowałem kilka terabajtów prywatnych danych i spakowałem duże kolekcje zdjęć do archiwów RAR.

To podejście drastycznie zmniejszyło liczbę małych plików w moim zbiorze danych i znacznie przyspieszyło backupy. Ale gdy zaczynasz polegać na archiwach przy długoterminowym przechowywaniu, w naturalny sposób pojawia się nowe pytanie:

Jak regularnie sprawdzać, czy wszystkie pliki archiwów są wciąż nienaruszone? 🤔

Dyski twarde się starzeją, SSD mogą paść, a cicha korupcja danych (bitrot) jest zawsze teoretycznie możliwa, gdy przechowujesz dane przez wiele lat.

Na szczęście narzędzia RAR mają wbudowane polecenia do testowania archiwów bez ich rozpakowywania. Ręczne uruchomienie testu jest proste:

rar t archive.rar

Ale robienie tego ręcznie dla setek czy tysięcy archiwów jest oczywiście niepraktyczne.

Napisałem więc mały skrypt w Bashu, który rekurencyjnie przeszukuje drzewo katalogów i weryfikuje każde znalezione archiwum RAR.


Spis treści

Co robi skrypt

  • Rekurencyjnie przeszukuje katalog z danymi
  • Rozpoznaje archiwa RAR jednowoluminowe i wielowoluminowe
  • Testuje tylko pierwszy wolumin archiwów wieloczęściowych
  • Najpierw wykonuje szybki skan nagłówków
  • Przeprowadza pełną weryfikację CRC
  • Zapisuje wszystkie wyniki do pliku logu
  • Wpisuje uszkodzone archiwa na osobną listę błędów
  • Uruchamia testy w równoległych wątkach, żeby było szybciej
  • Wyświetla wskaźnik postępu i ETA

Dzięki temu okresowa weryfikacja dużego zbioru archiwów staje się wykonalna bez ręcznego dotykania każdego pliku.


Skrypt

Poniżej skrypt w Bashu, którego obecnie używam do weryfikacji moich archiwów RAR.

#!/usr/bin/env bash

# ==========================================
# Configuration
# ==========================================

ERRORFILE="fehlerhafte_rars.txt"
LOGFILE="rar_test.log"
LISTFILE="$(mktemp)"

# Number of parallel jobs (adjust depending on storage speed)
THREADS=${THREADS:-4}

: > "$ERRORFILE"
: > "$LOGFILE"

echo "Searching for RAR archives..."

# ==========================================
# Build list of archives to test
# Only first volumes are included
# ==========================================

find /media/user3/MASTER/daten/ -type f \( -iname "*.rar" -o -iname "*.r[0-9][0-9]" \) | while read -r f
do
    base=$(basename "$f")

    # Detect modern multipart archives (.part01.rar)
    if [[ "$base" =~ \.part([0-9]+)\.rar$ ]]; then
        part="${BASH_REMATCH[1]}"

        # Only keep the first volume
        [[ "$part" != "01" && "$part" != "1" ]] && continue

        echo "$f"
        continue
    fi

    # Skip old multipart volumes (.r00 .r01 ...)
    if [[ "$base" =~ \.r[0-9][0-9]$ ]]; then
        continue
    fi

    # Normal archive or first volume of an old multipart set
    echo "$f"

done | sort -u > "$LISTFILE"

TOTAL=$(wc -l < "$LISTFILE") echo "Found archives: $TOTAL" echo "Parallel jobs: $THREADS" echo START=$(date +%s) COUNT=0 # ========================================== # Function: test archive # ========================================== test_archive() { file="$1" # Fast header scan (quickly checks archive structure) if ! unrar lt -idq "$file" >/dev/null 2>&1; then

        echo "$(date '+%F %T') | HEADER_ERROR | $file" >> "$LOGFILE"
        echo "$(date '+%F %T') | $file" >> "$ERRORFILE"
        return

    fi

    # Full CRC verification
    if unrar t -idq "$file" >/dev/null 2>&1; then

        echo "$(date '+%F %T') | OK | $file" >> "$LOGFILE"

    else

        echo "$(date '+%F %T') | CRC_ERROR | $file" >> "$LOGFILE"
        echo "$(date '+%F %T') | $file" >> "$ERRORFILE"

    fi
}

export -f test_archive
export ERRORFILE LOGFILE

# ==========================================
# Main loop with parallel execution
# ==========================================

while read -r file
do
    ((COUNT++))

    test_archive "$file" &

    # Limit number of parallel jobs
    if (( $(jobs -r | wc -l) >= THREADS )); then
        wait -n
    fi

    # Progress and ETA calculation
    now=$(date +%s)
    runtime=$((now-START))
    avg=$((runtime/COUNT))
    remain=$((TOTAL-COUNT))
    eta=$((remain*avg))

    printf "\rProgress: %d/%d | ETA %02d:%02d:%02d" \
        "$COUNT" "$TOTAL" \
        $((eta/3600)) $((eta%3600/60)) $((eta%60))

done < "$LISTFILE"

wait

echo
echo
echo "Finished."
echo "Error list: $ERRORFILE"
echo "Logfile: $LOGFILE"

Jak to działa

Skrypt przeprowadza weryfikację w dwóch etapach:

  • Skan nagłówków – szybko sprawdza strukturę archiwum
  • Pełny test CRC – sprawdza faktyczną zawartość plików

Jeśli archiwum nie przejdzie któregokolwiek z tych kroków, trafia do osobnego pliku błędów.

Ponieważ skrypt uruchamia kilka zadań weryfikacji równolegle, potrafi przetestować duże zbiory danych znacznie szybciej niż skan sekwencyjny.


Dlaczego weryfikacja archiwów ma znaczenie

Długoterminowe przechowywanie zawsze niesie pewne ryzyko. Okresowa weryfikacja archiwów pomaga wykryć problemy wcześnie, zanim backupy staną się bezużyteczne.

Zwłaszcza w przypadku danych przechowywanych przez wiele lat — jak rodzinne zdjęcia czy prywatne archiwa — okresowe sprawdzanie integralności to po prostu dobra praktyka.

No i oczywiście… automatyzowanie takich zadań w Bashu to połowa frajdy 🙂.

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły