Automatyczna weryfikacja wszystkich archiwów RAR skryptem w Bashu

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
W moim poprzednim artykule opisałem, jak przeorganizowałem kilka terabajtów prywatnych danych i spakowałem duże kolekcje zdjęć do archiwów RAR.
To podejście drastycznie zmniejszyło liczbę małych plików w moim zbiorze danych i znacznie przyspieszyło backupy. Ale gdy zaczynasz polegać na archiwach przy długoterminowym przechowywaniu, w naturalny sposób pojawia się nowe pytanie:
Jak regularnie sprawdzać, czy wszystkie pliki archiwów są wciąż nienaruszone? 🤔
Dyski twarde się starzeją, SSD mogą paść, a cicha korupcja danych (bitrot) jest zawsze teoretycznie możliwa, gdy przechowujesz dane przez wiele lat.
Na szczęście narzędzia RAR mają wbudowane polecenia do testowania archiwów bez ich rozpakowywania. Ręczne uruchomienie testu jest proste:
rar t archive.rar
Ale robienie tego ręcznie dla setek czy tysięcy archiwów jest oczywiście niepraktyczne.
Napisałem więc mały skrypt w Bashu, który rekurencyjnie przeszukuje drzewo katalogów i weryfikuje każde znalezione archiwum RAR.
Spis treści
Co robi skrypt
- Rekurencyjnie przeszukuje katalog z danymi
- Rozpoznaje archiwa RAR jednowoluminowe i wielowoluminowe
- Testuje tylko pierwszy wolumin archiwów wieloczęściowych
- Najpierw wykonuje szybki skan nagłówków
- Przeprowadza pełną weryfikację CRC
- Zapisuje wszystkie wyniki do pliku logu
- Wpisuje uszkodzone archiwa na osobną listę błędów
- Uruchamia testy w równoległych wątkach, żeby było szybciej
- Wyświetla wskaźnik postępu i ETA
Dzięki temu okresowa weryfikacja dużego zbioru archiwów staje się wykonalna bez ręcznego dotykania każdego pliku.
Skrypt
Poniżej skrypt w Bashu, którego obecnie używam do weryfikacji moich archiwów RAR.
#!/usr/bin/env bash
# ==========================================
# Configuration
# ==========================================
ERRORFILE="fehlerhafte_rars.txt"
LOGFILE="rar_test.log"
LISTFILE="$(mktemp)"
# Number of parallel jobs (adjust depending on storage speed)
THREADS=${THREADS:-4}
: > "$ERRORFILE"
: > "$LOGFILE"
echo "Searching for RAR archives..."
# ==========================================
# Build list of archives to test
# Only first volumes are included
# ==========================================
find /media/user3/MASTER/daten/ -type f \( -iname "*.rar" -o -iname "*.r[0-9][0-9]" \) | while read -r f
do
base=$(basename "$f")
# Detect modern multipart archives (.part01.rar)
if [[ "$base" =~ \.part([0-9]+)\.rar$ ]]; then
part="${BASH_REMATCH[1]}"
# Only keep the first volume
[[ "$part" != "01" && "$part" != "1" ]] && continue
echo "$f"
continue
fi
# Skip old multipart volumes (.r00 .r01 ...)
if [[ "$base" =~ \.r[0-9][0-9]$ ]]; then
continue
fi
# Normal archive or first volume of an old multipart set
echo "$f"
done | sort -u > "$LISTFILE"
TOTAL=$(wc -l < "$LISTFILE") echo "Found archives: $TOTAL" echo "Parallel jobs: $THREADS" echo START=$(date +%s) COUNT=0 # ========================================== # Function: test archive # ========================================== test_archive() { file="$1" # Fast header scan (quickly checks archive structure) if ! unrar lt -idq "$file" >/dev/null 2>&1; then
echo "$(date '+%F %T') | HEADER_ERROR | $file" >> "$LOGFILE"
echo "$(date '+%F %T') | $file" >> "$ERRORFILE"
return
fi
# Full CRC verification
if unrar t -idq "$file" >/dev/null 2>&1; then
echo "$(date '+%F %T') | OK | $file" >> "$LOGFILE"
else
echo "$(date '+%F %T') | CRC_ERROR | $file" >> "$LOGFILE"
echo "$(date '+%F %T') | $file" >> "$ERRORFILE"
fi
}
export -f test_archive
export ERRORFILE LOGFILE
# ==========================================
# Main loop with parallel execution
# ==========================================
while read -r file
do
((COUNT++))
test_archive "$file" &
# Limit number of parallel jobs
if (( $(jobs -r | wc -l) >= THREADS )); then
wait -n
fi
# Progress and ETA calculation
now=$(date +%s)
runtime=$((now-START))
avg=$((runtime/COUNT))
remain=$((TOTAL-COUNT))
eta=$((remain*avg))
printf "\rProgress: %d/%d | ETA %02d:%02d:%02d" \
"$COUNT" "$TOTAL" \
$((eta/3600)) $((eta%3600/60)) $((eta%60))
done < "$LISTFILE"
wait
echo
echo
echo "Finished."
echo "Error list: $ERRORFILE"
echo "Logfile: $LOGFILE"
Jak to działa
Skrypt przeprowadza weryfikację w dwóch etapach:
- Skan nagłówków – szybko sprawdza strukturę archiwum
- Pełny test CRC – sprawdza faktyczną zawartość plików
Jeśli archiwum nie przejdzie któregokolwiek z tych kroków, trafia do osobnego pliku błędów.
Ponieważ skrypt uruchamia kilka zadań weryfikacji równolegle, potrafi przetestować duże zbiory danych znacznie szybciej niż skan sekwencyjny.
Dlaczego weryfikacja archiwów ma znaczenie
Długoterminowe przechowywanie zawsze niesie pewne ryzyko. Okresowa weryfikacja archiwów pomaga wykryć problemy wcześnie, zanim backupy staną się bezużyteczne.
Zwłaszcza w przypadku danych przechowywanych przez wiele lat — jak rodzinne zdjęcia czy prywatne archiwa — okresowe sprawdzanie integralności to po prostu dobra praktyka.
No i oczywiście… automatyzowanie takich zadań w Bashu to połowa frajdy 🙂.
