Zastąpienie cron jobów Jenkinsem przy backupach Nextclouda 🚀

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Dziś spędziłem trochę czasu na poznawaniu Jenkinsa w moim homelabie.
Dla tych, którym jakimś cudem udało się uniknąć Jenkinsa przez ostatnią dekadę: Jenkins to jeden z najpowszechniej używanych dziś serwerów automatyzacji open source. Wydany pierwotnie w 2011 roku jako fork projektu Hudson, stał się jednym z filarów nowoczesnych przepływów pracy DevOps. Służy głównie do Continuous Integration (CI) i Continuous Delivery (CD) — automatyzuje buildy oprogramowania, testy, wdrożenia i wszelkiego rodzaju powtarzalne zadania administracyjne. Jeśli jakiś proces da się zautomatyzować, Jenkins prawdopodobnie sobie z nim poradzi. 😎
Do tej pory używałem w homelabie dwóch klasycznych cron jobów. Ich zadanie jest dość proste: co noc za pomocą rsync robią backupy dwóch instancji Nextclouda wystawionych do internetu.
Ten układ od dłuższego czasu działa bez zarzutu. Jednak jeśli chodzi o monitoring i logowanie, cron to wciąż przede wszystkim narzędzie miłośników wiersza poleceń i weteranów Uniksa. Zwykle kończysz na przekopywaniu plików logów, ręcznym sprawdzaniu, czy zadania wykonały się poprawnie, i od czasu do czasu zastanawiasz się, czy nieudany backup był trzy dni, czy trzy tygodnie temu.
Oczywiście cron jest niesamowicie niezawodny i lekki. Ale bądźmy szczerzy: nie oferuje akurat najnowocześniejszego doświadczenia użytkownika.
Ponieważ Jenkins najpewniej odegra w przyszłości większą rolę w moim środowisku zawodowym, postanowiłem wreszcie wdrożyć go również w homelabie i zdobyć praktyczne doświadczenie.
Warto wspomnieć, że Jenkins działa na tej samej maszynie, na której stoi już GitLab. Ponieważ GitLab nasłuchuje już na porcie TCP 8080, Jenkinsa trzeba było skonfigurować na port TCP 8090.
Obecna konfiguracja Jenkinsa
Na razie konfiguracja Jenkinsa jest celowo prosta.
Utworzyłem dwa zadania typu Freestyle Project. Podobnie jak w poprzednim układzie z cronem, każde zadanie ma własny harmonogram określający, kiedy ma się uruchomić. Sama operacja backupu to nic więcej niż wykonanie lokalnego skryptu powłoki.
Jak dotąd wszystko działa bezbłędnie. Jenkins zapewnia wygodny interfejs webowy, w którym od razu widzę, czy zadania wykonały się poprawnie, kiedy zostały uruchomione, ile trwały i jaki dały output.
W porównaniu z ręcznym przeglądaniem logów crona to już spora poprawa komfortu życia. 😊
Potrzebna była jeszcze jedna poprawka. Jenkins działa na swoim dedykowanym koncie usługi jenkins, a moje skrypty backupu oczekują uruchomienia jako użytkownik user3. Zamiast przeprojektowywać uprawnienia i właścicieli plików, po prostu skonfigurowałem krok builda tak, by uruchamiał skrypty przez sudo -u user3. Dzięki temu Jenkins odpowiada za planowanie i monitorowanie zadań, a właściwa logika backupu działa na koncie, które już ma dostęp do potrzebnych plików i katalogów. 😎
Eksport konfiguracji zadań jako XML
Szczególnie przydatną funkcją, którą odkryłem, jest to, że Jenkins pozwala wyeksportować konfigurację każdego zadania jako XML.
Żeby pobrać konfigurację zadania, wystarczy dopisać /config.xml do URL-a zadania i uwierzytelnić się prawidłowym kontem użytkownika Jenkinsa:
curl -u <user>:<password> \
http://192.168.10.x:8090/job/Backup-InstanceB/config.xml
Co ciekawe, bezpośredni dostęp do konfiguracji XML przez przeglądarkę u mnie nie działał. Natomiast curl z wiersza poleceń zadziałał idealnie.
Wynikowy XML zawiera pełną definicję zadania, co czyni go przydatnym nie tylko do dokumentacji, ale też jako lekki backup konfiguracji Jenkinsa.
Konfiguracja Backup-InstanceA
user3@hp1:~$ curl -u <user>:<password> http://192.168.10.x:8090/job/Backup-InstanceA/config.xml
<?xml version='1.1' encoding='UTF-8'?>
<project>
<actions/>
<description>rsync</description>
<keepDependencies>false</keepDependencies>
<properties/>
<scm class="hudson.scm.NullSCM"/>
<canRoam>true</canRoam>
<disabled>false</disabled>
<blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding>
<blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding>
<triggers>
<hudson.triggers.TimerTrigger>
<spec>H 1 * * *</spec>
</hudson.triggers.TimerTrigger>
</triggers>
<concurrentBuild>false</concurrentBuild>
<builders>
<hudson.tasks.Shell>
<command>sudo -u user3 /raid5/shared/shared/ablage/nextcloud_backup_and_restore/instance-a_backup_nextcloud_remote.sh</command>
<configuredLocalRules/>
</hudson.tasks.Shell>
</builders>
<publishers/>
<buildWrappers/>
</project>
Konfiguracja Backup-InstanceB
user3@hp1:~$ curl -u <user>:<password> http://192.168.10.x:8090/job/Backup-InstanceB/config.xml
<?xml version='1.1' encoding='UTF-8'?>
<project>
<description>rsync</description>
<keepDependencies>false</keepDependencies>
<properties/>
<scm class="hudson.scm.NullSCM"/>
<canRoam>true</canRoam>
<disabled>false</disabled>
<blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding>
<blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding>
<triggers>
<hudson.triggers.TimerTrigger>
<spec>H 2 * * *</spec>
</hudson.triggers.TimerTrigger>
</triggers>
<concurrentBuild>false</concurrentBuild>
<builders>
<hudson.tasks.Shell>
<command>sudo -u user3 /raid5/shared/shared/ablage/nextcloud_backup_and_restore/sofie_backup_nextcloud_remote.sh</command>
<configuredLocalRules/>
</hudson.tasks.Shell>
</builders>
<publishers/>
<buildWrappers/>
</project>
Podsumowanie
Z czysto technicznego punktu widzenia zastąpienie dwóch doskonale działających cron jobów Jenkinsem to pewnie podręcznikowy przykład overengineeringu. 😄
Z drugiej strony Jenkins daje scentralizowane logowanie, historię wykonań, informacje o statusie i przyjazny interfejs webowy, który sprawia, że monitorowanie zaplanowanych zadań jest znacznie wygodniejsze.
Na razie Jenkins odpowiada tylko za uruchamianie dwóch skryptów backupu. Ale każdy eksperyment w homelabie zaczyna się od małego, a doświadczenie pokazuje, że gdy Jenkins już jest, rzadko kończy się na dwóch zadaniach.
Zobaczymy, dokąd zaprowadzi ta podróż. 🚀




