Zastąpienie cron jobów Jenkinsem przy backupach Nextclouda 🚀

Ilustracja: kamerdyner we fraku podaje herbatę przed monitorami serwerów

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Dziś spędziłem trochę czasu na poznawaniu Jenkinsa w moim homelabie.

Dla tych, którym jakimś cudem udało się uniknąć Jenkinsa przez ostatnią dekadę: Jenkins to jeden z najpowszechniej używanych dziś serwerów automatyzacji open source. Wydany pierwotnie w 2011 roku jako fork projektu Hudson, stał się jednym z filarów nowoczesnych przepływów pracy DevOps. Służy głównie do Continuous Integration (CI) i Continuous Delivery (CD) — automatyzuje buildy oprogramowania, testy, wdrożenia i wszelkiego rodzaju powtarzalne zadania administracyjne. Jeśli jakiś proces da się zautomatyzować, Jenkins prawdopodobnie sobie z nim poradzi. 😎

Do tej pory używałem w homelabie dwóch klasycznych cron jobów. Ich zadanie jest dość proste: co noc za pomocą rsync robią backupy dwóch instancji Nextclouda wystawionych do internetu.

Ten układ od dłuższego czasu działa bez zarzutu. Jednak jeśli chodzi o monitoring i logowanie, cron to wciąż przede wszystkim narzędzie miłośników wiersza poleceń i weteranów Uniksa. Zwykle kończysz na przekopywaniu plików logów, ręcznym sprawdzaniu, czy zadania wykonały się poprawnie, i od czasu do czasu zastanawiasz się, czy nieudany backup był trzy dni, czy trzy tygodnie temu.

Oczywiście cron jest niesamowicie niezawodny i lekki. Ale bądźmy szczerzy: nie oferuje akurat najnowocześniejszego doświadczenia użytkownika.

Ponieważ Jenkins najpewniej odegra w przyszłości większą rolę w moim środowisku zawodowym, postanowiłem wreszcie wdrożyć go również w homelabie i zdobyć praktyczne doświadczenie.

Warto wspomnieć, że Jenkins działa na tej samej maszynie, na której stoi już GitLab. Ponieważ GitLab nasłuchuje już na porcie TCP 8080, Jenkinsa trzeba było skonfigurować na port TCP 8090.

Obecna konfiguracja Jenkinsa

Na razie konfiguracja Jenkinsa jest celowo prosta.

Utworzyłem dwa zadania typu Freestyle Project. Podobnie jak w poprzednim układzie z cronem, każde zadanie ma własny harmonogram określający, kiedy ma się uruchomić. Sama operacja backupu to nic więcej niż wykonanie lokalnego skryptu powłoki.

Jak dotąd wszystko działa bezbłędnie. Jenkins zapewnia wygodny interfejs webowy, w którym od razu widzę, czy zadania wykonały się poprawnie, kiedy zostały uruchomione, ile trwały i jaki dały output.

W porównaniu z ręcznym przeglądaniem logów crona to już spora poprawa komfortu życia. 😊

Potrzebna była jeszcze jedna poprawka. Jenkins działa na swoim dedykowanym koncie usługi jenkins, a moje skrypty backupu oczekują uruchomienia jako użytkownik user3. Zamiast przeprojektowywać uprawnienia i właścicieli plików, po prostu skonfigurowałem krok builda tak, by uruchamiał skrypty przez sudo -u user3. Dzięki temu Jenkins odpowiada za planowanie i monitorowanie zadań, a właściwa logika backupu działa na koncie, które już ma dostęp do potrzebnych plików i katalogów. 😎

Eksport konfiguracji zadań jako XML

Szczególnie przydatną funkcją, którą odkryłem, jest to, że Jenkins pozwala wyeksportować konfigurację każdego zadania jako XML.

Żeby pobrać konfigurację zadania, wystarczy dopisać /config.xml do URL-a zadania i uwierzytelnić się prawidłowym kontem użytkownika Jenkinsa:

curl -u <user>:<password> \
http://192.168.10.x:8090/job/Backup-InstanceB/config.xml

Co ciekawe, bezpośredni dostęp do konfiguracji XML przez przeglądarkę u mnie nie działał. Natomiast curl z wiersza poleceń zadziałał idealnie.

Wynikowy XML zawiera pełną definicję zadania, co czyni go przydatnym nie tylko do dokumentacji, ale też jako lekki backup konfiguracji Jenkinsa.

Konfiguracja Backup-InstanceA

user3@hp1:~$ curl -u <user>:<password> http://192.168.10.x:8090/job/Backup-InstanceA/config.xml
<?xml version='1.1' encoding='UTF-8'?>
<project>
  <actions/>
  <description>rsync</description>
  <keepDependencies>false</keepDependencies>
  <properties/>
  <scm class="hudson.scm.NullSCM"/>
  <canRoam>true</canRoam>
  <disabled>false</disabled>
  <blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding>
  <blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding>
  <triggers>
    <hudson.triggers.TimerTrigger>
      <spec>H 1 * * *</spec>
    </hudson.triggers.TimerTrigger>
  </triggers>
  <concurrentBuild>false</concurrentBuild>
  <builders>
    <hudson.tasks.Shell>
      <command>sudo -u user3 /raid5/shared/shared/ablage/nextcloud_backup_and_restore/instance-a_backup_nextcloud_remote.sh</command>
      <configuredLocalRules/>
    </hudson.tasks.Shell>
  </builders>
  <publishers/>
  <buildWrappers/>
</project>

Konfiguracja Backup-InstanceB

user3@hp1:~$ curl -u <user>:<password> http://192.168.10.x:8090/job/Backup-InstanceB/config.xml
<?xml version='1.1' encoding='UTF-8'?>
<project>
  <description>rsync</description>
  <keepDependencies>false</keepDependencies>
  <properties/>
  <scm class="hudson.scm.NullSCM"/>
  <canRoam>true</canRoam>
  <disabled>false</disabled>
  <blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding>
  <blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding>
  <triggers>
    <hudson.triggers.TimerTrigger>
      <spec>H 2 * * *</spec>
    </hudson.triggers.TimerTrigger>
  </triggers>
  <concurrentBuild>false</concurrentBuild>
  <builders>
    <hudson.tasks.Shell>
      <command>sudo -u user3 /raid5/shared/shared/ablage/nextcloud_backup_and_restore/sofie_backup_nextcloud_remote.sh</command>
      <configuredLocalRules/>
    </hudson.tasks.Shell>
  </builders>
  <publishers/>
  <buildWrappers/>
</project>

Podsumowanie

Z czysto technicznego punktu widzenia zastąpienie dwóch doskonale działających cron jobów Jenkinsem to pewnie podręcznikowy przykład overengineeringu. 😄

Z drugiej strony Jenkins daje scentralizowane logowanie, historię wykonań, informacje o statusie i przyjazny interfejs webowy, który sprawia, że monitorowanie zaplanowanych zadań jest znacznie wygodniejsze.

Na razie Jenkins odpowiada tylko za uruchamianie dwóch skryptów backupu. Ale każdy eksperyment w homelabie zaczyna się od małego, a doświadczenie pokazuje, że gdy Jenkins już jest, rzadko kończy się na dwóch zadaniach.

Zobaczymy, dokąd zaprowadzi ta podróż. 🚀

Dashboard Jenkinsa z zadaniami backupu Nextclouda

Konfiguracja zadania Jenkinsa dla backupu Nextclouda

Output konsoli Jenkinsa z udanego przebiegu backupu Nextclouda

Historia buildów Jenkinsa dla zaplanowanych zadań backupu

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły