KI selbst betreiben statt mieten? Ein kleines Homelab-Experiment

🌐 Auch auf: English · Français · Español

Wie viele Technikbegeisterte springe ich heutzutage ziemlich viel zwischen verschiedenen KI-Tools hin und her. Meine aktuellen Daily Drivers sind ChatGPT, Grok und Claude Pro. Jedes hat seine Stärken, und ehrlich gesagt sind wir längst an dem Punkt, an dem sich die Wahl eines KI-Modells ein bisschen so anfühlt wie die Wahl der richtigen Linux-Distribution für einen bestimmten Workload. 😎 Fürs Programmieren und Schreiben ist Claude einer meiner Favoriten geworden. Die Qualität ist beeindruckend, vor allem wenn ich mich durch technische Probleme arbeite, Code reviewe oder Architekturentscheidungen durchdiskutiere. Eine Sache zieht mich allerdings immer wieder zu ChatGPT zurück:

Table of Contents

🎨 Das Bildgenerierungs-Dilemma

Für Blogbeiträge, technische Dokumentation, Architekturdiagramme und die gelegentliche Nerd-Illustration liefert ChatGPT zuverlässig richtig schöne Bilder. Claude erreicht, zumindest für meine Zwecke, bei Bildern für technische Inhalte nicht ganz dasselbe Niveau. Das Problem: Sobald ich im „Content-Creation-Modus“ bin, generiere ich in sehr kurzer Zeit sehr viele Bilder. Und genau dann renne ich in die Rate Limits. Könnte ich das Problem einfach mit mehr Geld erschlagen? Klar. Will ich das? Nicht unbedingt. 😉

🖥️ Die Hardware ist schon da

Beim Nachdenken über Alternativen habe ich mich in meinem Büro umgesehen und etwas festgestellt:

Ich habe längst genug ungenutzte Hardware in den Regalen herumstehen.

Ein paar ungenutzte PCs
Eine ASUS GeForce Dual RTX 3050 8GB OC Edition
Jede Menge RAM
Mehr SSD-Speicher, als ich wahrscheinlich brauche
Und dank meiner Photovoltaikanlage tagsüber überschüssigen Strom ☀️

Die GPU, die ich für dieses Experiment einsetzen will, ist eine ASUS GeForce Dual RTX 3050 8GB OC Edition. Sie ist sicher kein KI-Beschleuniger der Oberklasse, sollte aber mehr als genug Leistung für Bildgenerierung mit modernen Modellen wie Flux Schnell haben. Noch wichtiger: Die Hardware gehört mir schon, und das macht das Ganze zum perfekten Low-Budget-Homelab-Projekt. Und da stand sie dann im Raum, die offensichtliche Homelab-Frage:

Warum miete ich KI-Rechenzeit, wenn ich meine eigene betreiben könnte?

🚀 Der Plan: lokale Bildgenerierung

Nach ein bisschen Recherche hat mich ein einfaches Setup immer mehr gereizt, bestehend aus:

Debian 13
NVIDIA-GPU
ComfyUI
Flux

Für alle, die den Stack nicht kennen:

Flux ist das eigentliche Modell, das die Bilder erzeugt.
ComfyUI ist das workflowbasierte Frontend, mit dem du Generierungs-Pipelines baust und mit dem Modell arbeitest.

Vereinfacht dargestellt:

Prompt
   ↓
ComfyUI
   ↓
Flux
   ↓
NVIDIA GPU
   ↓
Image

Einfach. Elegant. Nerd-geprüft. 🤓

🧠 Warum das nach Spaß klingt

Das Witzige ist: Die Bildgenerierung ist gar nicht die Hauptmotivation. Was mich wirklich reizt, ist praktische Erfahrung damit, KI-Software lokal zu betreiben. Als Homelab-Fans betreiben wir ja ohnehin schon Dinge wie:

Proxmox
Docker
Grafana
Prometheus
Home Assistant
NAS-Systeme
Kubernetes-Cluster, die es wahrscheinlich gar nicht gebraucht hätte 😄

Lokale KI auf diese Liste zu setzen, fühlt sich wie der nächste logische Schritt an. KI-Dienste zu konsumieren ist das eine. Sie selbst auszurollen, zu warten, zu optimieren und wirklich zu verstehen, ist etwas völlig anderes.

🔒 Datenschutz als netter Bonus

Neben der technischen Herausforderung gibt es noch einen Grund, warum ich lokale KI so spannend finde: Datenschutz. Wenn das Modell auf deiner eigenen Hardware läuft, bleiben deine Prompts auf deiner eigenen Hardware. Keine API-Aufrufe, keine Cloud-Abhängigkeit, kein Rätselraten, wo deine Daten landen. Für Homelab-Fans ist das schon ziemlich cool. Für Unternehmen könnte es sogar noch interessanter sein. Firmen, die mit sensiblen Kundendaten, interner Dokumentation, Quellcode oder Compliance-Vorgaben zu tun haben, wollen nicht unbedingt alles an große Cloud-KI-Anbieter schicken. Lokale KI wird ChatGPT, Claude oder Grok so bald nicht ersetzen, aber für bestimmte Anwendungsfälle könnte sie eine sehr überzeugende Alternative werden – vor allem, wenn Datenschutz, Datensicherheit und Datensouveränität wichtiger sind als der Zugriff auf das größte Modell des Planeten. Und mal ehrlich: Seiner KI zu sagen, sie soll ein Bild generieren, während der komplette Workflow im eigenen Rack bleibt, ist schon ziemlich befriedigend. 😎

⚡ Was ich an Leistung erwarte

Meine Hardware ist nicht gerade ein GPU-Monster in Rechenzentrumsqualität. Angetrieben wird das System von einer ASUS GeForce Dual RTX 3050 8GB OC Edition, womit es eher in die Kategorie „ambitioniertes Homelab“ fällt als in die Kategorie „KI-Startup, das Risikokapital verbrennt“. 😄 Trotzdem sollte die Karte nach allem, was ich bisher gelesen habe, problemlos ComfyUI und Flux Schnell für Blog-Illustrationen und technische Grafiken stemmen.

Auflösung	Geschätzte Generierungszeit
512 × 512	5–15 Sekunden
768 × 768	10–30 Sekunden
1024 × 1024	20–60 Sekunden
1536 × 1536	60–120 Sekunden

Für meinen Blog werde ich die meisten Bilder wohl mit etwa 1024×1024 generieren und bei Bedarf skalieren. Wenn die durchschnittliche Generierungszeit unter einer Minute pro Bild bleibt, bin ich mehr als zufrieden. Schließlich betreibe ich keine kommerzielle Bilderfabrik. Ich brauche nur hochwertige Bilder für Fachartikel, Architekturdiagramme, Homelab-Dokumentation und die gelegentliche Nerd-Illustration.

📸 Phase eins: nur Bilder

Vorerst will ich es einfach halten. Phase eins dreht sich ausschließlich um Bildgenerierung. Keine Agenten. Kein RAG. Keine autonome KI, die mein Homelab verwaltet. Keine „Skynet Beta“-Experimente. Einfach nur:

ComfyUI + Flux

Und schauen, was passiert.

💻 Phase zwei: ein lokales LLM

Sobald der Bild-Stack stabil läuft, fange ich wahrscheinlich auch an, mit einem lokalen LLM zu experimentieren. Meine Anwendungsfälle sind ziemlich überschaubar:

Einfache Fragen beantworten
Bei der Linux-Administration helfen
Bash-Skripte generieren
Bei Docker-Konfigurationen unterstützen
Kleine Programmieraufgaben
Allgemeine technische Fehlersuche

Dafür brauche ich kein Monster-Modell mit einer Billion Parametern. Moderne lokale Modelle sind überraschend leistungsfähig geworden, gerade für praktische Infrastruktur- und Skripting-Aufgaben.

📚 Wie geht es weiter?

Im Moment lese ich noch Dokumentation, schaue Tutorials und vergleiche verschiedene Ansätze. Die eigentliche Installation steht wahrscheinlich in den nächsten Tagen an. Sobald alles läuft, veröffentliche ich einen ausführlichen Bericht mit:

Hardware-Spezifikationen
Debian-Setup
Installation der NVIDIA-Treiber
Rollout von ComfyUI
Flux-Konfiguration
Ersten Eindrücken
Performance-Benchmarks
Lessons Learned

Das erste Ziel ist einfach, Bilder lokal zu erzeugen. Wenn das wie erwartet klappt, ist der nächste Schritt ein schlankes lokales LLM für Alltagsaufgaben: Fragen beantworten, kleine Bash-Skripte generieren, bei Docker-Konfigurationen helfen oder kleinere Programmierprojekte unterstützen. Und seien wir ehrlich: Es hat etwas zutiefst Befriedigendes, Blogbilder auf einer GPU zu generieren, die ursprünglich fürs Gaming gekauft wurde und jetzt ihre Tage damit verbringt, ein winziges, solarbetriebenes KI-Labor anzutreiben. 😎 Wenn alles gut geht, wird das vielleicht ein weiterer fester Dienst in meinem Homelab. Denn mal ehrlich:

Wenn du ohnehin ungenutzte Hardware, überschüssigen Solarstrom und den Hang hast, wirklich alles selbst zu hosten … … dann fühlt sich die eigene KI-Infrastruktur weniger wie ein Projekt an und mehr wie eine Unvermeidlichkeit. 😎

Bleib dran. Die ersten Experimente kommen bald … 🚀