Mijn eigen AI draaien in plaats van huren? Een klein homelab-experiment

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Zoals veel techliefhebbers tegenwoordig spring ik behoorlijk wat tijd heen en weer tussen verschillende AI-tools. Mijn huidige dagelijkse tools zijn ChatGPT, Grok en Claude Pro. Elk heeft zijn sterke kanten, en eerlijk gezegd zijn we al op een punt waar het kiezen van een AI-model een beetje voelt als het kiezen van de juiste Linux-distributie voor een specifieke workload. 😎 Voor programmeer- en schrijfwerk is Claude een van mijn favorieten geworden. De kwaliteit is indrukwekkend, vooral bij het doorwerken van technische problemen, het reviewen van code of het bespreken van architectuurbeslissingen. Er is echter één ding dat me steeds terugtrekt naar ChatGPT:
Inhoud
🎨 Het dilemma van beeldgeneratie
Voor blogposts, technische documentatie, architectuurdiagrammen en af en toe een nerdy illustratie levert ChatGPT consequent heel mooie beelden. Claude haalt, in elk geval voor mijn toepassingen, niet helemaal hetzelfde niveau als het gaat om het genereren van afbeeldingen voor technische content. Het probleem is dat ik, zodra ik in “contentcreatie-modus” zit, in heel korte tijd veel afbeeldingen genereer. En precies dan loop ik tegen de rate limits aan. Kan ik het probleem gewoon met meer geld oplossen? Zeker. Wil ik dat? Niet per se. 😉
🖥️ De hardware is er al
Terwijl ik over alternatieven nadacht, keek ik rond in mijn kantoor en besefte ik iets:
Ik heb al genoeg reservehardware op de planken liggen.
- Een paar ongebruikte pc’s
- Een ASUS GeForce Dual RTX 3050 8GB OC Edition
- Genoeg RAM
- Meer SSD-opslag dan ik waarschijnlijk nodig heb
- En dankzij mijn zonnepanelen overdag stroom over ☀️
De GPU die ik voor dit experiment wil gebruiken is een ASUS GeForce Dual RTX 3050 8GB OC Edition. Het is zeker geen vlaggenschip onder de AI-accelerators, maar hij zou ruimschoots in staat moeten zijn om beeldgeneratie met moderne modellen zoals Flux Schnell aan te kunnen. Belangrijker nog: het is hardware die ik al bezit, wat dit een perfect goedkoop homelab-project maakt. Op dat moment dook de voor de hand liggende homelab-vraag op:
Waarom huur ik AI-cycli als ik mijn eigen kan draaien?
🚀 Het plan: lokale beeldgeneratie
Na wat onderzoek raakte ik steeds meer geïnteresseerd in een eenvoudige setup bestaande uit:
- Debian 13
- NVIDIA-GPU
- ComfyUI
- Flux
Voor wie de stack niet kent:
- Flux is het eigenlijke beeldgeneratiemodel.
- ComfyUI is de workflow-gebaseerde frontend waarmee je generatiepipelines bouwt en met het model werkt.
Vereenvoudigd:
Prompt
↓
ComfyUI
↓
Flux
↓
NVIDIA GPU
↓
Image
Simpel. Elegant. Door nerds goedgekeurd. 🤓
🧠 Waarom dit leuk klinkt
Het grappige is dat beeldgeneratie niet eens de belangrijkste motivatie is. Wat me echt interesseert, is praktijkervaring opdoen met het lokaal draaien van AI-software. Als homelab-liefhebbers draaien we al dingen als:
- Proxmox
- Docker
- Grafana
- Prometheus
- Home Assistant
- NAS-systemen
- Kubernetes-clusters die waarschijnlijk niet hadden hoeven bestaan 😄
Lokale AI aan dat lijstje toevoegen voelt als de volgende logische stap. AI-diensten consumeren is één ding. Ze zelf deployen, onderhouden, optimaliseren en begrijpen is iets heel anders.
🔒 Privacy is een mooie bonus
Naast de technische uitdaging is er nog een reden waarom ik lokale AI zo interessant vind: privacy. Als het model op je eigen hardware draait, blijven je prompts op je eigen hardware. Geen API-calls, geen afhankelijkheid van de cloud, geen gepieker over waar je data terechtkomt. Voor homelab-liefhebbers is dat al best gaaf. Voor bedrijven kan het nog interessanter zijn. Bedrijven die met gevoelige klantgegevens, interne documentatie, broncode of compliance-eisen werken, voelen zich niet altijd prettig bij het versturen van alles naar grote cloudgebaseerde AI-aanbieders. Lokale AI gaat ChatGPT, Claude of Grok niet snel vervangen, maar voor bepaalde toepassingen kan het een heel aantrekkelijk alternatief worden—vooral als privacy, gegevensbeveiliging en datasoevereiniteit belangrijker zijn dan toegang tot het grootste model ter wereld. En eerlijk gezegd is het best bevredigend om je AI een afbeelding te laten genereren terwijl de hele workflow binnen je eigen rack blijft. 😎
⚡ Verwachtingen qua prestaties
Mijn hardware is niet bepaald een GPU-monster van datacenterniveau. Het systeem draait op een ASUS GeForce Dual RTX 3050 8GB OC Edition, wat het eerder in de categorie “enthousiaste homelab” plaatst dan in de categorie “AI-startup die durfkapitaal verbrandt”. 😄 Toch zou de kaart, op basis van alles wat ik tot nu toe heb gelezen, prima in staat moeten zijn om ComfyUI en Flux Schnell te draaien voor blogillustraties en technische graphics.
| Resolutie | Geschatte generatietijd |
|---|---|
| 512 × 512 | 5–15 seconden |
| 768 × 768 | 10–30 seconden |
| 1024 × 1024 | 20–60 seconden |
| 1536 × 1536 | 60–120 seconden |
Voor mijn blog zal ik de meeste afbeeldingen waarschijnlijk rond 1024×1024 genereren en ze waar nodig schalen. Als de gemiddelde generatietijd onder de minuut per afbeelding blijft, ben ik meer dan tevreden. Ik run tenslotte geen commerciële beeldenfabriek. Ik heb alleen hoogwaardige visuals nodig voor technische artikelen, architectuurdiagrammen, homelab-documentatie en af en toe een nerdy illustratie.
📸 Fase één: alleen afbeeldingen
Voorlopig wil ik het simpel houden. Fase één draait volledig om beeldgeneratie. Geen agents. Geen RAG. Geen autonome AI die mijn homelab beheert. Geen “Skynet Beta”-experimenten. Alleen:
ComfyUI + Flux
En kijken wat er gebeurt.
💻 Fase twee: een lokale LLM
Zodra de beeldstack stabiel is, ga ik waarschijnlijk ook experimenteren met een lokale LLM. Mijn toepassingen zijn vrij rechttoe rechtaan:
- Eenvoudige vragen beantwoorden
- Helpen bij Linux-beheer
- Bash-scripts genereren
- Ondersteunen bij Docker-configuraties
- Kleine programmeerklussen
- Algemene technische troubleshooting
Daarvoor heb ik geen monstermodel met een biljoen parameters nodig. Moderne lokale modellen zijn verrassend capabel geworden, vooral voor praktisch infrastructuur- en scriptwerk.
📚 Wat nu?
Op dit moment lees ik nog documentatie, kijk ik tutorials en vergelijk ik verschillende benaderingen. De installatie zelf gebeurt waarschijnlijk in de komende dagen. Zodra alles draait, publiceer ik een uitgebreid verslag met onder andere:
- Hardwarespecificaties
- Debian-setup
- Installatie van de NVIDIA-driver
- Deployment van ComfyUI
- Configuratie van Flux
- Eerste indrukken
- Prestatiebenchmarks
- Geleerde lessen
Het eerste doel is simpelweg lokaal afbeeldingen maken. Als dat werkt zoals verwacht, is de volgende stap een lichte lokale LLM voor alledaagse taken, zoals vragen beantwoorden, kleine Bash-scripts genereren, helpen met Docker-configuraties of kleinere programmeerprojecten ondersteunen. En laten we eerlijk zijn: er is iets diep bevredigends aan blogafbeeldingen genereren op een GPU die oorspronkelijk voor gaming is gekocht en nu zijn dagen doorbrengt met het aandrijven van een piepklein AI-lab op zonne-energie. 😎 Als alles goed gaat, wordt dit misschien weer een vaste dienst in mijn homelab. Want laten we eerlijk zijn:
Als je al reservehardware hebt, een overschot aan zonnestroom en de neiging om werkelijk alles zelf te hosten... Dan voelt je eigen AI-infrastructuur draaien steeds minder als een project en steeds meer als iets onvermijdelijks. 😎
Blijf kijken. De eerste experimenten komen eraan... 🚀
📚 Meer in deze serie: mijn eigen AI draaien
