Far girare la mia IA invece di affittarla? Un piccolo esperimento nell'homelab

Illustrazione: un uomo che lavora a una scrivania da homelab piena di schede grafiche

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski

Come molti appassionati di tecnologia oggi, passo parecchio tempo a saltare da uno strumento di IA all’altro. I miei compagni di tutti i giorni al momento sono ChatGPT, Grok e Claude Pro. Ognuno ha i suoi punti di forza e, onestamente, siamo già al punto in cui scegliere un modello di IA sembra un po’ come scegliere la distribuzione Linux giusta per un carico di lavoro specifico. 😎 Per programmare e scrivere, Claude è diventato uno dei miei preferiti. La qualità è impressionante, soprattutto quando si tratta di risolvere problemi tecnici, revisionare codice o discutere decisioni di architettura. C’è però una cosa che continua a riportarmi a ChatGPT:

Indice

🎨 Il dilemma della generazione di immagini

Per i post del blog, la documentazione tecnica, i diagrammi di architettura e qualche illustrazione nerd ogni tanto, ChatGPT produce costantemente immagini davvero belle. Claude, almeno per i miei casi d’uso, non arriva allo stesso livello quando si tratta di generare immagini per contenuti tecnici. Il problema è che, quando sono in “modalità creazione contenuti”, tendo a generare un sacco di immagini in pochissimo tempo. Ed è proprio allora che vado a sbattere contro i rate limit. Potrei semplicemente buttare più soldi sul problema? Certo. Voglio farlo? Non necessariamente. 😉

🖥️ L’hardware c’è già

Pensando alle alternative, mi sono guardato intorno in ufficio e mi sono reso conto di una cosa:

Ho già abbastanza hardware inutilizzato sugli scaffali.

  • Qualche PC inutilizzato
  • Una ASUS GeForce Dual RTX 3050 8GB OC Edition
  • RAM in abbondanza
  • Più spazio SSD di quanto me ne serva probabilmente
  • E grazie al mio impianto fotovoltaico, corrente in eccesso durante il giorno ☀️

La GPU che intendo usare per questo esperimento è una ASUS GeForce Dual RTX 3050 8GB OC Edition. Non è certo un acceleratore IA di punta, ma dovrebbe essere più che in grado di gestire carichi di generazione di immagini con modelli moderni come Flux Schnell. E soprattutto è hardware che possiedo già, il che ne fa un perfetto progetto homelab a basso costo. A quel punto è comparsa l’ovvia domanda da homelab:

Perché affitto cicli di IA quando potrei far girare i miei?

🚀 Il piano: generazione di immagini in locale

Dopo un po’ di ricerche, mi sono interessato sempre di più a un setup semplice composto da:

  • Debian 13
  • GPU NVIDIA
  • ComfyUI
  • Flux

Per chi non conosce lo stack:

  • Flux è il vero e proprio modello di generazione di immagini.
  • ComfyUI è il frontend basato su workflow che permette di costruire pipeline di generazione e di interagire con il modello.

In forma semplificata:

Prompt
   ↓
ComfyUI
   ↓
Flux
   ↓
NVIDIA GPU
   ↓
Image

Semplice. Elegante. Approvato dai nerd. 🤓

🧠 Perché sembra divertente

La cosa buffa è che la generazione di immagini non è nemmeno la motivazione principale. Quello che mi interessa davvero è fare esperienza pratica nel gestire software di IA in locale. Da appassionati di homelab facciamo già girare cose come:

  • Proxmox
  • Docker
  • Grafana
  • Prometheus
  • Home Assistant
  • Sistemi NAS
  • Cluster Kubernetes che probabilmente non avevano bisogno di esistere 😄

Aggiungere l’IA locale a questa lista sembra il passo logico successivo. Una cosa è consumare servizi di IA. Tutt’altra cosa è installarli, mantenerli, ottimizzarli e capirli da soli.

🔒 La privacy è un bel bonus

Oltre alla sfida tecnica, c’è un altro motivo per cui trovo l’IA locale così interessante: la privacy. Quando il modello gira sul tuo hardware, i tuoi prompt restano sul tuo hardware. Niente chiamate API, nessuna dipendenza dal cloud, nessun dubbio su dove finiscano i tuoi dati. Per gli appassionati di homelab è già piuttosto figo. Per le aziende potrebbe essere ancora più interessante. Le aziende che trattano dati sensibili dei clienti, documentazione interna, codice sorgente o requisiti di compliance potrebbero non sentirsi sempre a proprio agio a mandare tutto ai grandi fornitori di IA nel cloud. L’IA locale non sostituirà ChatGPT, Claude o Grok a breve, ma per certi casi d’uso potrebbe diventare un’alternativa molto convincente—soprattutto quando privacy, sicurezza dei dati e sovranità sui dati contano più dell’accesso al modello più grande del pianeta. E onestamente, poter dire alla tua IA di generare un’immagine mentre l’intero workflow resta dentro il tuo rack è piuttosto soddisfacente. 😎

⚡ Aspettative sulle prestazioni

Il mio hardware non è esattamente un mostro GPU da datacenter. Il sistema sarà alimentato da una ASUS GeForce Dual RTX 3050 8GB OC Edition, che lo colloca nella categoria “homelab da appassionato” più che in quella “startup di IA che brucia venture capital”. 😄 Comunque, da tutto quello che ho letto finora, la scheda dovrebbe essere perfettamente in grado di far girare ComfyUI e Flux Schnell per illustrazioni del blog e grafiche tecniche.

RisoluzioneTempo di generazione stimato
512 × 5125–15 secondi
768 × 76810–30 secondi
1024 × 102420–60 secondi
1536 × 153660–120 secondi

Per il mio blog genererò probabilmente la maggior parte delle immagini a circa 1024×1024 e le ridimensionerò secondo necessità. Se il tempo medio di generazione resta sotto il minuto per immagine, sarò più che contento. Dopotutto non gestisco una fabbrica commerciale di immagini. Mi servono solo immagini di alta qualità per articoli tecnici, diagrammi di architettura, documentazione dell’homelab e qualche illustrazione nerd ogni tanto.

📸 Fase uno: solo immagini

Per ora voglio mantenere le cose semplici. La fase uno è interamente dedicata alla generazione di immagini. Niente agenti. Niente RAG. Nessuna IA autonoma che gestisce il mio homelab. Nessun esperimento “Skynet Beta”. Solo:

ComfyUI + Flux

E vediamo cosa succede.

💻 Fase due: un LLM locale

Una volta che lo stack per le immagini sarà stabile, probabilmente comincerò a sperimentare anche con un LLM locale. I miei casi d’uso sono piuttosto semplici:

  • Rispondere a domande semplici
  • Aiutare con l’amministrazione Linux
  • Generare script Bash
  • Assistere con le configurazioni Docker
  • Piccoli compiti di programmazione
  • Troubleshooting tecnico generale

Per questo non mi serve un modello mostruoso da mille miliardi di parametri. I modelli locali moderni sono diventati sorprendentemente capaci, soprattutto per lavori pratici di infrastruttura e scripting.

📚 E adesso?

Al momento sto ancora leggendo documentazione, guardando tutorial e confrontando approcci diversi. L’installazione vera e propria avverrà probabilmente nei prossimi giorni. Quando tutto sarà in funzione, pubblicherò un resoconto dettagliato che comprenderà:

  • Specifiche hardware
  • Setup di Debian
  • Installazione del driver NVIDIA
  • Deploy di ComfyUI
  • Configurazione di Flux
  • Prime impressioni
  • Benchmark delle prestazioni
  • Lezioni imparate

L’obiettivo iniziale è semplicemente creare immagini in locale. Se funziona come previsto, il passo successivo sarà far girare un LLM locale leggero per compiti quotidiani come rispondere a domande, generare piccoli script Bash, aiutare con le configurazioni Docker o supportare progetti di programmazione più piccoli. E diciamocelo: c’è qualcosa di profondamente soddisfacente nel generare le immagini del blog su una GPU comprata originariamente per giocare, che ora passa le sue giornate ad alimentare un minuscolo laboratorio di IA che va a energia solare. 😎 Se tutto va bene, potrebbe diventare un altro servizio permanente nel mio homelab. Perché siamo onesti:

Se hai già hardware inutilizzato, corrente solare in eccesso e la tendenza a fare self-hosting di assolutamente tutto... Far girare la tua infrastruttura di IA comincia a sembrare meno un progetto e più un’inevitabilità. 😎

Restate sintonizzati. I primi esperimenti arrivano presto... 🚀


📚 Altro in questa serie: far girare la mia IA

Alcuni testi e immagini di questo sito sono creati con l’aiuto dell’IA o generati dall’IA. Dettagli