LLM self-hosted su un VPS economico: Ollama e 7B–13B nel 2026
Fai girare un LLM self-hosted su un VPS economico nel 2026 con Ollama e llama.cpp. Sizing, quantizzazione e privacy per modelli 7B–13B sotto i 20 $/mese.
Self-hostare un LLM su un VPS economico nel 2026 non è più un hack da hobbisti. Con la quantizzazione Q4, un modello 7B entra in meno di 5 GB di RAM e un 13B comodo in meno di 10 GB: entrambi alla portata di un piccolo VPS che fattura in crypto e non chiede mai identità.
Quanta RAM serve davvero a un modello quantizzato
- ▹1–3B (Q4): ~2–4 GB — entra nelle istanze più piccole, inferenza CPU veloce.
- ▹7B (Q4_K_M): ~4.5–6 GB — il punto dolce per un server a utente singolo.
- ▹13B (Q4_K_M): ~8–10 GB — buona qualità, token più lenti su CPU.
- ▹70B (Q4): ~40 GB — territorio hardware dedicato, non VPS economico.
Ollama vs llama.cpp su un server CPU
Entrambi i runtime espongono un endpoint compatibile OpenAI. Ollama è il percorso più rapido dall'installazione a una API locale funzionante — un servizio sulla porta 11434, modelli caricati per nome. llama.cpp offre controllo di livello più basso su thread, dimensione del contesto e compressione di memoria quando bisogna spremere una macchina lenta.
Un endpoint privato che resta tuo
La privacy è strutturale: prompt e risposte non lasciano mai il server. Tieni l'endpoint del modello legato a 127.0.0.1 e raggiungilo tramite il tuo tunnel WireGuard invece di esporlo pubblicamente — lo stesso schema di un nodo Monero o di un endpoint RPC.