Self-hosted LLM op een budget-VPS: Ollama en 7B–13B in 2026
Draai een self-hosted LLM op een budget-VPS in 2026 met Ollama en llama.cpp. Sizing, kwantisering en privacy voor 7B–13B-modellen onder de 20 $/maand.
Self-hosted LLM's op een budget-VPS zijn in 2026 geen hobby-hack meer. Met Q4-kwantisering past een 7B-model in minder dan 5 GB RAM en een comfortabele 13B in minder dan 10 GB: beide binnen bereik van een kleine VPS die in crypto factureert en nooit om identiteit vraagt.
Hoeveel RAM een gekwantiseerd model echt nodig heeft
- ▹1–3B (Q4): ~2–4 GB — past op de kleinste instances, snelle CPU-inferentie.
- ▹7B (Q4_K_M): ~4.5–6 GB — het ideale punt voor een single-user server.
- ▹13B (Q4_K_M): ~8–10 GB — goede kwaliteit, tragere tokens op CPU.
- ▹70B (Q4): ~40 GB — dedicated hardware-territorium, geen budget-VPS.
Ollama vs llama.cpp op een CPU-server
Beide runtimes bieden een OpenAI-compatibel endpoint. Ollama is de snelste weg van installatie naar een werkende lokale API — een service op poort 11434, modellen geladen op naam. llama.cpp geeft meer low-level controle over threads, contextgrootte en geheugencompressie als je een langzame machine wilt uitknijpen.
Een privé-endpoint dat van jou blijft
De privacy is structureel: prompts en antwoorden verlaten de server nooit. Houd het model-endpoint vast aan 127.0.0.1 en bereik het via je eigen WireGuard-tunnel in plaats van het publiek te openen — hetzelfde patroon als een Monero-node of een RPC-endpoint.