Self-hosted LLM auf einem Budget-VPS: Ollama und 7B–13B im Jahr 2026
Betreiben Sie ein selbst gehostetes LLM auf einem Budget-VPS 2026 mit Ollama und llama.cpp. Sizing, Quantisierung und Privatsphäre für 7B–13B-Modelle unter 20 $/Monat.
Selbst gehostete LLMs auf einem Budget-VPS sind 2026 kein Hobby-Hack mehr. Mit Q4-Quantisierung passen 7B-Modelle in unter 5 GB RAM und eine komfortable 13B in unter 10 GB – beides in Reichweite eines kleinen VPS, der in Krypto abrechnet und nie nach Identität fragt.
Wie viel RAM ein quantisiertes Modell wirklich braucht
- ▹1–3B (Q4): ~2–4 GB – passt auf kleinste Instanzen, schnelle CPU-Inferenz.
- ▹7B (Q4_K_M): ~4.5–6 GB – der ideale Punkt für einen Single-User-Server.
- ▹13B (Q4_K_M): ~8–10 GB – gute Qualität, langsamer auf CPU.
- ▹70B (Q4): ~40 GB – Dedicated-Hardware-Territorium, kein Budget-VPS.
Ollama vs. llama.cpp auf einem CPU-Server
Beide Runtimes bieten einen OpenAI-kompatiblen Endpunkt. Ollama ist der schnellste Weg von der Installation zu einer funktionierenden lokalen API – ein Dienst auf Port 11434, Modelle nach Namen geladen. llama.cpp gibt Ihnen feineren Kontroll über Thread-Anzahl, Kontextgröße und Speicherkompression, wenn Sie einen langsameren Server ausquetschen müssen.
Ein privater Endpunkt, der Ihrer bleibt
Der Datenschutz ist strukturell: Prompts und Antworten verlassen den Server nie. Binden Sie den Modell-Endpunkt an 127.0.0.1 und erreichen Sie ihn über Ihren eigenen WireGuard-Tunnel statt ihn öffentlich zu öffnen – dasselbe Muster wie bei einer Monero-Node oder einem RPC-Endpunkt.