Bütçe VPS'te self-hosted LLM: Ollama ve 7B–13B 2026
Ollama ve llama.cpp ile 2026'da bütçe bir VPS'te self-hosted LLM çalıştırın. Ayda 20 $ altında 7B–13B modelleri için boyutlandırma, kuantizasyon ve gizlilik.
2026'da bütçe bir VPS'te self-hosted LLM artık amatör bir hack değil. Q4 kuantizasyonuyla 7B model 5 GB'ın altına, rahat bir 13B ise 10 GB'ın altına sığar: ikisi de kripto ile faturalandırılan ve asla kimlik sormayan küçük bir VPS'in menzilinde.
Kuantize bir modelin gerçekten ihtiyacı olan RAM
- ▹1–3B (Q4): ~2–4 GB — en küçük örneklere sığar, hızlı CPU çıkarımı.
- ▹7B (Q4_K_M): ~4.5–6 GB — tek kullanıcılı sunucu için ideal nokta.
- ▹13B (Q4_K_M): ~8–10 GB — iyi kalite, CPU'da daha yavaş token'lar.
- ▹70B (Q4): ~40 GB — özel donanım bölgesi, bütçe VPS değil.
CPU sunucusunda Ollama vs llama.cpp
Her iki runtime da OpenAI uyumlu bir uç sunar. Ollama, kurulumdan çalışan yerel bir API'ye giden en hızlı yoldur — 11434 portunda bir hizmet, modeller isimle yüklenir. llama.cpp; yavaş bir makineyi sıkıştırmanız gerektiğinde thread'ler, bağlam boyutu ve bellek sıkıştırması üzerinde daha alt seviye kontrol verir.
Sizin olarak kalan özel bir uç nokta
Gizlilik yapısaldır: prompt'lar ve yanıtlar sunucudan asla çıkmaz. Model uç noktasını 127.0.0.1'e bağlı tutun ve herkese açmak yerine kendi WireGuard tünelinizden ulaşın — bir Monero düğümü veya RPC uç noktasıyla aynı desen.