LLM self-hosted di VPS murah: Ollama dan 7B–13B di 2026
Jalankan LLM self-hosted di VPS murah pada 2026 dengan Ollama dan llama.cpp. Sizing, kuantisasi, dan privasi untuk model 7B–13B di bawah 20 $/bulan.
Self-hosting LLM di VPS murah di tahun 2026 bukan lagi hack hobi. Dengan kuantisasi Q4, model 7B muat di bawah 5 GB RAM dan 13B yang nyaman di bawah 10 GB: keduanya dalam jangkauan VPS kecil yang menagih dalam kripto dan tidak pernah meminta identitas.
Berapa RAM yang benar-benar dibutuhkan model terkuantisasi
- ▹1–3B (Q4): ~2–4 GB — muat di instance terkecil, inferensi CPU cepat.
- ▹7B (Q4_K_M): ~4.5–6 GB — titik ideal untuk server satu pengguna.
- ▹13B (Q4_K_M): ~8–10 GB — kualitas bagus, token lebih lambat di CPU.
- ▹70B (Q4): ~40 GB — wilayah hardware khusus, bukan VPS murah.
Ollama vs llama.cpp di server CPU
Kedua runtime mengekspos endpoint yang kompatibel dengan OpenAI. Ollama adalah jalan tercepat dari instalasi ke API lokal yang berfungsi — layanan di port 11434, model dimuat berdasarkan nama. llama.cpp memberi kontrol tingkat lebih rendah atas thread, ukuran konteks, dan kompresi memori ketika Anda harus memeras mesin yang lambat.
Endpoint privat yang tetap milik Anda
Privasinya struktural: prompt dan respons tidak pernah keluar dari server. Ikat endpoint model ke 127.0.0.1 dan capai melalui tunnel WireGuard milik Anda sendiri alih-alih membukanya untuk publik — pola yang sama dengan node Monero atau endpoint RPC.