Self-hosted LLM na budżetowym VPS: Ollama i 7B–13B w 2026
Uruchom self-hosted LLM na budżetowym VPS w 2026 z Ollama i llama.cpp. Wymiarowanie, kwantyzacja i prywatność dla modeli 7B–13B poniżej 20 $/mies.
Self-hostowane LLM na budżetowym VPS to w 2026 nie jest już hack hobbysty. Z kwantyzacją Q4 model 7B mieści się w mniej niż 5 GB RAM, a wygodny 13B w mniej niż 10 GB: oba w zasięgu małego VPS, który rozlicza w krypto i nigdy nie pyta o tożsamość.
Ile RAM naprawdę potrzebuje skwantyzowany model
- ▹1–3B (Q4): ~2–4 GB — mieści się na najmniejszych instancjach, szybka inferencja CPU.
- ▹7B (Q4_K_M): ~4.5–6 GB — idealny punkt dla serwera jednoosobowego.
- ▹13B (Q4_K_M): ~8–10 GB — dobra jakość, wolniejsze tokeny na CPU.
- ▹70B (Q4): ~40 GB — terytorium dedykowanego hardware'u, nie budżetowego VPS.
Ollama vs llama.cpp na serwerze CPU
Oba runtime'y udostępniają endpoint zgodny z OpenAI. Ollama to najszybsza droga od instalacji do działającego lokalnego API — serwis na porcie 11434, modele ładowane po nazwie. llama.cpp daje kontrolę niższego poziomu nad wątkami, rozmiarem kontekstu i kompresją pamięci, gdy trzeba wycisnąć wolniejszą maszynę.
Prywatny endpoint, który pozostaje Twój
Prywatność jest strukturalna: prompty i odpowiedzi nigdy nie opuszczają serwera. Trzymaj endpoint modelu związany z 127.0.0.1 i osiągaj go przez własny tunel WireGuard zamiast udostępniać publicznie — ten sam wzorzec co dla nodu Monero czy endpointu RPC.