बजट VPS पर self-hosted LLM: Ollama और 7B–13B, 2026
Ollama और llama.cpp के साथ 2026 में बजट VPS पर self-hosted LLM चलाएँ। 20$/माह से कम में 7B–13B मॉडल के लिए साइज़िंग, क्वांटाइज़ेशन और प्राइवेसी।
2026 में बजट VPS पर self-hosted LLM अब शौकिया हैक नहीं रहा। Q4 क्वांटाइज़ेशन के साथ 7B मॉडल 5 GB RAM से कम में और आरामदायक 13B 10 GB से कम में फिट हो जाता है: दोनों ऐसे छोटे VPS की पहुँच में जो क्रिप्टो में बिल करता है और कभी पहचान नहीं माँगता।
क्वांटाइज़्ड मॉडल को वास्तव में कितनी RAM चाहिए
- ▹1–3B (Q4): ~2–4 GB — सबसे छोटी इंस्टेंस में फिट, तेज़ CPU इंफेरेंस।
- ▹7B (Q4_K_M): ~4.5–6 GB — एकल-उपयोगकर्ता सर्वर के लिए आदर्श बिंदु।
- ▹13B (Q4_K_M): ~8–10 GB — अच्छी गुणवत्ता, CPU पर धीमे टोकन।
- ▹70B (Q4): ~40 GB — समर्पित हार्डवेयर क्षेत्र, बजट VPS नहीं।
CPU सर्वर पर Ollama बनाम llama.cpp
दोनों रनटाइम OpenAI-संगत एंडपॉइंट उजागर करते हैं। Ollama इंस्टॉलेशन से काम करती लोकल API तक का सबसे तेज़ रास्ता है — पोर्ट 11434 पर एक सेवा, नाम से लोड किए मॉडल। जब आपको धीमी मशीन से ज़्यादा निचोड़ना हो, llama.cpp थ्रेड, कॉन्टेक्स्ट साइज़ और मेमोरी कम्प्रेशन पर निचले-स्तर का नियंत्रण देता है।
एक प्राइवेट एंडपॉइंट जो आपका ही रहता है
प्राइवेसी संरचनात्मक है: प्रॉम्प्ट और उत्तर सर्वर से कभी बाहर नहीं जाते। मॉडल एंडपॉइंट को 127.0.0.1 से बाँधे रखें और इसे सार्वजनिक रूप से खोलने के बजाय अपनी WireGuard टनल से पहुँचें — मोनेरो नोड या RPC एंडपॉइंट जैसा ही पैटर्न।