Self-hosted LLM на бюджетном VPS: Ollama и 7B–13B в 2026
Запустите self-hosted LLM на бюджетном VPS в 2026 с Ollama и llama.cpp. Подбор ресурсов, квантование и приватность для моделей 7B–13B дешевле $20 в месяц.
Self-hosting LLM на бюджетном VPS перестал быть хобби-хаком в 2026. С квантованием Q4 модель 7B помещается менее чем в 5 ГБ ОЗУ, а комфортная 13B — менее чем в 10 ГБ: обе доступны на небольшом VPS, который выставляет счёт в криптовалюте и никогда не спрашивает личность.
Сколько ОЗУ реально нужно квантованной модели
- ▹1–3B (Q4): ~2–4 ГБ — помещается на самые малые инстансы, быстрый CPU-инференс.
- ▹7B (Q4_K_M): ~4.5–6 ГБ — золотая середина для сервера одного пользователя.
- ▹13B (Q4_K_M): ~8–10 ГБ — хорошее качество, медленнее на CPU.
- ▹70B (Q4): ~40 ГБ — удел выделенного железа, не бюджетного VPS.
Ollama против llama.cpp на CPU-сервере
Оба рантайма отдают OpenAI-совместимый эндпоинт. Ollama — самый быстрый путь от установки до рабочего локального API: один сервис на порту 11434, модели подтягиваются по имени. llama.cpp даёт более низкоуровневый контроль над числом потоков, размером контекста и сжатием памяти, когда нужно выжать максимум из слабого сервера.
Приватный эндпоинт, который остаётся вашим
Приватность здесь структурная: промпты и ответы не покидают сервер. Держите эндпоинт модели привязанным к 127.0.0.1 и добирайтесь до него по своему WireGuard-туннелю, а не через публичное открытие — та же схема, что у ноды Monero или RPC-эндпоинта.