平价 VPS 上的自托管 LLM：2026 年的 Ollama 与 7B–13B
用 Ollama 与 llama.cpp 在 2026 年的平价 VPS 上运行自托管 LLM。每月不足 20 美元跑 7B–13B 模型的规模设计、量化与隐私。
2026 年，在平价 VPS 上自托管 LLM 不再是业余黑客把戏。通过 Q4 量化，7B 模型可装入 5GB 以下内存，舒适的 13B 也能装入 10GB 以下：两者都在一台以加密货币计费、从不询问身份的小型 VPS 能力范围之内。
量化模型真正需要多少内存
- ▹1–3B (Q4)：约 2–4GB——适合最小实例，CPU 推理也快。
- ▹7B (Q4_K_M)：约 4.5–6GB——单用户服务器的理想点。
- ▹13B (Q4_K_M)：约 8–10GB——质量良好，CPU 上 token 较慢。
- ▹70B (Q4)：约 40GB——专用硬件领域，而非平价 VPS。
CPU 服务器上的 Ollama 对决 llama.cpp
两种运行时都暴露 OpenAI 兼容端点。Ollama 是从安装到可用本地 API 的最快路径——11434 端口上的服务，按名称加载模型。llama.cpp 则在你需要压榨慢机器时，在线程数、上下文大小与内存压缩上提供更底层的控制。
仍然属于你的私有端点
隐私是结构性的：提示与响应绝不离开服务器。将模型端点绑定到 127.0.0.1，通过你自己的 WireGuard 隧道而非公开暴露来访问——这与 Monero 节点或 RPC 端点相同的模式。