예산 VPS에서 셀프호스티드 LLM: 2026년의 Ollama와 7B–13B
Ollama와 llama.cpp로 2026년에 예산 VPS 위에서 셀프호스티드 LLM을 운영하세요. 월 20달러 미만으로 7B–13B 모델을 위한 사이징, 양자화, 프라이버시.
2026년에 예산 VPS에서 셀프호스티드 LLM은 더 이상 취미 해킹이 아닙니다. Q4 양자화로 7B 모델은 5GB 미만, 편안한 13B도 10GB 미만 RAM에 들어갑니다. 둘 다 크립토로 청구하고 결코 신원을 묻지 않는 작은 VPS의 사정권 안입니다.
양자화된 모델에 실제로 필요한 RAM
- ▹1–3B (Q4): ~2–4GB — 가장 작은 인스턴스에 들어가고 CPU 추론도 빠름.
- ▹7B (Q4_K_M): ~4.5–6GB — 단일 사용자 서버의 이상적인 지점.
- ▹13B (Q4_K_M): ~8–10GB — 품질 좋음, CPU에선 토큰이 느림.
- ▹70B (Q4): ~40GB — 전용 하드웨어 영역이지 예산 VPS가 아님.
CPU 서버에서 Ollama 대 llama.cpp
두 런타임 모두 OpenAI 호환 엔드포인트를 노출합니다. Ollama는 설치에서 작동하는 로컬 API까지 가장 빠른 경로입니다 — 포트 11434의 서비스, 이름으로 로드되는 모델. llama.cpp는 느린 머신을 짜내야 할 때 스레드, 컨텍스트 크기, 메모리 압축에 대한 하위 수준 제어를 줍니다.
당신의 것으로 남는 프라이빗 엔드포인트
프라이버시는 구조적입니다: 프롬프트와 응답은 서버를 떠나지 않습니다. 모델 엔드포인트를 127.0.0.1에 묶어두고 공개로 여는 대신 자신의 WireGuard 터널로 접근하세요 — Monero 노드나 RPC 엔드포인트와 같은 패턴입니다.