Key Takeaways
- 추론 엔진은 모델 파일을 불러와 토큰을 생성하는 C/C++/Python 소프트웨어입니다. UI 또는 API 계층과는 별개입니다.
- llama.cpp = 경량, CPU 효율적, Ollama의 기반. 최적 사용 환경: 소비자용 노트북, 단일 사용자, 의존성 없음.
- vLLM = 프로덕션급, 최대 GPU 처리량, 배칭 및 분산 추론 지원. 최적 사용 환경: API 서버, 다중 사용자, 고처리량.
- Text-Generation-WebUI = 내장 웹 UI가 있는 기능 풍부한 실험 도구. 최적 사용 환경: 파인튜닝, LoRA 테스트, 고급 설정 조정.
- 2026년 4월 기준으로 vLLM은 프로덕션 사용을, llama.cpp는 소비자 사용을, Text-Generation-WebUI는 연구/파인튜닝 분야를 주도하고 있습니다.
추론 엔진이란 무엇인가?
추론 엔진은 사전 학습된 모델 파일을 불러와 텍스트를 생성하는 데 필요한 수학적 연산을 실행하는 소프트웨어 컴포넌트입니다. 이는 채팅 인터페이스(Open WebUI 또는 Enchanted UI 등)나 API 계층(Ollama REST API 등)과는 다릅니다.
일반적인 로컬 LLM 배포는 세 가지 계층으로 구성됩니다:
1. 모델 파일 (예: llama-3.1-8b.gguf) -- 신경망 가중치.
2. 추론 엔진 (예: llama.cpp, vLLM) -- 모델을 불러와 토큰을 생성.
3. 인터페이스 또는 API (예: REST API, 웹 채팅, VS Code 확장) -- 엔진과 상호작용.
Ollama 자체는 주로 OpenAI 호환 API를 갖춘 llama.cpp의 래퍼입니다. vLLM은 내장 UI가 없는 추론 엔진입니다. Text-Generation-WebUI는 내장 웹 UI가 있는 추론 엔진입니다.
기능 비교: llama.cpp vs vLLM vs Text-Generation-WebUI
| Feature | llama.cpp | vLLM | Text-Gen-WebUI |
|---|---|---|---|
| 유형 | C++ 라이브러리 (경량) | Python 프레임워크 (프로덕션) | Python 앱 (실험용) |
| GPU 지원 | NVIDIA, AMD, Apple Metal | NVIDIA만 (최고 지원) | NVIDIA, AMD, CPU |
| CPU 추론 | 우수 | 불량 | 양호 |
| 처리량 (토큰/초) | 중간 (1-100) | 매우 높음 (100-1000+) | 중간 (1-100) |
| 배칭 지원 | 제한적 | 완전 지원 (100개 이상 배칭) | 제한적 |
| 내장 웹 UI | 없음 | 없음 | 있음 |
| LoRA 파인튜닝 | 직접 지원 불가 | 제한적 | 내장 |
| 양자화 형식 | GGUF, GGML | 전정밀도, 8비트, 4비트 | GGUF, safetensors, fp16 |
| 설정 난이도 | Ollama 경유 (쉬움) | pip install (중간) | GitHub 클론 (중간) |
| 가격 | 무료 | 무료 | 무료 |
llama.cpp 이해하기: 기반 엔진
llama.cpp는 GPU 가속 없이도 소비자용 하드웨어에서 Meta의 Llama 모델을 실행하기 위해 처음 개발된 LLM 추론의 C++ 구현체입니다. 2026년 4월 기준으로도 가장 가볍고 이식성이 높은 추론 엔진으로 남아 있습니다.
llama.cpp가 소비자 사용 분야를 주도하는 이유:
- 최소 메모리 오버헤드 -- CPU만으로 8GB RAM에서 실행 가능.
- 다양한 GPU 백엔드 지원 (NVIDIA, AMD, Apple Metal, Intel).
- GGUF 형식: 70B 모델을 20-40GB로 압축하는 양자화 모델 형식.
- Ollama 내부에서 구동 -- Ollama 실행 시 항상 llama.cpp를 사용하는 것입니다.
llama.cpp는 완전한 애플리케이션이 아닌 라이브러리입니다. Ollama(가장 일반적인 방법)를 통해 또는 이를 통합한 다른 도구를 통해 사용합니다. 고급 튜닝을 위해 llama.cpp를 직접 사용하려면 컴파일 후 커맨드라인 도구나 Python 바인딩으로 상호작용해야 합니다.
vLLM 이해하기: 프로덕션 표준
vLLM은 GPU 클러스터에서 고처리량 추론을 위해 설계된 Python 프레임워크입니다. 배칭, 분산 추론, 고급 스케줄링을 지원하여 API를 통한 모델 서빙에 최적화되어 있습니다.
vLLM이 프로덕션 분야를 주도하는 이유:
- Paged Attention: vLLM은 GPU 활용률을 ~20%에서 ~70%로 개선하여 처리량을 극적으로 증가시키는 새로운 메모리 레이아웃을 사용합니다.
- 배치 처리: 50-100개의 프롬프트를 동시에 처리하여 GPU당 더 많은 사용자를 서빙합니다.
- 분산 추론: 70B 모델을 여러 GPU에 자동으로 분산합니다.
- 폭넓은 모델 지원: HuggingFace 모델(Llama, Qwen, Mistral, Phi 등) 모두 지원.
2026년 4월 기준으로 기업의 대부분 프로덕션 로컬 LLM 배포에 vLLM이 사용됩니다. 단점은 vLLM이 NVIDIA GPU를 필요로 하며 CPU 성능이 낮다는 점입니다.
# vLLM 설치
pip install vllm
# API로 모델 실행
vllm serve meta-llama/Llama-3.3-8B-Instruct \
--host 0.0.0.0 --port 8000 \
--gpu-memory-utilization 0.9
# http://localhost:8000/v1/completions 에서 접근 가능Text-Generation-WebUI 이해하기: 연구자의 도구
Text-Generation-WebUI(oobabooga라고도 불림)는 모델 실험을 위한 웹 인터페이스가 내장된 완전한 기능의 Python 애플리케이션입니다. 파인튜닝, LoRA 학습, 임베딩 생성, 고급 프롬프트 테스트를 위한 내장 도구와 함께 추론 기능을 결합합니다.
연구자들이 Text-Generation-WebUI를 사용하는 이유:
- 내장 LoRA 파인튜닝: 외부 학습 스크립트 없이 베이스 모델 위에 커스텀 LoRA 어댑터를 학습시킵니다.
- 다양한 추론 엔진: llama.cpp, GPTQ, exllama 등 여러 백엔드 간 전환이 가능합니다.
- 캐릭터 롤플레이: 캐릭터 페르소나 생성 및 테스트를 위한 내장 시스템.
- API 노출: 프로그래밍 방식 사용을 위한 FastAPI 인터페이스 제공.
- 확장 에코시스템: 커스텀 워크플로를 위한 커뮤니티 제작 확장.
Text-Generation-WebUI는 프로덕션 서버보다는 연구 및 실험 도구에 가깝습니다. 설정이 더 복잡하지만(GitHub 클론 및 Python 의존성 관리 필요), 일단 실행되면 개발에 매우 강력합니다.
각 엔진의 속도는? 처리량 비교
처리량(초당 토큰 수)은 모델 크기, 하드웨어, 엔진 최적화에 따라 달라집니다. 2026년 4월 기준 소비자용 하드웨어에서의 실제 벤치마크는 다음과 같습니다:
| Scenario | llama.cpp | vLLM | Text-Gen-WebUI |
|---|---|---|---|
| Llama 3.3 8B (RTX 4090 GPU) | 150 토큰/초 | 300 토큰/초 (배칭 시) | 150 토큰/초 |
| Llama 3.3 8B (8코어 CPU) | 5 토큰/초 | 0.5 토큰/초 (사용 불가) | 4 토큰/초 |
| Llama 3.3 70B (RTX 4090 2장) | 20 토큰/초 (단일 GPU) | 100 토큰/초 (분산) | 20 토큰/초 |
| Phi-3 3.8B (M4 MacBook Pro) | 30 토큰/초 | 해당 없음 (Metal 미지원) | 25 토큰/초 |
프로덕션 배포에 적합한 엔진은?
vLLM은 2026년 4월 기준 프로덕션 표준입니다. 프로덕션에서 로컬 LLM API를 운영하는 대부분의 기업은 처리량 최적화와 배칭 지원 덕분에 vLLM을 사용합니다. 단일 vLLM 인스턴스는 하나의 GPU에서 50명 이상의 동시 사용자를 서빙할 수 있으며, llama.cpp의 경우 1-2명에 불과합니다.
그러나 프로덕션 선택은 제약 조건에 따라 달라집니다:
- 제한된 GPU로 하루 100건 이상의 요청 서빙: vLLM 사용 (최고 처리량).
- CPU 또는 Apple Silicon만으로 서빙: Ollama 경유 llama.cpp 사용 (최고 CPU 지원).
- Llama 모델 전용 사용: llama.cpp 또는 vLLM 모두 가능; vLLM이 더 빠릅니다.
- 다양한 모델 형식 사용 (GPTQ, GGUF, safetensors): Text-Generation-WebUI가 모두 지원; vLLM은 전정밀도 또는 특정 양자화 형식 필요.
각 엔진은 언제 선택해야 하는가?
다음 의사결정 프레임워크를 사용하십시오:
- llama.cpp (Ollama 경유): 소비자, 비개발자이거나 CPU/Apple Silicon에 배포하는 경우. 전반적으로 가장 사용하기 쉽습니다.
- vLLM: 50명 이상의 동시 사용자에게 API를 서빙하고, NVIDIA GPU를 보유하며, 최대 처리량이 필요한 경우. 프로덕션 표준.
- Text-Generation-WebUI: 모델을 파인튜닝하거나, LoRA 어댑터를 테스트하거나, 고급 추론 설정을 실험하는 경우. 연구에 최적.
지역별 추론 엔진 선택
추론 엔진의 선택은 서로 다른 규제 관할 구역에 걸쳐 지역 컴플라이언스 및 기업 배포에 직접적인 영향을 미칩니다.
- EU / GDPR: EU 기업 배포의 경우, 온프레미스에서 실행되는 vLLM은 모든 추론을 EU 인프라 내에 유지합니다 -- 토큰, 프롬프트, 출력 중 어느 것도 서버 외부로 전송되지 않습니다. 독일 BSI IT-Grundschutz 컴플라이언스를 위해 vLLM은 프로덕션 엔진으로 권장됩니다. Prometheus 메트릭(/metrics 엔드포인트)을 통한 구조화된 감사 로깅을 제공하며, 모든 모델 버전은 컴플라이언스 문서화를 위해 HuggingFace 모델 ID로 고정 가능합니다. Mistral 모델(Mistral AI, 프랑스, Apache 2.0)은 vLLM 프로덕션 배포를 위한 EU 선호 선택입니다 -- EU 출처, 명확한 라이선스, 우수한 성능. vLLM 명령어: `vllm serve mistralai/Mistral-7B-Instruct-v0.3`
- 일본 (METI): METI AI 거버넌스는 추론 인프라 문서화를 요구합니다. vLLM의 구조화된 Prometheus 메트릭은 llama.cpp의 stdout 로깅보다 감사 추적 요건을 더 잘 충족합니다. 일본 기업 배포의 경우, vLLM을 통한 Qwen3 7B가 권장 스택입니다 -- 네이티브 일본어 토크나이제이션과 프로덕션 처리량을 결합합니다. vLLM 명령어: `vllm serve Qwen/Qwen3-7B-Instruct`
- 중국: 중국 데이터 안전법(数据安全法)에 따라 민감한 데이터에 대한 모든 추론은 온프레미스에서 이루어져야 합니다. vLLM은 Alibaba Cloud A10 및 A100 GPU 인스턴스와 호환됩니다. Qwen3(Alibaba) 모델은 vLLM에 네이티브로 최적화되어 최고의 중국어 처리량을 제공합니다. 중국 기업 프로덕션 표준: 2026년 4월 기준 Alibaba Cloud에서의 vLLM + Qwen3 14B.
추론 엔진 사용 시 자주 하는 실수
- Ollama와 이러한 엔진 중에서 선택해야 한다고 생각하는 것. Ollama는 내부적으로 llama.cpp를 사용합니다. Ollama vs vLLM을 선택하는 것이 아닙니다. vLLM은 채팅 앱이 아닌 Ollama의 대안 *백엔드*입니다. 각각 용도가 있습니다.
- CPU에서 vLLM이 더 빠르다고 가정하는 것. vLLM은 CPU 성능이 낮습니다. llama.cpp는 CPU에서 10배 빠릅니다. vLLM을 선택하기 전에 GPU 가용성을 확인하십시오.
- 노트북 GPU에서 vLLM 실행. vLLM은 데이터센터 GPU(RTX 4090, A100)에 최적화되어 있습니다. 소비자용 GPU에서는 vLLM의 배칭 스케줄러 오버헤드가 단일 요청 성능을 오히려 저하시킬 수 있습니다. 노트북에는 llama.cpp를 사용하십시오.
- 추론 처리량이 사용자 경험 지연 시간과 동일하다고 착각하는 것. vLLM은 100개의 요청을 배칭할 수 있지만, 각 요청은 여전히 토큰을 생성하는 데 시간이 걸립니다. 높은 처리량이 낮은 지연 시간을 의미하지는 않습니다.
- Text-Generation-WebUI의 의존성을 잘못 설치하는 것. GitHub 지침은 Git, Python 3.10+, pip가 설치되어 있다고 가정합니다. Windows에서는 종종 자동으로 실패합니다. 클론하기 전에 항상 Python 버전을 확인하십시오.
추론 엔진에 관한 자주 묻는 질문
모델을 변경하지 않고 추론 엔진을 교체할 수 있습니까?
대부분의 경우 가능합니다. GGUF 형식의 모델 파일은 llama.cpp(Ollama) 및 Text-Generation-WebUI와 호환됩니다. vLLM은 전정밀도 또는 특정 양자화 형식이 필요합니다. HuggingFace safetensors 모델은 세 가지 모두와 호환됩니다.
Mac에 가장 적합한 엔진은 무엇입니까?
Ollama 경유 llama.cpp입니다. Apple Silicon(M 시리즈) 최적화가 우수합니다. vLLM은 Metal(Apple GPU)을 지원하지 않으므로 CPU 성능이 낮습니다. Text-Generation-WebUI는 Mac에서 작동하지만 Ollama보다 느립니다.
vLLM은 Ollama의 일부입니까?
아닙니다. Ollama는 내부적으로 llama.cpp를 사용합니다. vLLM은 UC Berkeley가 개발한 별도의 추론 엔진입니다. 각각 다른 목적을 가집니다: Ollama는 간편함을 위한 것이고, vLLM은 프로덕션 처리량을 위한 것입니다.
GPU 없이 vLLM을 사용할 수 있습니까?
기술적으로는 가능하지만 사용할 수 없을 정도로 느립니다. vLLM은 GPU용으로 설계되었습니다. CPU 전용 배포에는 llama.cpp(Ollama)를 사용하십시오.
Text-Generation-WebUI를 프로덕션으로 확장할 수 있습니까?
권장하지 않습니다. Text-Generation-WebUI는 연구 도구이지 프로덕션 서버가 아닙니다. 프로덕션 서비스에 필요한 로드 밸런싱, 모니터링, 분산 추론 등의 기능이 부족합니다. 프로덕션에는 vLLM을 사용하십시오.
Paged Attention이란 무엇이며 왜 중요합니까?
Paged Attention은 운영 체제의 가상 메모리 개념을 차용한 vLLM의 메모리 관리 시스템입니다. 요청당 고정된 연속 GPU 메모리 블록을 할당하는 대신, 요청 간에 공유하고 재사용할 수 있는 페이지 단위로 메모리를 할당합니다. 이를 통해 GPU 메모리 활용률이 ~20%에서 ~70%로 향상되어, 단순한 어텐션 구현에 비해 GPU당 3-4배 더 많은 동시 사용자를 서빙할 수 있습니다. 이것이 다중 사용자 시나리오에서 vLLM이 llama.cpp보다 뛰어난 성능을 발휘하는 핵심 이유입니다.
RAM이 8GB밖에 없다면 어떤 엔진을 사용해야 합니까?
Ollama 경유 llama.cpp입니다. 전체 RAM 8GB 기준으로 Q4_K_M의 7B 모델은 약 4.7GB를 사용합니다. llama.cpp는 CPU에서 ~5 tok/sec, 전용 GPU에서 ~80 tok/sec로 이를 잘 처리합니다. vLLM은 상당히 더 많은 오버헤드를 필요로 하며 소비자용 RAM에서 성능이 낮습니다. Text-Generation-WebUI도 사용 가능하지만 Ollama보다 오버헤드가 더 큽니다.
동일한 머신에서 vLLM과 Ollama를 동시에 실행할 수 있습니까?
VRAM이 충분하다면 가능합니다. 서로 다른 포트에서 실행하십시오(vLLM 기본값: 8000, Ollama 기본값: 11434). 일반적인 구성: Ollama는 빠른 단일 사용자 채팅 요청을 처리하고, vLLM은 배치 API 요청을 처리합니다. 그러나 VRAM을 두 배로 늘리지 않고는 동일한 모델을 동시에 불러올 수 없습니다. 워크로드에 따라 어떤 서비스를 활성화할지 관리하십시오.
출처
- Gerganov, G. (2024). "llama.cpp GitHub." https://github.com/ggerganov/llama.cpp -- C++ 추론 엔진 소스 코드 및 양자화 문서.
- vLLM Team. (2024). "vLLM GitHub." https://github.com/vllm-project/vllm -- 프로덕션 추론 엔진 소스 코드 및 API 서버 문서.
- Kwon et al. (2023). "Efficient Memory Management for Large Language Model Serving with PagedAttention." https://arxiv.org/abs/2309.06180 -- vLLM 메모리 관리 방식을 설명하는 원본 Paged Attention 논문.
- oobabooga. (2024). "Text-Generation-WebUI GitHub." https://github.com/oobabooga/text-generation-webui -- Text-Generation-WebUI 소스 코드 및 설치 가이드.