Key Takeaways
- 로깅/디버깅 비활성화 (쉬움): 약 10% 속도 향상.
- Q4 양자화 사용 (쉬움): 동일한 속도, 더 적은 VRAM.
- 배치 크기 최적화 (중간): 배치 처리 시 2~3배 속도 향상.
- Ollama 대신 vLLM 사용 (어려움): 동시 요청 시 2~5배 속도 향상.
- GPU 메모리 활용률 90% 이상 (중간): 15~20% 속도 향상.
- 모든 기법 조합 시: 총 약 2~3배 속도 향상.
GPU 메모리 활용률이 속도에 미치는 영향
대부분의 도구는 기본적으로 GPU VRAM의 70~80%만 사용하여 나머지 메모리를 유휴 상태로 방치합니다. 90~95%로 늘리면 엔진이 더 많은 KV 캐시를 미리 할당할 수 있어 15~20% 속도 향상이 가능합니다:
# vLLM: increase GPU memory utilization
vllm serve meta-llama/Llama-2-7b-hf \
--gpu-memory-utilization 0.95
# Ollama: environment variable
export OLLAMA_GPU_THRESHOLD=0.95 # Use 95% of GPU
ollama run llama3.2:3b
# LM Studio: Settings → GPU acceleration slider (move to 100%)
처리량을 극대화하는 배치 크기
배치 처리(복수 프롬프트)의 경우, 배치 크기를 1에서 32로 늘리면 처리량이 2~4배 향상됩니다.
단일 요청 = 제한된 파이프라인 활용. 32개 요청 배치 = 2~4배 처리량.
트레이드오프: 개별 요청당 지연 시간이 높아집니다(배치 완료를 기다려야 함).
| Batch Size | Throughput | Latency/Request | Use Case |
|---|---|---|---|
| 1 (단일) | 50 tokens/sec | 최소 | 실시간 채팅 |
| 8 | 120 tokens/sec | 허용 가능 | 경량 동시성 |
| 32 | 200 tokens/sec | 높음 | 배치 API |
| 64+ | 250+ tokens/sec | 매우 높음 | 오프라인 배치 |
가장 빠른 추론 엔진: vLLM vs Ollama vs llama.cpp
vLLM: 동시 요청 처리 시 Ollama보다 5~10배 빠름 — 다수의 사용자에게 서비스하는 프로덕션 API에 적합.
llama.cpp: 소비자용 하드웨어에서 단일 요청 처리가 가장 빠름 — 개인 로컬 환경에 적합.
Ollama: 단일 사용자 환경에서 최고의 개발자 경험 제공; 단일 요청에서 llama.cpp와 비슷한 성능.
Text-Generation-WebUI: 가장 느리지만 기능이 가장 많음 — 실험용에만 적합하며 프로덕션에는 부적합.
양자화가 실제로 추론 속도를 높이는가?
최신 GPU(RTX 40 시리즈)에서 Q4와 Q5는 FP16과 동일한 속도로 실행됩니다 — 속도가 아닌 VRAM 절감을 위해 양자화하십시오.
양자화의 간접적인 속도 이점:
- 더 작은 모델 파일 = 디스크에서 더 빠른 콜드 스타트 로딩
- 줄어든 메모리 대역폭 = 구형 또는 메모리가 제한된 하드웨어에서 약 10~15% 더 빠름
양자화는 주로 VRAM 절감을 위한 것이며 원시 토큰 처리량 향상을 위한 것이 아닙니다.
현실적으로 기대할 수 있는 속도 향상
예시: RTX 4090에서 7B 모델 최적화 — 단계별:
| Change | Speed | Cumulative Gain |
|---|---|---|
| 기본 Ollama (기준) | 120 tok/sec | — |
| 디버그 로깅 비활성화 | 132 tok/sec | +10% |
| GPU 메모리 → 95% | 150 tok/sec | +25% 합계 |
| vLLM으로 전환 (배치) | 300 tok/sec (배치) | +2.5× (배치) |
| 모든 최적화 적용 | 300 tok/sec | +2.5× 처리량 |
흔한 속도 최적화 실수
- GPU 메모리를 100%로 설정. 메모리 부족 충돌 위험이 있습니다. 안전한 최대값은 90~95%입니다.
- 속도를 위해 배치 크기 낮추기. 배치 크기는 단일 요청 지연 시간에 영향을 주지 않습니다. 처리량에만 도움이 됩니다.
- 속도를 위해 과도한 양자화. Q4는 FP16과 속도가 거의 동일합니다. 속도가 아닌 VRAM을 위해 양자화하십시오.
- 배포 도중 추론 엔진 변경. Ollama → vLLM → llama.cpp 전환은 버그를 유발합니다. 하나를 선택하여 최적화하십시오.
자주 묻는 질문
로컬 LLM 추론 속도를 높이는 가장 효과적인 단일 방법은 무엇입니까?
동시 요청 처리를 위해 Ollama에서 vLLM으로 전환하면 가장 큰 단일 속도 향상을 얻을 수 있습니다 — 배치 처리 시 5~10배 처리량 향상. 단일 요청의 경우, GPU 메모리 활용률을 70%에서 90~95%로 높이면 15~20% 속도 향상이 가능합니다. 디버그 로깅 비활성화로 추가 10%를 얻을 수 있습니다.
배치 처리가 단일 요청 지연 시간을 개선합니까?
아닙니다 — 배치 크기는 처리량(모든 요청에 걸친 초당 총 토큰 수)에 영향을 미치며 단일 요청 지연 시간에는 영향을 주지 않습니다. 한 요청의 지연 시간을 줄이려면 GPU 메모리 활용률을 최적화하고 더 빠른 엔진(vLLM 또는 llama.cpp)을 사용하십시오. 배치 크기가 클수록 요청당 대기 시간이 늘어납니다.
vLLM은 Ollama보다 얼마나 빠릅니까?
단일 요청의 경우 vLLM과 Ollama는 비슷한 성능을 보입니다(RTX 4090에서 7B 모델로 약 120~150 tok/sec). 동시 요청의 경우 vLLM은 연속 배치 처리와 PagedAttention 덕분에 5~10배 빠릅니다. 개인/단일 사용자 환경에는 Ollama를, 다수의 사용자에게 서비스하는 API에는 vLLM으로 전환하십시오.
양자화가 추론 속도를 높입니까?
양자화의 주요 이점은 속도가 아닌 VRAM 절감입니다. 최신 NVIDIA GPU(RTX 40 시리즈)에서 Q4와 Q5는 FP16과 동일한 속도로 실행됩니다. 간접적인 속도 이점: 더 작은 Q4 모델은 디스크에서 더 빠르게 로드되며 동일한 VRAM 내에서 약간 더 큰 배치 크기를 허용할 수 있습니다.
최대 속도를 위해 GPU 메모리 활용률을 어떻게 설정해야 합니까?
vLLM에서 GPU 메모리 활용률을 90~95%로 설정하십시오(`--gpu-memory-utilization 0.92`). 이렇게 하면 엔진이 KV 캐시를 위해 더 많은 메모리를 미리 할당하여 처리량이 향상됩니다. 100%는 피하십시오 — 생성이 예측을 초과할 때 OOM 충돌이 발생합니다. 5~10%의 안전 마진은 필수입니다.
첫 번째 프롬프트 이후 로컬 LLM이 왜 느려집니까?
첫 번째 프롬프트는 모델을 VRAM에 로드합니다(콜드 스타트). 이 과정이 10~30초 걸릴 수 있습니다. 이후 프롬프트는 전속력으로 실행됩니다. 세션 사이에 서버를 재시작하지 마십시오. Ollama의 경우 비활성 후 모델 언로딩을 방지하려면 OLLAMA_KEEP_ALIVE=24h를 설정하십시오.
CPU 전용 추론을 의미 있게 가속할 수 있습니까?
제한적인 향상이 가능합니다: llama.cpp에서 -t 플래그로 스레드 수를 물리적 코어 수(논리적 코어 수 아님)로 설정하고, AVX2/AVX-512 명령어 세트를 활성화하며, Q4_K_M 양자화를 사용하십시오. 최신 i9에서 현실적인 상한선은 8~12 tok/sec입니다. 대화형 채팅에서 허용 가능한 지연 시간을 달성하려면 GPU 하드웨어가 유일한 방법입니다.
컨텍스트 길이가 추론 속도에 어떤 영향을 미칩니까?
어텐션 메커니즘이 컨텍스트 길이에 대해 이차적으로 확장되기 때문에 컨텍스트 창이 길수록 추론이 느려집니다. 4K 컨텍스트 프롬프트는 1K 프롬프트보다 약 4배 더 느리게 처리됩니다. 시스템 프롬프트는 500 토큰 미만으로 유지하고 속도를 유지하려면 긴 대화에 컨텍스트 요약을 사용하십시오.
PagedAttention이란 무엇이며 왜 vLLM의 속도를 높입니까?
PagedAttention은 vLLM의 KV 캐시 관리 시스템입니다. 요청당 고정된 메모리 블록을 미리 할당하는 대신 OS의 가상 메모리처럼 메모리를 동적으로 페이징합니다. 이를 통해 VRAM 단편화를 제거하고 더 많은 동시 요청을 허용하며 GPU 활용률을 약 55%(기본)에서 90% 이상으로 향상시킵니다.
GGUF와 safetensors 모델 형식 간에 속도 차이가 있습니까?
있습니다. GGUF(llama.cpp 및 Ollama에서 사용)는 내장 양자화를 통한 CPU/소비자용 GPU 추론에 최적화되어 있습니다. Safetensors(vLLM 및 HuggingFace에서 사용)는 전정밀도 GPU 추론에 더 빠릅니다. FP16을 실행하는 RTX 40 시리즈 GPU에서 safetensors + vLLM은 일반적으로 GGUF + Ollama보다 10~20% 더 빠릅니다.
출처
- vLLM Optimization Guide -- docs.vllm.ai/en/dev_guide/performance_tuning.html
- Ollama Performance Tips -- github.com/ollama/ollama/blob/main/docs/troubleshooting.md