GGUF 대 GPTQ 대 AWQ: 어떤 양자화 형식을 사용해야 하는가?
빠른 답변
Ollama나 llama.cpp를 통한 로컬 사용에는 GGUF를 사용하십시오 — 추가 요건 없이 CPU와 GPU에서 실행됩니다. vLLM이나 TGI로 프로덕션에서 서빙한다면 GPTQ보다 AWQ를 사용하십시오. 동일한 비트 폭에서 품질을 더 잘 유지하기 때문입니다.
- ▸GGUF: llama.cpp의 네이티브 형식 — CPU+GPU 하이브리드 추론이며 Ollama와 LM Studio의 기본값입니다.
- ▸GPTQ: GPU 전용, 캘리브레이션 기반 사후 훈련 양자화 — 효율적인 4비트 서빙의 초기 표준입니다.
- ▸AWQ(활성화 인식 가중치 양자화): GPU 전용으로 일반적으로 GPTQ보다 비트당 품질이 우수하며 vLLM/TGI 프로덕션 서빙에서 흔합니다.
업데이트: 2026-07
핵심 요점
- ✓GGUF: 로컬 사용의 올바른 기본값 — llama.cpp/Ollama를 통해 CPU와 GPU에서 실행되며 CUDA 전용 요건이 없습니다
- ✓GPTQ: GPU 전용으로 4비트 서빙의 초기 표준이며 ExLlama와 vLLM에서 여전히 지원됩니다
- ✓AWQ: GPU 전용으로 동일한 비트 폭에서 일반적으로 GPTQ보다 품질을 더 잘 유지하며 프로덕션 서빙에 선호됩니다
- ✓Ollama나 LM Studio를 로컬로 실행한다면 거의 확실히 GPTQ나 AWQ가 아니라 GGUF가 필요합니다
최적의 선택: 로컬 사용에는 GGUF, 프로덕션 서빙에는 AWQ
GGUF는 Ollama, LM Studio, 또는 llama.cpp를 통해 직접 로컬로 모델을 실행하는 거의 모든 사람에게 올바른 양자화 형식입니다 — 동일한 파일에서 CPU와 GPU 추론을 모두 지원하며, 모델이 VRAM에 완전히 맞지 않을 때 부분적인 CPU 오프로드도 포함합니다. 이러한 유연성이 바로 GGUF가 소비자용 로컬 LLM 도구의 표준 형식이 된 이유입니다. 강력한 GPU가 있든, 적당한 GPU가 있든, 아예 없든 작동합니다.
GPTQ는 효율적인 GPU 추론을 위해 가장 먼저 널리 채택된 4비트 양자화 방법 중 하나였습니다. 캘리브레이션 데이터셋을 사용해 사후 훈련 양자화 중 품질 손실을 최소화하지만, GPU 전용입니다 — 의미 있는 CPU 폴백 경로가 없습니다 — 그리고 일반적으로 비트당 품질에서 더 새로운 방법에 밀려났습니다.
AWQ(활성화 인식 가중치 양자화)는 GPTQ의 더 현대적인 GPU 전용 대안입니다. 모든 것을 균일하게 양자화하는 대신 활성화 크기에 가장 중요한 가중치를 보호함으로써, AWQ는 일반적으로 동일한 비트 폭에서 더 많은 품질을 보존합니다. GPU 전용 운영이 이미 전제인 vLLM과 TGI 같은 프로덕션 서빙 스택에서 흔한 선택입니다.
한눈에 보는 GGUF 대 GPTQ 대 AWQ
Ollama, LM Studio, 또는 llama.cpp를 로컬로 실행한다면 GGUF를 선택하십시오 — 세 형식 중 실질적인 CPU 지원과 부분 오프로드 유연성을 갖춘 유일한 형식입니다. 특별히 이를 기대하는 기존 파이프라인이나 도구(구형 ExLlama 설정 같은)로 작업하는 경우에만 GPTQ를 선택하십시오. 프로덕션 GPU 서빙 스택(vLLM, TGI)에 배포하며 GPU 전용 옵션 중 최고의 비트당 품질을 원한다면 AWQ를 선택하십시오.
세 형식 모두 동일한 기본 모델을 감소된 정밀도로 나타냅니다 — 형식이 결정하는 것은 어떤 도구가 이를 로드할 수 있는지와 GPU 메모리 부족을 얼마나 우아하게 처리하는지이지, 모델의 근본적인 성능이 아닙니다.
관련 읽을거리
- ▸Q4_K_M 양자화란 무엇인가? — GGUF의 가장 흔한 양자화 수준 설명
- ▸Q4_K_M 대 Q8_0 — GGUF 양자화 수준 선택하기
- ▸Ollama 대 vLLM 대 TGI — 각 도구가 어떤 형식과 짝을 이루는지