LLM 양자화 완전 해설: Q4_K_M vs Q4_0 vs Q8_0 (2026)

양자화는 16비트 모델 가중치(FP16)를 4비트 또는 8비트 정수로 변환하여 RAM을 50–75% 줄이며, Q4_K_M 기준 품질 손실은 1–3%에 불과합니다. 대형 언어 모델은 학습된 지식을 수십억 개의 수치 가중치로 저장합니다. 기본적으로 이 가중치는 16비트 부동소수점(FP16), 즉 가중치당 2바이트로 저장됩니다. 7B 모델은 70억 개의 가중치를 가지므로 FP16 파일 크기는 약 14 GB입니다.

양자화는 이 16비트 부동소수점을 낮은 정밀도의 정수로 대체합니다. 4비트 양자화에서는 가중치 하나에 2바이트 대신 0.5바이트를 사용하여 메모리를 가중치 단독 기준 약 3.5 GB로 줄입니다. 메타데이터 오버헤드를 포함하면 Q4_K_M으로 양자화된 7B 모델은 약 4.5 GB입니다.

이것이 로컬 추론에서 중요한 이유는 소비자용 하드웨어의 RAM이 제한되어 있기 때문입니다. 양자화 없이는 7B 모델을 실행하는 데 16 GB RAM이 필요합니다. Q4_K_M 양자화를 적용하면 동일한 모델을 6 GB RAM으로 실행할 수 있어 대부분의 최신 노트북에서도 사용 가능합니다.

Q4_K_M은 llama.cpp와 Ollama에서 사용되는 4비트 GGUF 양자화 형식입니다. "K"는 K-퀀트(혼합 정밀도)를 사용함을 의미하며, "M"은 미디엄(medium), 즉 모델 크기·속도·품질 손실 간의 균형을 나타냅니다. Q4_K_M은 대부분의 가중치를 4비트로 저장하지만, 가장 민감한 레이어에는 6비트를 사용하여 순수 4비트 Q4_0보다 우수한 품질 대비 크기 비율을 제공합니다.

4비트 Q4_K_M은 표준 권장 사항으로, 7B 모델 기준 약 4.5 GB RAM과 FP16 대비 1–3% 품질 손실을 제공합니다. 양자화 이름은 Q{비트수}_{변형} 패턴을 따릅니다. 비트 수는 가중치 정밀도이고, 변형은 양자화 적용 방식에 영향을 줍니다.

이 계산기를 사용하면 모델, 양자화, 컨텍스트, 배치 크기의 모든 조합에 대해 정확한 VRAM 요구량을 계산할 수 있습니다. 구성을 선택하면 어떤 GPU에 적합한지 확인할 수 있습니다.

Q8_0은 사실상 무손실에 가까운 8비트 GGUF 양자화 형식입니다 — FP16 대비 품질 저하가 0.5% 미만이며, 파일 크기는 대략 절반입니다. 각 가중치는 8비트와 블록당 작은 스케일 값으로 저장되므로, 7B 모델은 FP16의 약 14 GB 대신 약 7.7 GB가 됩니다. K-퀀트(Q4_K_M, Q5_K_M)와 달리 Q8_0은 모든 가중치에 균일한 8비트 정밀도를 사용합니다 — 8비트만으로 이미 거의 모든 정보가 보존되므로 혼합 정밀도의 "K" 변형이 존재하지 않습니다.

Q4_0 대신 Q4_K_M을 선택하십시오. 둘 다 가중치당 평균 4비트를 사용하지만, Q4_K_M은 가장 민감한 레이어를 6비트로 저장하는 K-퀀트로, 7B 모델 기준 동일한 약 4.5 GB 용량에서 5–8%의 품질을 회복합니다. Q4_0은 초기 llama.cpp의 원래 균일 4비트 형식이며, 오늘날에는 레거시 호환성을 위해서만 존재합니다. Q4_K_M을 사용할 수 있다면 Q4_0을 선택할 크기나 속도상의 이유는 없습니다.

Q4_K_M은 llama.cpp의 표준 4비트 K-quant입니다. Q4_K_XL은 표준 형식이 아니라 Unsloth의 "Dynamic" GGUF 변형으로, 4비트 기반을 유지하면서 가장 민감한 레이어(임베딩, 어텐션, 출력)만 더 높은 정밀도로 올립니다. 파일 크기와 품질은 Q4_K_M과 Q5_K_M 사이에 위치합니다. Q8_K_XL이 Q8_0에 대해 적용하는 것과 같은 원리를 4비트 기반에 적용한 것입니다.

Q4_K_XL의 정확한 파일 크기는 모델마다, 그리고 Unsloth가 몇 개 레이어를 올렸는지에 따라 달라집니다. 고정된 수치를 가정하지 말고 LM Studio나 Hugging Face에 표시된 크기를 내려받기 전에 확인하세요. 실용적인 기준은 이렇습니다. Q5_K_M이 VRAM에 들어가면 Q5_K_M을 고르십시오. 표준 형식이라 도구 지원이 넓습니다. Q4_K_XL은 Q4_K_M은 들어가지만 Q5_K_M이 아슬아슬하게 들어가지 않을 때의 중간 단계입니다.

Q4_K_M과 Q4_K_S는 둘 다 4비트 K-퀀트이며, 차이는 몇 개의 레이어가 더 높은 정밀도를 유지하는지에 있습니다. Q4_K_M(Medium)은 더 많은 민감한 레이어를 6비트로 유지하는 반면, Q4_K_S(Small)는 더 많은 가중치를 4비트로 밀어넣어 7B 모델 기준 약 0.3–0.4 GB를 절약합니다. llama.cpp에서 측정한 결과, Q4_K_S는 7B에서 약 +0.11의 퍼플렉시티를 추가하는 반면 Q4_K_M은 +0.05입니다 — 약 3–5% 더 많은 품질 손실입니다. 그 몇백 메가바이트가 모델이 VRAM에 들어가는지 여부를 결정할 때만 Q4_K_S를 선택하십시오.

대부분의 채팅 및 작문 작업에는 Q4_K_M이 더 나은 절충안입니다 — 7B 모델 기준 약 4.5 GB를 사용하는 반면 Q8_0은 약 7.7 GB를 사용하며, 품질 손실 차이는 1–3%에 불과합니다. 작은 오류가 누적되는 코딩, 수학, 에이전트형 도구 사용에서 최고의 충실도가 필요할 때는 Q8_0(16+ GB VRAM 필요)을 선택하십시오. Q8_0은 FP16 대비 0.5% 미만의 손실이 있고, Q4_K_M은 1–3% 손실이 있습니다. 이 차이는 일상적인 사용에서는 체감하기 어렵지만 정밀한 수치 추론에서는 중요할 수 있습니다.

Q8_0은 llama.cpp의 표준 8비트 퀀트입니다 — 모든 가중치가 8비트이며, 7B 모델 기준 약 7.7 GB, FP16 대비 손실은 0.5% 미만입니다. Q8_K_XL은 표준 llama.cpp 유형이 아닙니다: Unsloth의 "Dynamic" GGUF 변형으로, 8비트 기반을 유지하면서 가장 민감한 레이어(임베딩, 어텐션, 출력)를 16비트(BF16/F16)로 업캐스트하여 파일 크기를 약간 늘리는 대신 품질을 완전한 FP16에 더 가깝게 만듭니다. Q8_K_XL은 정밀도의 마지막 몇 분의 1 퍼센트를 원하고 여유 VRAM이 있는 사용자를 대상으로 합니다.

Q8_K_XL의 정확한 파일 크기는 모델과 Unsloth가 업캐스트하는 레이어 수에 따라 달라지므로, 다운로드 전에 사용 중인 도구(LM Studio 또는 Hugging Face)에 표시된 크기를 확인하십시오. 7B–8B 모델의 경우 Q8_0보다 약간 큰 것을 예상하십시오. 매우 큰 모델에서는 그 차이가 더 커집니다. Q8_0이 대부분의 사용자에게 이미 사실상 무손실이므로, Q8_K_XL은 특별히 최고의 충실도가 필요하고 추가 VRAM이 여유로울 때만 가치가 있습니다.

GGUF(GPT-Generated Unified Format)는 양자화된 LLM 가중치를 위한 단일 파일 표준으로, 모델 가중치·메타데이터·토크나이저를 포함하며 Ollama, LM Studio, llama.cpp에서 사용됩니다. llama.cpp 프로젝트에서 만들었으며 구형 GGML 형식을 대체합니다.

GGUF 파일에는 양자화된 모델 가중치, 모든 모델 메타데이터(아키텍처, 토크나이저, 컨텍스트 길이), 형식 버전 번호가 포함됩니다. 이 자급자족 설계 덕분에 단일 `.gguf` 파일만으로 모델을 실행할 수 있습니다. 별도의 토크나이저 파일이나 설정 JSON이 필요하지 않습니다.

2026년 8월 기준, GGUF는 Ollama, LM Studio, Jan AI, GPT4All의 표준 형식입니다. `ollama pull llama3.1:8b`를 실행하면 Ollama가 내부적으로 GGUF 파일을 다운로드합니다. LM Studio에서 표시되는 모델 파일 크기는 GGUF 파일 크기입니다.

양자화 수준은 파일명에 포함됩니다: `Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf`는 Llama 3.1 8B의 Q4_K_M 양자화 GGUF 파일입니다.

Q4_K_M은 FP16 대비 MMLU 벤치마크에서 1–3% 손실이 발생하며 대부분의 실용적 작업에서 차이를 체감하기 어렵습니다. Q3_K_S는 5–10% 손실로 수학 및 추론 작업에서 차이가 눈에 띕니다. 양자화로 인한 품질 손실은 전체 정밀도와 양자화 버전의 벤치마크 점수를 비교하여 측정합니다. 2026년 8월 기준 검증된 결과는 다음과 같습니다.

양자화는 메모리 사용량을 줄이지만 출력 품질이 저하될 수 있습니다. 잘 설계된 프롬프트로 보완이 가능합니다: 퓨샷 예시 및 명시적 출력 제약 조건 같은 기법은 양자화된 모델의 정확도 유지에 도움이 됩니다. 모든 양자화 수준에서 효과적인 방법은 프롬프트 엔지니어링 기법을 참고하십시오.

모델 크기만이 아닌 사용 가능한 VRAM을 기준으로 선택하십시오. 아래 표는 하드웨어 제약에 따라 선택할 양자화를 보여줍니다.

LM Studio(데스크톱 앱)는 각 모델 다운로드에 대해 사용 가능한 양자화 변형을 표시합니다. 모델을 검색하면 Q2_K, Q3_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0 등 여러 GGUF 옵션을 볼 수 있습니다.

1단계: LM Studio 열기 → "Local Models" 탭으로 이동. 모델 검색 (예: "Llama 3.1 8B"). 2단계: 각 모델에 사용 가능한 양자화가 표시됩니다. 파일 크기를 확인하여 VRAM 사용량을 추정하십시오. 7B 모델의 Q4_K_M은 보통 약 4.5 GB로 표시됩니다. 3단계: 선택한 양자화 옆의 다운로드 아이콘을 클릭하십시오.

LM Studio 기본 권장 사항:

• GPU VRAM 6–8 GB (RTX 4060, RTX 3060 Ti, RTX 4060 Ti): Q4_K_M 변형을 다운로드하십시오 (허용 가능한 품질의 가장 작은 파일).

• GPU VRAM 12–16 GB (RTX 4070, RTX 4080): Q5_K_M 또는 Q6_K를 다운로드하십시오 (더 나은 품질, VRAM 내 충분히 실행 가능).

• GPU VRAM 24+ GB (RTX 4090, RTX 5090): Q8_0 또는 FP16을 다운로드하십시오 (최고 품질, 속도 페널티 최소).

LM Studio의 "GPU offload" 기능: 채팅 인터페이스에서 "Use GPU" 토글을 확인하십시오. LM Studio는 VRAM이 허용하는 한 최대한 많은 모델 레이어를 GPU로 이동하고, 나머지는 CPU RAM으로 오프로드합니다. 시스템 RAM이 충분하다면 GPU VRAM보다 약간 큰 모델도 실행할 수 있습니다 (예: 64+ GB 시스템 RAM이 있는 RTX 4090에서 Llama 3.3 70B Q4_K_M).

VRAM이 가득 찼을 때 모델은 레이어를 시스템 RAM으로 오프로드(이동)할 수 있습니다. 오프로딩은 속도를 희생하고 용량을 확보합니다.

시나리오: RTX 4090 (24 GB)에서 70B Q4 모델 실행. 모델에 35 GB가 필요한 경우, 오프로딩을 사용하면 약 5–10 토큰/초로 실행 가능합니다 (80%를 RAM으로 이동).

오프로딩은 최후의 수단입니다 — 추론을 실용적이지 않게 만듭니다. 오프라인 배치 처리나 실험 목적으로만 사용하십시오.

현대 추론 엔진(vLLM, llama.cpp)은 모델을 여러 GPU에 자동으로 분할할 수 있습니다. 고급 설정에 대해서는 멀티 GPU 로컬 LLM을 참고하십시오.

예시: 2× RTX 4090으로 70B 모델 실행:

• 분할 없이: 불가능 (단일 GPU에 40+ GB VRAM 필요).

• 분할 시: 각 GPU에 절반의 모델 가중치 할당. 추론 속도: 약 100 토큰/초 (통신 오버헤드 최소).

레이어 분할은 프로덕션 배포에 실용적이며 사용자에게 투명하게 작동합니다.

KV 캐시 양자화는 추론 중 어텐션 키-값 쌍을 저장하는 데 필요한 메모리를 줄이며, 특히 긴 컨텍스트(32K+ 토큰) 처리 시 중요합니다. 모델 가중치 양자화(Q4_K_M)가 가장 일반적이지만, KV 캐시 양자화는 다른 메모리 병목 지점을 처리합니다.

추론 중 모델은 컨텍스트의 각 토큰에 대한 실행 키-값(KV) 쌍을 유지합니다. 32K 토큰 컨텍스트를 처리하는 7B 모델의 경우, KV 캐시만으로 정밀도에 따라 8–16 GB의 VRAM을 소비할 수 있습니다. 표준 KV 캐시는 FP16(값당 2바이트)를 사용하며, KV 캐시를 FP8 또는 Q8로 양자화하면 50% 절약됩니다.

KV 캐시 양자화 활성화 방법:

• Ollama: 호환 모델에서 자동 적용되며 별도 설정이 필요하지 않습니다.

• LM Studio: 설정에서 "KV cache quantization" 토글을 확인하십시오(버전에 따라 제공 여부 다름).

• llama.cpp: 서버 시작 시 `--cache-type-k q8_0 --cache-type-v q8_0`(짧은 형태는 `-ctk q8_0 -ctv q8_0`)을 지정합니다. `q8_0` 대신 `q4_0`을 쓰면 KV 캐시가 한 번 더 절반으로 줄어듭니다.

트레이드오프: KV 캐시 양자화는 품질에 미치는 영향이 최소화됩니다(공격적인 양자화에서도 1% 미만 저하). 어텐션 패턴은 모델 가중치보다 낮은 정밀도에 더 강건하기 때문입니다. 제한된 하드웨어에서 16K+ 컨텍스트를 처리하는 모델에 권장됩니다.

세 가지 기법을 모두 결합하면 최상의 결과를 얻을 수 있습니다. 구체적인 하드웨어 계획을 위해서는 VRAM 요구 사항 가이드를 참고하십시오.

시나리오 1: 단일 RTX 4090 (24 GB)에서 70B 실행

• Q4로 양자화 (35 GB → 18 GB)

• 나머지 6 GB 오프로딩 (시스템 RAM으로)

• 결과: 약 8–10 토큰/초 (느리지만 작동함)

시나리오 2: 2× RTX 4090에서 70B 실행

• Q5로 양자화 (43.75 GB)

• 2개의 GPU에 레이어 분할 (각 22 GB)

• 결과: 약 100 토큰/초 (실용적)

각 기법은 VRAM 절감을 속도 페널티와 교환합니다. 양자화는 영향이 최소적이며, 오프로딩은 5–10배 속도 저하를 초래하고, 레이어 분할은 약 5% 오버헤드를 추가합니다.

M5 Ultra 탑재 Mac Studio($5,499부터, 96 GB 통합 메모리 기본 탑재, 최대 512 GB)는 Llama 3.3 70B를 Q4로 네이티브 실행할 수 있습니다 — 오프로딩도 레이어 분할도 필요하지 않습니다.

애플은 2026년 8월 25일 두 가지 칩으로 Mac Studio 라인업을 새로 선보였습니다: M5 Max($2,499부터, 최대 128 GB 통합 메모리, 애플이 공개한 사양 기준 최대 614 GB/s 대역폭)와 M5 Ultra($5,499부터 96 GB, 최대 512 GB, 애플이 공개한 사양 기준 최대 1.2 TB/s 대역폭)입니다. 두 칩 모두 이전 M2 Ultra 세대(최대 192 GB, 약 800 GB/s)를 대체합니다. DDR5 시스템 RAM 오프로딩은 여전히 약 90 GB/s로 제한됩니다 — 이 대역폭 격차가 70B급 모델에서 통합 메모리가 오프로딩보다 우수한 이유입니다.

M5 Max와 M5 Ultra에 대한 독립적인 처리량 벤치마크는 아직 존재하지 않습니다. 표준 구성은 2026년 9월 22일 출시되며, M5 Ultra의 512 GB 구성은 2026년 10월 말 출시됩니다. PromptQuorum은 이 하드웨어를 테스트하지 않았습니다 — 따라서 독립적인 측정값이 나올 때까지 신규 칩의 초당 토큰 수치는 표기하지 않습니다.