로컬 LLM에 VRAM이 얼마나 필요합니까? 7B~70B 차트 (2026)

공식이 복잡하십니까? 이 간단한 규칙을 사용하십시오:

VRAM 예산을 파악하셨다면, 각 등급에 맞는 GPU를 확인하십시오 →

VRAM (GB) = (모델 크기(십억 단위) × 4바이트 × 양자화 계수)

• 모델 크기: 파라미터 수(7B, 13B, 70B 등)

• 4바이트: FP32 정밀도(1바이트 = 8비트)

• 양자화 계수: 1.0(FP32), 0.5(Q8), 0.25(Q4)

예시: Llama 3 70B, FP32, 양자화 없음:

700억 × 4바이트 = 280GB. 비실용적입니다.

Llama 3 70B, Q4(4비트) 양자화:

700억 × 4바이트 × 0.25 = 70GB 할당, 압축 후 약 24GB 사용.

MoE 모델(희소형): 활성 파라미터가 연산을 처리하지만, 모든 전문가는 VRAM에 로드된 상태를 유지해야 합니다. 예시: Llama 4 Scout는 109B의 총 파라미터에서 토큰당 17B가 활성화됩니다. Q4에서도 모든 전문가를 보관하기 위해 약 55GB의 VRAM이 필요하며, 공격적인 1.78비트 양자화(약 20 tok/s)에서만 24GB GPU에 들어맞습니다. 연산은 저렴하지만, 메모리가 제약 조건입니다.

Mixture-of-Experts(MoE) 모델은 파라미터를 여러 "전문가" 서브네트워크에 분산시키고 각 토큰에 대해 일부만 활성화합니다. 활성 파라미터는 연산을 줄이고 추론을 빠르게 하지만, 대부분의 MoE 모델에서 모든 전문가는 여전히 VRAM에 로드되어 있어야 합니다 — 따라서 메모리 사용량은 활성 파라미터가 아닌 총 파라미터를 기준으로 합니다.

밀집 모델 규칙: VRAM = 총_파라미터 × 파라미터당_바이트

MoE 모델 규칙(연산): 활성_파라미터가 초당 토큰 수를 결정합니다 — 하지만 VRAM은 여전히 총 상주 가중치에 따라 확장됩니다.

예시: Llama 4 Scout는 109B의 총 파라미터에서 토큰당 17B만 활성화됩니다. 크기 대비 빠르지만, Q4에서 모든 전문가를 보관하기 위해 여전히 약 55 GB의 VRAM이 필요합니다 — 공격적인 1.78비트 양자화(RTX 4090에서 약 20 tok/s)를 사용하지 않는 한 단일 24 GB GPU로는 불가능합니다.

일부 런타임은 비활성 전문가를 시스템 RAM으로 스트리밍하거나 오프로드할 수 있어, 속도를 희생하면서 VRAM 사용을 줄일 수 있습니다. 핵심 결론: MoE 모델이 활성 파라미터 크기의 VRAM에 들어맞는다고 가정하지 마십시오 — 선택한 양자화 수준에서 실제 온디스크 크기를 확인하십시오.

양자화는 각 모델 파라미터를 표현하는 데 필요한 비트 수를 줄입니다.

• FP32(32비트 부동소수점): 완전 정밀도. 파라미터 1개 = 4바이트. 손실 없음. 가장 느림.

• Q8(8비트): 파라미터 1개 = 1바이트. 약 6% 정확도 손실. 75% VRAM 절감.

• Q5(5비트): 파라미터 1개 = 0.625바이트. 약 2% 정확도 손실. 84% VRAM 절감.

• Q4(4비트): 파라미터 1개 = 0.5바이트. 약 1% 정확도 손실. 87.5% VRAM 절감.

대부분의 사용자에게 Q4가 최적점입니다: 감지하기 어려운 정확도 손실, 87% 더 작은 VRAM 공간.

2026년 4월 기준, Q4가 표준입니다. 여유 VRAM이 있고 약간의 품질 향상을 원하시면 Q5와 Q8도 사용 가능합니다.

VRAM은 모델 크기를 결정하지만, 프롬프트 설계가 출력 품질을 결정합니다. 연쇄 사고(chain-of-thought) 및 퓨샷(few-shot) 프롬프팅과 같은 기법은 소규모 모델과 대규모 모델 간의 품질 격차를 줄일 수 있습니다. 하드웨어가 지원하는 모델에서 더 많은 것을 얻으려면 프롬프트 엔지니어링 툴킷을 살펴보십시오. 12~16 GB VRAM이 있고 해당 툴킷을 적용할 구체적인 코딩 작업이 필요하다면, 로컬 LLM으로 GitHub Copilot 대체하기에서 Continue.dev + Ollama + Qwen3-Coder 스택을 정확히 해당 VRAM 등급에 맞게 설명합니다.

배치 크기는 처리량(초당 토큰 수)에 영향을 미치며, 단일 추론 지연 시간에는 영향을 주지 않습니다.

"2+2는 얼마입니까?"라고 묻는 단일 사용자는 배치 크기가 1이든 32이든 동일한 VRAM을 사용합니다.

배치 크기 = 32는 32개의 프롬프트를 병렬로 처리한다는 의미입니다. 이는 약 32배 더 많은 VRAM을 사용하지만, 32개의 응답을 더 빠르게 생성합니다.

단일 사용자(일반적인 로컬 LLM 사용): 배치 크기 = 1. VRAM은 모델 크기 + 1~2GB 오버헤드.

다중 사용자 서버: 배치 크기 × 모델 VRAM을 할당하십시오. batch=4의 70B 모델은 약 96GB(24GB × 4)가 필요합니다.

예. 모델 가중치 외에 추가하십시오:

• KV 캐시(컨텍스트용 키-값 캐시): 약 5~10% 추가 VRAM.

• 옵티마이저 상태(파인튜닝 시): 모델 크기의 2~4배(학습에만 해당, 추론에는 무관).

• 시스템 오버헤드(OS, 드라이버, Ollama/LM Studio 런타임): 약 1~2GB.

규칙: 70B 모델 Q4(20GB) + KV 캐시(2GB) + 시스템(2GB) = 약 24GB 할당.

항상 이론적 최소치보다 최소 1~2GB 여유가 있는 GPU를 구매하십시오.

모델 크기와 양자화를 선택하여 VRAM 요구 사항을 추정하십시오.