로컬 LLM에 VRAM이 얼마나 필요합니까?

모델 크기별 VRAM 요구사항

모델의 VRAM 필요량은 실제 GGUF 파일 크기로 검증된 단순한 계산식을 따릅니다: 파라미터 수(십억 단위) × 0.6 = Q4 양자화 기준 대략적인 GB. 8B 모델은 가중치에 약 4.8 GB가 필요하며, 컨텍스트 오버헤드로 0.5~1 GB가 추가됩니다. 따라서 6 GB가 7~8B 티어의 최소 요건이며, 12 GB로 14B 티어를 여유 있게 실행할 수 있습니다.

아래 표를 빠른 의사결정 참조용으로 사용하십시오. "속도" 열은 기본 컨텍스트(2048 토큰)에서 데스크톱 GPU로 Ollama를 실행하는 경우를 가정합니다.

항상 모델의 명시된 요구사항보다 1~2 GB의 VRAM을 여유로 남겨 두십시오. 운영체제, 브라우저 탭, Ollama 런타임은 모델이 로드되지 않아도 500 MB~1 GB를 소비합니다. Llama 3.1 8B Q4_K_M(~4.8 GB)을 실행하는 6 GB 카드는 여유 공간이 약 1.2 GB뿐이므로 --num-ctx를 2048 토큰보다 크게 늘리면 메모리 부족 오류가 발생합니다. 안전한 여유가 있는 6 GB 티어에 대해서는 6 GB VRAM 최적 로컬 LLM을 참조하십시오.

VRAM이 부족할 때의 대처법

모델이 VRAM을 초과할 경우 세 가지 옵션이 있습니다. 양자화를 낮추거나(Q5 대신 Q4_K_M), --num-ctx 2048로 컨텍스트 창을 줄이거나, Ollama가 레이어를 시스템 RAM으로 오프로드하도록 허용하는 방법입니다.

CPU 오프로드는 작동하지만 속도가 느립니다. RAM으로 이동된 레이어마다 지연이 추가됩니다. 인터랙티브 사용을 위해서는 GPU의 VRAM 한도 내에서 유지하십시오. 7-8B 모델에서 컨텍스트를 4096에서 2048 토큰으로 줄이면 약 2 GB를 절약할 수 있습니다.

모델 크기와 VRAM 추정 계산에 대한 전체 분석은 로컬 LLM VRAM 완전 가이드를 참조하십시오. 7B 티어에 대해서는 7B 모델에 필요한 RAM 용량을 참조하십시오.

관련 읽을거리

• ▸로컬 LLM VRAM 완전 가이드
• ▸7B 모델에 필요한 RAM 용량
• ▸6 GB VRAM 최적 로컬 LLM