AMD 5700X + RTX 3070 Ti에서 코딩용으로 가장 좋은 로컬 LLM은?
빠른 답변
VRAM 8GB의 RTX 3070 Ti에서는 코딩 채팅과 설명에 Qwen3 8B(qwen3:8b, 다운로드 5.2GB), 에디터 자동 완성에 Qwen2.5-Coder 7B(qwen2.5-coder:7b, 4.7GB)를 쓰세요. 둘 다 VRAM에 완전히 들어갑니다. 병목은 라이젠 7 5700X가 아니라 8GB VRAM이어서, 14B 코딩 모델(약 9GB)은 GPU에 전부 올라가지 않습니다.
- ▸Qwen3 8B: 다운로드 5.2GB, 컨텍스트 40K, 8GB에서 코딩 채팅에 가장 좋은 단일 모델
- ▸Qwen2.5-Coder 7B: 4.7GB, fill-in-the-middle 자동 완성용으로 학습
- ▸14B 코더와 Qwen3-Coder 30B는 이 카드에서 CPU 오프로드가 필요해 훨씬 느립니다
핵심 요점
- ✓Qwen3 8B(5.2GB)는 8GB RTX 3070 Ti에서 가장 좋은 단일 코딩 모델이고, Qwen2.5-Coder 7B(4.7GB)는 에디터 자동 완성에 알맞습니다. 둘 다 VRAM에 완전히 들어갑니다
- ✓14B 코더(qwen2.5-coder:14b는 9.0GB, qwen3:14b는 9.3GB)는 8GB를 넘어 부분 CPU 오프로드로만 실행되며 생성 속도가 크게 떨어집니다
- ✓Qwen3-Coder 30B는 19GB짜리 전문가 혼합 모델이라 VRAM 8GB에서는 대부분이 시스템 RAM에 놓입니다. 32GB RAM에서 해보는 실험일 뿐 일상용 모델이 아닙니다
- ✓여기서 한계는 라이젠 7 5700X가 아니라 VRAM입니다. 컨텍스트는 8K~16K 토큰으로 유지하고 코드에는 Q4 이상을 쓰세요
Qwen3 8B와 Qwen2.5-Coder 7B는 8GB 카드에 들어갑니다
RTX 3070 Ti(8GB)에서 코딩할 때는 채팅·설명·리팩터링에 Qwen3 8B, 인라인 자동 완성에 Qwen2.5-Coder 7B를 쓰세요. 둘 다 Ollama 기본 Q4 양자화로 제공되며, qwen3:8b는 다운로드 5.2GB에 컨텍스트 40K, qwen2.5-coder:7b는 4.7GB에 32K입니다. 8GB 중 KV 캐시와 데스크톱용으로 약 2~3GB가 남습니다.
Qwen2.5-Coder는 Continue 같은 에디터 플러그인이 탭 자동 완성에 쓰는 fill-in-the-middle(FIM) 방식으로 학습되었습니다. Qwen3 8B는 범용 추론이 더 강하고 /no_think로 끌 수 있는 사고 모드가 있어 빠른 답이 필요할 때 끄면 됩니다. 모델을 하나만 쓴다면 Qwen3 8B부터 시작하세요. 다운로드 크기와 컨텍스트는 ollama.com 표기를 따랐으며 이 구성을 직접 측정하지 않았으므로 속도 수치는 제시하지 않습니다.
더 큰 GPU와 다른 코딩 모델은 코딩용 최고의 로컬 LLM 가이드를 참고하세요.
| 모델 | Ollama 태그 | 다운로드 | 8GB에 들어가나요? | 적합한 용도 |
|---|---|---|---|---|
| Qwen3 8B | qwen3:8b | 5.2 GB | 예, VRAM에 완전히 적재 | 채팅, 설명, 리팩터링 |
| Qwen2.5-Coder 7B | qwen2.5-coder:7b | 4.7 GB | 예, VRAM에 완전히 적재 | 에디터 자동 완성(FIM) |
| Qwen2.5-Coder 1.5B | qwen2.5-coder:1.5b | 986 MB | 예, 여유 있음 | 채팅 모델과 함께 쓰는 가벼운 자동 완성 |
| Qwen2.5-Coder 14B | qwen2.5-coder:14b | 9.0 GB | 아니요, CPU 오프로드 필요 | 더 큰 코더(오프로드 시에만) |
| Qwen3-Coder 30B | qwen3-coder:30b | 19 GB | 아니요, 대부분 시스템 RAM | 32GB 이상 RAM의 에이전트형 코딩(느림) |
들어가지 않는 것: 14B, 30B, 긴 컨텍스트
모델은 KV 캐시와 함께 VRAM에 들어가야 하며, 8GB는 다운로드 크기가 시사하는 것보다 빨리 찹니다. 레이어가 시스템 RAM으로 넘치면 Ollama는 계속 동작하지만, DDR4가 카드의 608GB/s GDDR6X보다 훨씬 느려 생성 속도가 급락합니다. 5700X의 Zen 3 8코어는 4코어 CPU보다 오프로드를 잘 처리하지만 오프로드는 대안일 뿐 계획이 아닙니다.
Qwen3-Coder 30B는 Ollama에 19GB, 컨텍스트 256K로 올라와 있습니다. 활성 파라미터가 약 3B인 전문가 혼합 모델이라 가중치 대부분을 시스템 RAM에 두고 실행할 수 있지만, 8GB 카드에서는 대부분이 그곳에 놓입니다. VRAM이 8GB뿐이면 에이전트형 사용에서 응답이 느릴 것으로 예상되며, 결과는 RAM과 설정에 따라 다릅니다. 32GB RAM이 필요한 실험으로 취급하세요.
긴 컨텍스트는 KV 캐시를 키웁니다. 이 카드에서는 8K~16K 토큰으로 유지하고 nvidia-smi에서 VRAM 여유가 보일 때만 늘리세요. 코드에는 Q4 이상을 쓰세요. Q3 이하는 미묘한 구문 오류를 일으킬 수 있습니다.
VS Code에서 채팅과 자동 완성 설정하기
Ollama를 설치하고 두 모델을 받은 뒤 Continue 같은 에디터 확장을 http://localhost:11434로 지정하세요. 채팅은 qwen3:8b, 자동 완성은 qwen2.5-coder:7b입니다. ollama ps로 PROCESSOR 열을 확인하세요. 100% GPU면 모델이 들어간 것이고, CPU/GPU로 나뉘면 모델과 컨텍스트가 8GB에 더는 들어가지 않는다는 뜻입니다. 이 카드에서는 Ollama가 7B~8B 모델 하나를 내리고 다른 하나를 올릴 수 있으므로, 채팅 모델 옆의 자동 완성에는 986MB짜리 qwen2.5-coder:1.5b를 쓰세요.
ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama psCPU가 아니라 GPU를 업그레이드하세요
14B 코딩 모델을 최고 속도로 쓰고 싶다면 업그레이드 대상은 GPU입니다. RTX 3060 12GB나 RTX 4070 같은 12GB 카드는 qwen2.5-coder:14b처럼 약 9GB인 Q4 코더를 VRAM에 완전히 올릴 수 있습니다. 12GB VRAM용 최고의 코딩 LLM과 코딩용 최고의 14B 모델을 참고하세요.
5800X3D는 AM4 최고의 CPU 업그레이드지만 3D V-Cache는 게임과 CPU 의존 작업에 도움이 됩니다. GPU의 LLM 추론은 VRAM 대역폭이 한계이고 5700X는 병목이 아닙니다.
GPU 구매 가이드 전체는 로컬 LLM용 최고의 GPU를 참고하세요.