Radeon RX 6800M에서 로컬 LLM을 실행할 수 있습니까?
빠른 답변
예. Radeon RX 6800M은 12 GB GDDR6 VRAM을 갖추고 있으며, Windows와 Linux 모두에서 Ollama 또는 llama.cpp의 Vulkan 백엔드로 로컬 LLM을 잘 실행합니다. ROCm은 이 칩을 공식 지원하지 않으며, Linux에서는 비공식 오버라이드로만 동작합니다. 8B 모델(Q4_K_M)은 약 45–60 tok/s로 추정되며, 같은 칩을 쓰는 RX 6700 XT의 벤치마크에서 추정한 값이지 PromptQuorum이 측정한 값이 아닙니다.
- ▸Windows와 Linux: Vulkan이 안정적인 경로입니다(Ollama는 기본으로 활성화)
- ▸ROCm: 6800M은 AMD와 Ollama 지원 목록에 없으며, Linux에서는 HSA_OVERRIDE_GFX_VERSION=10.3.0이 필요하고 불안정할 수 있습니다
- ▸12 GB VRAM은 적당한 컨텍스트 길이에서 Q4_K_M 기준 최대 14B 모델을 지원합니다
핵심 요점
- ✓RX 6800M은 모바일 RDNA 2 칩(Navi 22, 12 GB VRAM)입니다 — 데스크톱 RX 6800(Navi 21, 16 GB VRAM)이 아닙니다
- ✓Windows와 Linux에서는 Vulkan이 안정적인 경로입니다. ROCm은 6800M을 공식 지원하지 않으며, Windows에서 Ollama의 ROCm 목록은 RX 7600부터 시작합니다
- ✓추정 속도: 8B(Q4_K_M)는 약 45–60 tok/s, 14B는 약 25–35 tok/s — 같은 칩을 쓰는 RX 6700 XT 벤치마크에서 추정한 값이며 PromptQuorum의 실측이 아닙니다
- ✓항상 전원을 연결하세요: 노트북 GPU는 배터리 사용 시 전력 제한이 더 엄격해 추론 속도가 떨어집니다
Radeon RX 6800M이 실제로 실행할 수 있는 것
Radeon RX 6800M은 12 GB GDDR6 VRAM을 갖춘 모바일 RDNA 2 칩(Navi 22, gfx1031)입니다 — 더 큰 Navi 21 다이와 16 GB를 쓰는 데스크톱 RX 6800이 아닙니다. 12 GB에서는 레이어 오프로딩 없이 Q4_K_M 기준 최대 14B 모델이 들어가며, 데스크톱 RTX 3060 12 GB와 같은 용량입니다. 컨텍스트가 길어지면 모델 가중치 외에 KV 캐시 메모리가 추가로 필요합니다.
단일 사용자 생성 속도는 주로 메모리 대역폭에 좌우됩니다. 6800M은 데스크톱 RX 6700 XT와 같은 Navi 22 다이와 12 GB 메모리 구성을 사용하며, RX 6700 XT는 llama.cpp Vulkan 스코어보드에서 Vulkan 백엔드로 Llama 2 7B Q4_0 기준 약 84 tok/s를 기록합니다. 이 수치를 더 큰 모델 파일에 맞게 환산한 것이 아래 추정치입니다. 노트북의 전력 제한과 쿨링 때문에 6800M은 데스크톱 카드보다 낮을 수 있습니다.
이 속도는 공개 벤치마크에서 도출한 추정치이며, PromptQuorum이 6800M에서 수행한 테스트가 아닙니다. 실제 수치는 본인 기기에서 llama-bench를 실행해 확인하세요. 8 GB VRAM CUDA 환경과의 비교는 AMD 5700X + RTX 3070 Ti 시스템 비교를 참고하세요.
| 모델 | VRAM (Q4_K_M) | 추정 속도 (Vulkan) |
|---|---|---|
| Llama 3.1 8B | ~5 GB | ~45–60 tok/s |
| Qwen3 8B | ~5 GB | ~45–60 tok/s |
| Phi-4 14B | ~9 GB | ~25–35 tok/s |
| Qwen3 14B | ~9 GB | ~25–35 tok/s |
6800M에서 로컬 LLM 설정하기
Windows와 Linux에서는 Ollama를 설치하세요 — AMD GPU에는 ROCm 없이 Vulkan 백엔드를 사용합니다. Ollama GPU 문서에 따르면 백엔드가 설치되어 있으면 Vulkan은 기본으로 활성화됩니다. Linux에서는 추가 Vulkan 패키지가 필요할 수 있습니다. llama.cpp의 사전 빌드 Vulkan 바이너리를 사용해 -ngl 99로 GGUF를 로드하면 모든 레이어를 GPU로 오프로드할 수도 있습니다.
ROCm은 더 어려운 경로입니다. RX 6800M은 AMD의 ROCm 지원 표에도 Ollama의 AMD 목록에도 없으며, Windows에서 Ollama의 ROCm 목록은 RX 7600 이상만 다룹니다. Linux에서는 커뮤니티 보고에 따라 HSA_OVERRIDE_GFX_VERSION=10.3.0으로 ROCm이 이 칩을 gfx1030으로 취급하게 합니다. 비공식 방법이며 충돌하거나 CPU로 폴백할 수 있으므로 먼저 Vulkan을 시도하세요.
항상 전원을 연결하세요 — 노트북 GPU는 배터리 사용 시 전력 제한이 더 엄격해 추론 속도가 떨어집니다. NVIDIA와 AMD 전체 GPU 비교는 로컬 LLM용 최고의 GPU 가이드를 참고하세요.
ollama run llama3.1:8b를 실행한 뒤 ollama ps를 확인하세요 — PROCESSOR 열에 100% GPU가 표시되어야 합니다. CPU로 표시되면 Ollama 서버 로그에서 GPU 감지 메시지를 확인하세요.Radeon RX 6800M과 데스크톱 RX 6800 비교
“RX 6800” 검색은 종종 모바일 칩으로 연결되지만, 두 카드는 다릅니다. 데스크톱 RX 6800은 16 GB VRAM과 더 넓은 메모리 대역폭을 갖춰 더 큰 모델을 담고 더 빠르게 생성합니다. llama.cpp Vulkan 스코어보드에는 데스크톱 RX 6800이 약 101 tok/s, RX 6700 XT가 약 84 tok/s로 나와 있습니다(Llama 2 7B Q4_0, Vulkan).
데스크톱 RX 6800은 Ollama의 Linux AMD 지원 목록에 있지만 6800M은 없습니다. 이 페이지의 Vulkan 관련 나머지 내용은 두 카드 모두에 적용됩니다.
| 항목 | RX 6800M (노트북) | RX 6800 (데스크톱) |
|---|---|---|
| GPU 칩 | Navi 22 (gfx1031) | Navi 21 (gfx1030) |
| VRAM | 12 GB GDDR6 | 16 GB GDDR6 |
| 메모리 대역폭 | 384 GB/s | 512 GB/s |
| Ollama Linux AMD 지원 목록 | 미등재 | 등재 |
| Windows의 Ollama ROCm | 미등재 | 미등재 |
관련 가이드
Radeon 6800M과 로컬 LLM에 대한 빠른 답변
Radeon 6800M은 ROCm을 공식 지원합니까?▾
HSA_OVERRIDE_GFX_VERSION=10.3.0으로 동작하는 경우가 있지만 비공식 우회 방법입니다. 이 카드에서 지원되는 경로는 Vulkan입니다.Radeon RX 6800M의 VRAM은 얼마입니까?▾
Ollama는 RX 6800M에서 작동합니까?▾
로컬 LLM에는 데스크톱 RX 6800이 6800M보다 낫습니까?▾
6800M은 로컬 LLM에서 RTX 3070 Mobile보다 빠릅니까?▾
llama-bench로 실제 결과를 비교하세요.