Key Takeaways
- AMD RX 6800 XT(16GB, 중고 $300-350)와 RX 7900 XTX(24GB, 중고 $400-500)는 로컬 LLM에 실질적으로 사용 가능한 유일한 AMD 옵션입니다.
- 달러당 성능: AMD는 NVIDIA보다 20-30% 저렴하지만, 소프트웨어 설정 부담으로 5-10시간이 추가로 소요됩니다.
- Ollama: AMD 지원이 제한적입니다(ROCm 경로는 2026년 4월 테스트, Ollama v0.3.x / ROCm 6.x 기준 불안정했습니다 — 일부 구성에서 GPU 감지 실패; CPU 폴백 속도 느림). 최신 AMD 호환성 목록은 github.com/ollama/ollama에서 확인하십시오.
- vLLM: v0.6.0부터 AMD ROCm 완전 지원. 단, 수동 드라이버 설치가 필요합니다. 설정을 완료하면 잘 작동합니다.
- Text Generation WebUI: ROCm을 통한 AMD 지원이 우수합니다. AMD에서 최고의 사용자 경험을 제공합니다.
- Llama.cpp: AMD 네이티브 지원(HIP 백엔드). 안정적인 성능. AMD에서 권장되는 경로입니다.
- 설정 비용: ROCm 드라이버 디버깅, HIPCC 컴파일, 커널 호환성 확인에 5-10시간을 계획하십시오.
- 결론(2026년 4월): AMD 하드웨어를 이미 보유하고 있거나 저렴한 중고 제품(16GB 카드 $300)을 발견한 경우에만 AMD를 선택하십시오. 그렇지 않으면 NVIDIA CUDA가 여전히 더 간편합니다.
실제로 사용할 만한 AMD GPU는?
- RX 6800 XT (16GB GDDR6): AMD 가성비의 왕. 2020년 출시. 7B-22B 추론에 여전히 견실합니다. 중고: $300-350.
- RX 6900 XT (16GB GDDR6): 6800 XT보다 소폭 빠릅니다. 희귀합니다. 중고: $350-400. 가격 차이만큼의 가치가 없습니다.
- RX 7900 XT (20GB GDDR6): 신형 RDNA 3 아키텍처. 6800 XT보다 20% 빠릅니다. 중고: $400-480. 70B Q4에 적합합니다.
- RX 7900 XTX (24GB GDDR6): AMD 최상위 소비자용 GPU. 24GB VRAM은 70B 모델 구동의 판도를 바꿉니다. 중고: $450-550. RTX 4090과 유사한 속도.
- Radeon Pro W6800 (32GB): 엔터프라이즈 카드, 중고 가격이 저렴합니다(약 $200-300). 속도는 느리지만 32GB는 70B Q8에 탁월합니다. 틈새 선택지.
AMD GPU와 RTX의 가격·성능 비교
| GPU | VRAM | TFLOPS | 중고 가격 | 달러당 성능 vs. RTX | 동급 RTX |
|---|---|---|---|---|---|
| RX 6800 XT | 16GB | 1,952 | $300-350 | +25% | RTX 3080 (느림) |
| RX 7900 XT | 20GB | 2,540 | $400-480 | +20% | RTX 4080 (유사) |
| RX 7900 XTX | 24GB | 2,750 | $450-550 | +15% | RTX 4090 (유사 속도) |
| RTX 3080 | 10GB | 1,456 | $350-400 | -- | -- |
| RTX 4090 | 24GB | 2,752 | $1,000-1,300 | -- | -- |
AMD ROCm 설정의 부담은?
1. AMD ROCm 드라이버 설치: `apt-get install rocm-dkms` (Ubuntu). Windows에서는 수동 .exe 설치 프로그램 사용. 약 30분 소요.
2. HIP 컴파일러 확인: `hipcc --version`. 첫 시도에서 실패하는 경우가 많습니다. GPU 커널 호환성을 디버깅하십시오.
3. HIPCC(AMD HIP-to-C++ 컴파일러) 설치: `apt-get install hip-runtime-amd`. 또 다른 의존성 체인입니다.
4. 소형 LLM으로 테스트: 추론을 실행하여 GPU 가속이 작동하는지 확인합니다. CPU 폴백이 자주 발생합니다.
5. 드라이버 버전 불일치 해결: ROCm v5.7은 커널 5.15에서 작동하지만 6.x에서는 작동하지 않습니다. 2-4시간의 디버깅이 필요합니다.
NVIDIA CUDA와 비교: `nvidia-cuda-toolkit` → apt-get 한 번으로 즉시 GPU 접근 가능. AMD는 5-10배 더 많은 설정 부담이 있습니다.
AMD에서 Ollama와 vLLM을 실행할 수 있는가?
AMD에서의 Ollama: 2026년 4월 기준 실험적/불안정 단계. ROCm 경로가 때때로 작동하지만 CPU 폴백은 느립니다. 권장하지 않습니다.
AMD에서의 vLLM: v0.6.0부터 완전한 ROCm 지원. 잘 작동하지만 ROCm/HIP 드라이버 수동 설정이 필요합니다. 설정을 완료하면 좋은 성능을 발휘합니다.
Text Generation WebUI: AMD ROCm 지원이 우수합니다. AMD에서 최고의 사용자 경험. 권장합니다.
Llama.cpp: 네이티브 HIP 백엔드. 안정적인 성능. 가장 간편한 AMD 경로. 권장합니다.
LM Studio: NVIDIA 전용. AMD 지원 없음.
2026년 4월 기준: vLLM + llama.cpp가 AMD에서의 선택지입니다. Ollama는 신뢰할 수 없습니다.
AMD를 NVIDIA 대신 선택해야 하는 경우
AMD를 구입해야 하는 경우:
- 중고 RX 7900 XTX를 $450 미만에 발견한 경우(RTX 4090 대비 저평가된 가격).
- 이미 AMD 하드웨어를 보유하고 있으며 에코시스템 일관성을 원하는 경우.
- 클러스터를 구축 중이며 설정 편의성보다 달러당 연산 성능을 우선시하는 경우.
AMD를 구입하지 말아야 하는 경우:
- 플러그 앤 플레이 경험을 원하는 경우. NVIDIA CUDA가 더 빠르게 작동합니다.
- Ollama가 필요한 경우. 2026년 4월 테스트(Ollama v0.3.x, ROCm 6.x)에서 AMD ROCm 지원이 불안정했습니다 — 최신 현황은 github.com/ollama/ollama에서 확인하십시오.
- 시간이 제한되어 있는 경우. ROCm 디버깅에 10시간 이상 소요될 수 있습니다.
AMD 도입 시 흔한 실수
- RX 6700(12GB)을 3060 12GB와 동급으로 착각하고 구입하는 것 — 20% 느리며 중고 시장에서 찾기도 어렵습니다.
- ROCm이 CUDA처럼 "그냥 작동"한다고 가정하는 것 — 드라이버 및 커널 호환성 디버깅에 5-10시간을 계획하십시오.
- AMD에서 Ollama를 사용하며 원활한 통합을 기대하는 것 — 2026년 4월 테스트(Ollama v0.3.x, ROCm 6.x)에서 ROCm 지원이 불안정했습니다. llama.cpp 또는 vLLM이 더 나은 선택입니다.
다음 단계
- 로컬 LLM 예산 GPU 추천 — 예산이 부족하신가요? 가성비 최고 GPU →
- GPU vs CPU vs Apple Silicon — AMD, Apple, CPU — 어떤 플랫폼이 맞나요? →
- 필요한 VRAM은 얼마나 될까요? — GPU VRAM과 모델 크기 맞추기 →
자주 묻는 질문
로컬 LLM용으로 AMD RX 6800 XT와 NVIDIA RTX 3080 중 어느 것을 구입해야 합니까?
단순함을 중시한다면 RTX 3080(CUDA는 바로 작동합니다). 25% 더 나은 가성비를 원하고 5-10시간의 ROCm 설정을 감수할 수 있다면 RX 6800 XT를 권장합니다.
AMD RX 7900 XTX가 RTX 4090보다 우수합니까?
속도는 비슷하고 VRAM도 동일(24GB)합니다. RX 7900 XTX는 중고 기준 $200-300 더 저렴합니다($450-550 대 $1,000-1,300). ROCm 설정이 트레이드오프입니다.
AMD GPU로 Ollama를 사용할 수 있습니까?
기술적으로는 가능합니다. 2026년 4월 테스트(Ollama v0.3.x, ROCm 6.x)에서 ROCm 지원이 불안정했습니다 — 일부 구성에서 GPU 감지 실패, CPU 폴백이 잦았습니다. 사용 전 github.com/ollama/ollama에서 최신 AMD 호환성 목록을 확인하십시오; 안정적인 AMD 추론에는 vLLM 또는 llama.cpp가 더 안전한 경로입니다.
2026년 로컬 LLM을 위한 최적의 AMD 경로는 무엇입니까?
Llama.cpp(HIP 백엔드) + Text Generation WebUI입니다. 두 도구 모두 AMD 지원이 견실합니다. Ollama는 피하십시오.
AMD ROCm에 Ubuntu가 필요합니까, 아니면 Windows에서도 작동합니까?
Windows 지원(HIP on Windows)도 있지만 더 최신이고 버그가 많습니다. Ubuntu가 권장 경로입니다.
RX 6700, RX 6700 XT, 또는 6750은 7B 모델에 적합합니까?
RX 6700(12GB)은 작동하지만 RX 6800 XT보다 20% 느립니다. RX 6700 XT(12GB, 동일한 VRAM)는 non-XT 버전보다 클럭이 약 15% 빠르지만 여전히 6800 XT에는 못 미칩니다. 둘 다 $250 미만일 경우에만 구입하십시오. 그렇지 않으면 6800 XT를 선택하십시오.
로컬 LLM에 RX 6900 XT를 구매할 가치가 있습니까?
그다지 없습니다. RX 6900 XT(16GB)는 RX 6800 XT보다 약간 더 빠를 뿐이고, 중고 매물도 더 희귀하며, 가격은 6800 XT의 $300-350보다 높은 $350-400 수준입니다. 가격 차이만큼의 가치가 없습니다 -- 대신 6800 XT를 구매하십시오.
AMD Radeon 680M은 로컬 LLM을 실행하기에 적합합니까?
Radeon 680M은 Ryzen 6000/7000 모바일 APU에 내장된 통합 그래픽으로, 별도의 디스크리트 GPU인 RX 6800M이나 RX 6800 XT와는 다른 제품입니다. 전용 VRAM이 없고 대신 시스템 RAM을 공유하므로, 작은 양자화 모델(대략 3B 매개변수 이하, Q4 기준)에서만 실용적이며 이 페이지의 어떤 디스크리트 GPU보다도 눈에 띄게 느립니다. 본격적인 로컬 LLM 사용에는 RX 6800 XT 같은 디스크리트 GPU가 더 나은 선택입니다.
하나의 시스템에서 AMD와 NVIDIA GPU를 혼용할 수 있습니까?
이론적으로는 가능하지만 관리가 매우 복잡합니다. 각 GPU마다 별도의 CUDA/HIP 런타임이 필요합니다. 권장하지 않습니다.
관련 자료
- 로컬 LLM용 저예산 최고 GPU
- 로컬 LLM용 최고의 GPU
- GPU vs CPU vs Apple Silicon
- Text Generation WebUI vs vLLM vs Llama.cpp
- 로컬 LLM용 노트북 vs 데스크톱 — AI를 위한 노트북과 데스크톱의 비용 및 성능 비교.
참고 자료
- AMD ROCm 공식 문서 및 GitHub: HIP 컴파일러, 드라이버 호환성 매트릭스, LLM 추론 예제
- vLLM GitHub: AMD/ROCm 백엔드 구현 및 지원 현황(v0.6.0+)
- Llama.cpp GitHub: AMD GPU 지원을 위한 HIP 백엔드
- AMD GPU는 초당 토큰 속도가 우수하지만, 속도만으로 응답 품질이 결정되지는 않습니다. 모델에게 무엇을 묻느냐가 응답 속도만큼 중요합니다. context windows explained에서는 GPU 메모리 한계 내에서 긴 요청을 구성하는 방법을 설명합니다.