로컬 LLM·AI 추론에 가장 좋은 AMD GPU

토큰 생성 속도는 TFLOPS보다 메모리 대역폭에 좌우되며, 이 기준에서 AMD의 상위 카드는 NVIDIA의 이전 세대 플래그십에 가깝습니다. RX 7900 XTX(960 GB/s)는 RTX 3090(936 GB/s)과 비슷하고, RTX 4090(1,008 GB/s)과 RTX 5090(1,792 GB/s)보다는 낮습니다.

프롬프트 처리(prefill)에서는 NVIDIA의 우위가 더 뚜렷합니다. 커뮤니티 llama.cpp 비교(llama.cpp 토론 #19890, 제3자 리뷰에서 인용)에서 RTX 5090은 Radeon AI PRO R9700보다 prefill이 약 2.6–3.4배, 같은 모델의 생성이 약 1.5배 빨랐다고 보고되었습니다. 이는 개발자가 보고한 데이터이며 PromptQuorum의 측정값이 아닙니다.

백엔드 선택에 따라 결과가 달라집니다. Vulkan과 ROCm(HIP)은 모델, 카드, 드라이버 버전에 따라 우열이 바뀝니다. llama.cpp는 둘 다 함께 빌드할 수 있으므로, 결정하기 전에 본인의 카드에서 둘 다 테스트하십시오.

실제로는 AMD가 대역폭당 생성 속도에서는 경쟁력이 있고, 긴 프롬프트에서는 느리며, 소프트웨어 완성도는 다소 떨어진다고 보면 됩니다.

Vulkan은 그래픽 드라이버만 있으면 되지만, ROCm은 지원되는 GPU, Linux 배포판, 커널이 필요합니다. 구매 전에 다음을 확인하십시오.

1. 카드를 AMD 지원표와 대조합니다. Radeon용 ROCm 7.2.1 지원표는 Ubuntu 24.04.4, Ubuntu 22.04.5, RHEL 10.1에서 RX 9070 XT, RX 9060 XT, RX 7900 XTX, RX 7900 XT, RX 7900 GRE, RX 7800 XT, Radeon AI PRO R9700을 나열합니다.

2. Ollama의 목록도 확인합니다. Ollama 문서는 Linux ROCm용으로 RX 6800 XT, 6900 XT 등 RX 6000 시리즈를 추가하고 Ryzen AI Max+ 395도 명시합니다. 목록에 없는 카드는 Linux에서 `HSA_OVERRIDE_GFX_VERSION`을 시도할 수 있으나 Windows에서는 지원되지 않습니다.

3. ROCm v7 스택을 설치합니다. AMD의 `amdgpu-install` 유틸리티를 사용합니다(Linux). Ollama는 Linux에서 ROCm v7을 요구합니다.

4. 인식 여부를 확인합니다. `rocminfo`에서 GPU가 에이전트로 표시되어야 합니다(예: RX 7900 XTX는 gfx1100, RX 9070 XT는 gfx1201).

5. Windows에서는 Ollama의 ROCm 목록이 RX 7000 시리즈를 명시합니다. RX 9070 시리즈를 포함한 다른 카드는 해당 목록에 없으므로 Vulkan 백엔드를 사용하십시오.

ROCm의 최신 릴리스는 7.14.0(2026년 7월 16일)으로, ROCm을 모듈식 빌드 시스템 TheRock으로 옮겼습니다. 확인 시점에 AMD의 Radeon 호환성 페이지는 7.2.1까지를 다루었으므로, 설치할 버전에 해당하는 지원표와 카드를 대조하십시오.

Ollama: 위에 나열한 카드는 Linux에서 ROCm v7을 사용하고, Windows에서는 RX 7000 시리즈가 ROCm으로 동작합니다. Vulkan은 백엔드를 설치하면 기본으로 활성화되며 `OLLAMA_VULKAN=0`으로 끌 수 있습니다. 현재 릴리스는 v0.40.10(2026년 10월 23일)이며 Linux ROCm 빌드를 포함합니다.

llama.cpp: AMD용으로 HIP(ROCm) 또는 Vulkan(`-DGGML_VULKAN=1`)으로 빌드할 수 있습니다. 두 백엔드를 함께 컴파일하고 `--device`로 장치별로 선택할 수 있습니다. 대부분의 프런트엔드가 이를 기반으로 합니다.

LM Studio: llama.cpp 런타임(Vulkan과 ROCm)을 통해 AMD GPU를 지원합니다. ROCm 런타임이 카드를 인식하지 못할 때는 Vulkan이 일반적인 대안입니다. (이 페이지의 이전 버전은 LM Studio를 NVIDIA 전용이라고 했으나 잘못된 내용이었습니다.)

vLLM: ROCm 빌드를 제공합니다(ROCm 7.14.0 릴리스는 vLLM 0.23.0을 나열합니다). 서빙과 배치 처리를 대상으로 하므로, 의존하기 전에 본인의 GPU 타깃에 대해 vLLM 문서를 확인하십시오.

경험칙: 편의성은 Ollama나 LM Studio, 세밀한 제어는 llama.cpp, 다중 사용자 서빙은 vLLM입니다.

다음의 경우 AMD를 사십시오.

• 카드 한 장으로 32 GB를 더 저렴하게 원하는 경우: Radeon AI PRO R9700은 RTX 5090의 3분의 1~절반 가격입니다.

• 이미 지원되는 Radeon을 가지고 있거나 게임 성능도 좋은 카드를 원하는 경우.

• Linux를 쓰거나 Vulkan으로 충분하며, 사용하는 도구(Ollama, llama.cpp, LM Studio)가 이미 AMD를 지원하는 경우.

다음의 경우 NVIDIA를 사십시오.

• CUDA 전용 도구, 학습·파인튜닝 스택, 가장 빠른 프롬프트 처리가 필요한 경우.

• 중고 24 GB 카드를 비교하는 경우: 중고 RTX 3090은 중고 RX 7900 XTX와 가격이 비슷하므로 CUDA 지원이 결정 요인이 될 수 있습니다.

• 설정에 쓰는 시간을 최소화하고 싶은 경우.

AMD Instinct(MI300X, MI350X)는 NVIDIA의 데이터센터 GPU와 경쟁하는 제품으로, 데스크톱이 아니라 서버용으로 구매합니다. Ollama의 ROCm 목록에는 Instinct 카드가 포함되어 있고 ROCm 자체가 이들을 중심으로 만들어졌으므로, 소비자용 Radeon보다 지원 범위가 넓습니다.

MI300X는 가속기당 192 GB의 HBM3 메모리를 탑재하며(AMD 사양), 매우 큰 모델을 한 대에서 돌리는 데 적합합니다. 1인용 머신이라면 해당되는 AMD 선택지는 Radeon RX 또는 Radeon AI PRO입니다.

서버와 클라우드 결정에 대해서는 기업용 GPU 서버 구매 가이드와 클라우드 GPU 임대 비교를 참고하십시오.

데이터 보호 의무를 바꾸는 것은 GPU 제조사가 아니라 추론을 로컬에서 실행하는지 여부입니다. 기기에서 직접 추론하면 프롬프트와 문서가 사용자의 하드웨어에 머물러, 한국의 개인정보 보호법(PIPA)과 개인정보보호위원회(PIPC)의 감독, EU GDPR, 일본 APPI, 중국 PIPL 및 데이터안전법에 따른 국외 이전 위험을 줄일 수 있습니다. 다만 적법한 근거, 보관 규칙, 침해 대응 절차는 여전히 필요하므로 규제 대상 데이터는 정식 검토를 받으십시오.

수출 통제 규정은 일부 시장에서 AMD와 NVIDIA의 고성능 가속기를 모두 제한할 수 있습니다. 수입이나 구매 전에 해당 국가의 최신 규정을 확인하십시오.