Key Takeaways
- RTX 5090은 로컬 LLM 추론(tokens/sec 기준)에서 RTX 4090보다 약 20~25% 빠릅니다.
- 두 카드 모두 24GB VRAM으로 LLM 작업 시 용량은 동일합니다. 5090의 속도 우위는 더 높은 메모리 대역폭과 셰이더 효율에서 비롯됩니다.
- RTX 5090은 $1,000 더 비쌉니다($1,999 vs. 중고 4090 $999). 이미 4090을 보유 중이라면 가격 대비 성능 향상이 업그레이드를 정당화하지 않습니다.
- 7B~13B 모델의 경우: 4090도 과스펙입니다. GPU를 최대로 활용하기 전에 CPU·냉각 한계에 먼저 부딪힙니다.
- 70B 모델의 경우: 5090이 빛을 발합니다. 소형 70B 모델 2~3개를 병렬 실행하거나 단일 70B 모델을 더 큰 배치 크기로 실행할 수 있습니다.
- RTX 5080($999)은 듀얼 GPU 셋업이 필요한 경우가 아니라면 로컬 LLM 기준으로 5090보다 가성비가 더 좋습니다.
실제 속도 차이는?
RTX 5090: 21,760 CUDA 코어, 1,457 TFLOPS, 메모리 대역폭 약 1,792 GB/sec, 32GB GDDR7.
RTX 4090: 16,384 CUDA 코어, 826 TFLOPS, 메모리 대역폭 약 1,008 GB/sec, 24GB GDDR6X.
실제 LLM 추론(Llama 3.3 70B, Q4, batch=1): RTX 5090은 약 50-55 tokens/sec, RTX 4090은 약 36 tokens/sec. 70B 모델에서 40-50% 빠릅니다.
7B 모델의 경우: RTX 5090은 약 90 tokens/sec, RTX 4090은 약 75 tokens/sec. ~20% 빠릅니다. 소형 모델에서는 차이가 줄어듭니다.
4090과 5090의 VRAM 차이가 중요한가?
두 카드 모두 GDDR7(5090) / GDDR6X(4090) 24GB입니다. VRAM 용량은 동일하므로 이점이 없습니다.
5090의 GDDR7은 바이트당 속도가 더 빠릅니다. 이것이 5090이 20~25% 빠른 이유 중 하나입니다. 하지만 우리가 실행하는 LLM 워크로드에서는 GDDR6X(4090)로도 충분합니다.
토큰당 비용: 실제로 어느 쪽이 저렴한가?
- 중고 RTX 4090: 약 $999~1,299. Llama 70B에서 36 tokens/sec 달성. 토큰당 비용: 100만 토큰당 $27~36.
- RTX 5090 신품: $1,999. Llama 70B에서 45 tokens/sec 달성. 토큰당 비용: 100만 토큰당 $44.
- 결론: 4090이 생성 토큰당 비용이 더 저렴합니다. 속도가 빠르기 때문이 아니라 구매 가격이 저렴하기 때문입니다.
4090에서 5090으로 실제로 언제 업그레이드해야 하는가?
7B~13B 추론을 위한 업그레이드는 하지 마십시오. 이 크기에서는 4090도 이미 과스펙입니다. 어차피 CPU 바운드 또는 냉각 한계에 먼저 도달하게 됩니다.
업그레이드를 고려할 경우: 듀얼 GPU로 70B 추론을 실행하는 경우(2× 4090 = $2,500 vs. 2× 5090 = $4,000), 70B 모델에서 45+ tokens/sec가 필요한 경우, 또는 멀티 배치 워크로드에서 메모리 대역폭 병목이 발생하는 경우.
더 나은 대안: 5090으로 교체하는 대신 두 번째 RTX 4090을 $1,200에 추가하십시오. 4090 두 장을 병렬로 사용하면 약 72 tokens/sec를 달성할 수 있습니다(90은 아니지만, 절반 비용에 근접한 성능입니다).
5090에 대한 흔한 오해
- 5090이 4090보다 2배 빠르다고 생각하는 것 — 실제로는 20~25%밖에 빠르지 않으며, 7B 모델에서는 차이가 더 줄어듭니다.
- VRAM 차이가 있다고 가정하는 것 — 두 카드 모두 24GB입니다. 용량은 동일하며 LLM 성능도 유사합니다.
- 70B 모델을 실행하려면 5090이 필요하다고 믿는 것 — 4090은 36 tokens/sec로 70B 모델을 충분히 실행합니다. 대부분의 사용자에게 "충분한" 성능입니다.
자주 묻는 질문
Llama 3 70B 실행을 위해 RTX 5090이 가치 있나요?
45+ tokens/sec가 필요한 경우에만 가치가 있습니다. 4090은 36 tokens/sec를 제공하며, 이는 대부분의 사용자에게 "충분합니다". 추가적인 9 tokens/sec를 위해 $1,000을 더 지불해야 합니다.
RTX 5090 하나와 RTX 4090 두 장 중 어느 것이 더 나은가요?
중고 4090 두 장(약 $2,500)은 속도와 유연성 면에서 5090($1,999)을 앞섭니다. 여러 모델을 병렬로 실행할 수 있습니다. 5090은 설정이 더 간단하지만 비용이 더 높습니다.
RTX 5090이 4090보다 VRAM이 더 많은가요?
아니요. 둘 다 24GB입니다. GDDR7이 바이트당 속도는 더 빠르지만 LLM에서는 GDDR6X(4090)로도 충분합니다.
5090 가격이 4090처럼 하락할까요?
결국 그렇게 될 것입니다. 4090은 2022년 출시 당시 $1,499였고 2026년 현재 중고가 $999입니다. 5090은 2~3년 후 중고가 $1,200~1,500에 도달할 것으로 예상됩니다.
RTX 5090을 750W 파워 서플라이와 함께 사용할 수 있나요?
간신히 가능합니다. RTX 5090 단독으로 575W를 소모합니다. 부하 시 전압 강하를 방지하려면 850W 또는 1000W PSU를 사용하십시오.
RTX 5080이 5090보다 가성비가 더 좋은가요?
대부분의 경우 그렇습니다. 5080($999)은 절반 비용에 5090 속도의 80%를 제공합니다. 로컬 LLM 기준으로 5080이 최적의 선택입니다.
Qwen-VL 70B 같은 멀티모달 모델에서 5090은 얼마나 더 빠른가요?
유사하게 20~25% 향상됩니다. 멀티모달 연산도 여전히 메모리 바운드이므로 5090의 대역폭 우위가 도움이 되지만, 극적인 차이는 아닙니다.
출처
- NVIDIA RTX 5090 및 4090 공식 사양: CUDA 코어, TFLOPS, 메모리 대역폭
- MLCommons MLPerf 추론 벤치마크: LLaMA 70B 및 Mistral 모델의 토큰 생성 속도
- TechPowerUp GPU 데이터베이스: RTX 5090 vs. 4090 전력 소비 및 메모리 대역폭 비교