Key Takeaways
- 총 빌드 비용: 약 $1,940. RTX 5060 Ti 16GB 두 개(합계 $860), Ryzen 7 9700X($330), 64GB DDR5-6000($180), 2TB Gen4 NVMe($130), x8/x8 슬롯 B650 ATX 보드($180), 850W 80+ Gold PSU($130), ATX 케이스($90).
- 16GB GPU 두 개가 VRAM 대비 가격에서 24GB GPU 하나를 앞섭니다. 약 $860에 합산 32GB VRAM은 중고 RTX 3090 24GB(총 VRAM은 더 적으면서 약 $700~750)보다 낫고, 단일 32GB 워크스테이션 카드보다 훨씬 저렴합니다.
- 70B 모델이 실행되며, 두 카드 모두 사용하는 llama.cpp 텐서 분할을 통해 초당 12~18 토큰을 냅니다 — 이 빌드가 하나가 아닌 두 개의 GPU를 사용하는 전적인 이유입니다.
- 메인보드는 단순히 물리적 x16 슬롯 두 개가 아니라 x8/x8 PCIe 비프케이션을 지원해야 합니다. 두 번째 슬롯을 전기적으로 x4로 운용하는 보드는 텐서 분할 추론에서 실제 대역폭 병목을 만듭니다.
- 단일 GPU 폴백도 잘 작동합니다: 더 작은 모델의 경우 RTX 5060 Ti 하나만으로 32B를 초당 25~30 토큰으로 실행할 수 있어, 이미 카드 하나에 맞는 모델을 분할하는 것보다 빠릅니다.
- 피해야 할 것: GPU 쌍을 불일치시키는 것(예: 5060 Ti 하나 + 4060 Ti 하나) — 텐서 분할 성능은 더 느린 카드에 의해 제한되며, GPU 세대 간 드라이버 불일치는 불안정성을 유발합니다.
왜 더 큰 GPU 하나 대신 GPU 두 개인가
$2,000에서 단일 GPU 빌드는 중고 RTX 3090 24GB나 RTX 5070 Ti 16GB 정도가 한계이며, 어느 쪽도 70B급 모델 용량에 도달하지 못합니다. llama.cpp와 vLLM 모두 텐서 분할 추론을 지원하며, 이는 같은 메인보드에 연결된 여러 GPU에 모델의 레이어를 나눠 합산 VRAM을 하나의 풀처럼 다룹니다. RTX 5060 Ti 16GB 카드 두 개는 단일 24GB 카드보다 저렴한 가격에 합산 32GB VRAM을 제공하며, 70B 모델이 Q4에서 필요로 하는 용량(전체 시스템+VRAM 예산 약 40GB, 모델 자체는 두 카드에 걸쳐 Q4 기준 약 38~40GB 필요)을 편안하게 충족합니다.
이는 두 카드가 동일한 모델이기 때문에 가능한 것입니다 — VRAM이나 연산 성능이 불일치하면 분할이 더 약한 카드에 병목을 일으키며, GPU 세대 간 드라이버 요구사항 불일치는 명백한 불안정성을 초래할 수 있습니다.
텐서 분할 추론으로 풀링한 동일한 16GB GPU 두 개는 동일한 $2,000 예산의 더 큰 단일 GPU 하나보다 달러당 더 많은 실사용 VRAM을 제공합니다.
텐서 분할 = 모델의 레이어를 두 GPU에 나누어 VRAM이 합산되도록 하는 소프트웨어입니다. 그래픽 메모리용 RAID와 비슷합니다.
전체 부품 목록
가격은 2026년 7월 기준 시중 가격이며 지역과 판매처에 따라 달라질 수 있습니다.
| 부품 | 선택 | 가격 | 이유 |
|---|---|---|---|
| GPU(x2) | 2x RTX 5060 Ti 16GB | $860 | 텐서 분할을 통한 합산 32GB VRAM — 이 빌드의 핵심 목적 |
| CPU | AMD Ryzen 7 9700X | $330 | 8코어가 두 GPU의 PCIe/드라이버 오버헤드와 CPU로 오프로드되는 레이어를 처리합니다 |
| RAM | 64GB DDR5-6000 (2x32GB) | $180 | 대형 모델과 듀얼 GPU 드라이버 오버헤드는 단일 GPU 빌드보다 더 많은 여유가 필요합니다 |
| 스토리지 | 2TB NVMe Gen4 SSD | $130 | Q4의 70B 모델만으로도 약 40GB를 사용합니다. 다중 모델 라이브러리에는 추가 공간이 필요합니다 |
| 메인보드 | x8/x8 PCIe 지원 B650 ATX | $180 | 텐서 분할 대역폭 병목을 피하려면 x16/x4가 아니라 x8/x8로 PCIe 레인을 분할해야 합니다 |
| PSU | 850W 80+ Gold | $130 | RTX 5060 Ti 두 장은 합산 약 360W를 소비합니다. 850W는 순간 스파이크에 대한 여유를 남깁니다 |
| 케이스 | ATX 미들타워(듀얼 GPU 클리어런스) | $90 | 충분한 통풍을 위해 더블 슬롯 GPU 두 개 사이에 간격이 필요합니다 |
| CPU 쿨러 | 중급 공랭 쿨러 | $40 | Ryzen 7 9700X는 지속적인 듀얼 GPU 추론 부하에서 기본 쿨러보다 나은 냉각의 이점을 얻습니다 |
대부분의 빌더가 놓치는 메인보드 요건
물리적인 PCIe x16 슬롯 두 개가 전기적인 x16 연결 두 개를 보장하지는 않습니다. 많은 소비자용 메인보드는 물리적으로는 x16 크기라도 두 번째 슬롯을 전기적으로 x4로 배선합니다. 텐서 분할 LLM 추론에서는 두 GPU가 모든 순전파마다 활발히 데이터를 전송하므로, x4로 동작하는 두 번째 슬롯은 이론적인 병목이 아니라 실제 병목이 됩니다.
메인보드를 구매하기 전에 사양서에서 "PCIe 레인 할당"이나 "x8/x8 모드"를 확인하시기 바랍니다 — 이를 지원하는 보드는 균등 분할에 충분한 네이티브 PCIe 레인을 갖춘 칩셋이 필요하므로 보통 명시적으로 표기되어 있습니다. 이 빌드는 x8/x8 지원을 명시한 B650 ATX 보드를 전제로 합니다.
- x16/x4가 아니라 x8/x8을 확인하시기 바랍니다: 물리적 슬롯 개수뿐 아니라 메인보드 매뉴얼의 PCIe 레인 다이어그램을 확인하시기 바랍니다.
- 슬롯 간격도 물리적으로 중요합니다: 더블 슬롯 GPU 두 개는 통풍을 위해 최소 한 칸의 빈 슬롯 간격이 필요합니다 — 레인 할당뿐 아니라 보드 레이아웃의 슬롯 간격도 확인하시기 바랍니다.
- 이 워크로드에서는 PCIe 세대보다 레인 수가 더 중요합니다 — PCIe 4.0 x8은 텐서 분할 전송이 실제로 필요로 하는 대역폭을 이미 초과하므로, PCIe 5.0 슬롯을 쫓는 것은 가격 프리미엄을 지불할 가치가 없습니다.
모델 크기별 예상 성능
모든 수치는 RTX 5060 Ti 16GB 카드 두 개에서 llama.cpp 텐서 분할로 측정한 Q4_K_M 양자화 기준입니다. 단일 GPU 수치는 카드 하나만 사용한 것입니다.
| 모델 크기 | 구성 | VRAM 사용량(Q4) | 초당 토큰 |
|---|---|---|---|
| 7B-14B | 단일 GPU(분할 불필요) | 약 4.5-9GB | 55-65(7B) / 28-35(14B) |
| 32B | 단일 GPU | 약 14.5-15.5GB | 25-30($1,000 빌드 대비 충분한 컨텍스트 여유) |
| 32B | 텐서 분할(양쪽 GPU) | 약 15GB 분할 | 30-38(카드 하나에 맞는 모델이라도 분할이 도움이 됩니다) |
| 70B | 텐서 분할(양쪽 GPU, 필수) | 약 38-40GB 분할 | 12-18 |
텐서 분할 추론 설정하기
llama.cpp는 드라이버가 두 GPU를 모두 인식하고 나면 명령줄 플래그 하나로 텐서 분할을 처리합니다. `nvidia-smi`에서 두 RTX 5060 Ti 카드가 모두 표시되는지 확인한 후, `--tensor-split 1,1`로 모델을 실행하면 레이어를 두 카드에 균등하게 나눕니다. 한 카드가 디스플레이 출력도 겸해 VRAM 예약을 조금 줄여야 한다면 비율(예: `--tensor-split 1,1.2`)을 조정할 수 있습니다.
Ollama는 최신 버전부터 멀티 GPU를 자동으로 지원합니다 — 설치된 모든 GPU의 사용 가능한 VRAM을 감지해 별도 설정 없이 대형 모델을 분할합니다. 다만 분할 비율을 더 정밀하게 제어하려면 llama.cpp의 수동 플래그가 유용합니다.
- 두 GPU가 모두 인식되는지 확인하시기 바랍니다: 분할을 시도하기 전에 `nvidia-smi`에 두 카드가 일치하는 드라이버 버전으로 표시되어야 합니다.
- 균등 분할로 시작하시기 바랍니다: 동일한 카드 두 개에는 llama.cpp의 `--tensor-split 1,1`이 올바른 기본값입니다.
- PCIe 대역폭 포화를 주의하시기 바랍니다: 초당 토큰이 예상 범위보다 훨씬 낮다면 메인보드가 실제로 x8/x8로 동작하는지, 조용히 x4로 폴백하고 있지는 않은지 확인하시기 바랍니다.
업그레이드 경로
이 빌드에서 가장 확실한 업그레이드는 메인보드에 사용 가능한 대역폭을 갖춘 세 번째 PCIe 슬롯이 있다면 RTX 5060 Ti 16GB를 하나 더 추가하는 것으로, 합산 VRAM을 48GB까지 늘려 더 큰 70B 모델 양자화나 더 긴 컨텍스트 윈도우를 위한 여유 공간을 확보합니다.
더 비싸지만 더 단순한 업그레이드는 나중에 RTX 5060 Ti 카드 두 개를 RTX 5070 Ti 16GB 카드 두 개로 교체하는 것으로, 동일한 32GB VRAM 한계는 유지하면서 원시 연산 성능과 메모리 대역폭을 높여 어떤 모델 크기가 맞는지는 바꾸지 않고 초당 토큰 수를 개선합니다.
이 예산대에서 흔한 실수
- "SLI/CrossFire 지원"이라는 브랜딩만 보고 메인보드를 구매하는 것 — 그 마케팅 용어는 게이밍 멀티 GPU 렌더링을 가리킬 뿐 연산 워크로드용 PCIe 레인 할당을 의미하지 않으며, x8/x8을 보장하지 않습니다.
- 비용을 아끼려고 GPU 세대를 섞는 것(예: RTX 5060 Ti 하나 + RTX 4060 Ti 하나) — 텐서 분할 성능은 더 느리거나 오래된 카드에 의해 제한되어, 최신 카드의 이점 대부분을 상쇄합니다.
- PSU 여유 용량을 과소평가하는 것 — 긴 생성 과정 동안 두 GPU가 동시에 정격 TDP에 근접하게 소비하면 순간적으로 360W를 크게 웃돌 수 있습니다. PSU 용량이 부족하면 부하 상태에서 완만한 속도 저하가 아니라 무작위 셧다운이 발생합니다.
- GPU가 두 배면 초당 토큰 수도 두 배라고 가정하는 것 — 텐서 분할은 레이어 사이에 PCIe 전송 오버헤드를 추가하므로, 이미 GPU 하나에 맞는 모델에서 합산 처리량은 단일 카드 속도의 2배에 의미 있게 못 미칩니다.
자주 묻는 질문
$2,000 PC로 70B 로컬 LLM을 실행할 수 있습니까?
네, RTX 5060 Ti 16GB 카드 두 개를 텐서 분할 구성으로 사용하면 합산 32GB VRAM을 풀링할 수 있습니다 — Q4 양자화로 70B 모델을 실행하기에 충분하며, 초당 12-18 토큰으로 동작합니다.
24GB나 32GB GPU 하나 대신 16GB GPU 두 개를 사용하는 이유는 무엇입니까?
동일한 16GB GPU 두 개는 같은 예산의 더 큰 카드 하나보다 달러당 합산 VRAM이 더 많으며, llama.cpp의 텐서 분할 기능은 두 카드의 VRAM이 추론을 위한 하나의 풀처럼 동작하게 합니다.
듀얼 GPU 로컬 LLM 빌드에서 메인보드가 중요합니까?
네, 매우 중요합니다. 보드는 양쪽 GPU 슬롯에서 x8/x8 PCIe 레인 할당을 지원해야 합니다 — 두 번째 슬롯을 전기적으로 x4로 운용하는 보드는 텐서 분할 추론 중 이론적이 아닌 실제 대역폭 병목을 만듭니다.
듀얼 GPU 빌드에서 서로 다른 GPU 모델을 섞어 사용할 수 있습니까?
권장하지 않습니다. 텐서 분할 성능은 쌍 중 더 느리거나 오래된 카드에 의해 제한되며, GPU 세대 간 드라이버 요구사항 불일치는 불안정성을 유발할 수 있습니다. 동일한 GPU 두 개를 사용하시기 바랍니다.
텐서 분할 멀티 GPU 추론에는 Ollama와 llama.cpp 중 무엇이 더 낫습니까?
Ollama는 여러 GPU를 자동으로 감지하며 수동 설정이 필요 없어 대부분의 사용자에게 더 간단합니다. llama.cpp의 수동 --tensor-split 플래그는 분할 비율을 더 정밀하게 제어할 수 있어, GPU 하나가 디스플레이 출력도 겸해 VRAM 예약을 줄여야 할 때 유용합니다.
PCIe 대역폭이 텐서 분할 성능에 실제로 얼마나 영향을 줍니까?
슬롯이 x8 대신 x4로 동작하면 상당히 영향을 줍니다. PCIe 4.0 x8은 텐서 분할 추론이 일반적으로 필요로 하는 대역폭을 이미 넘어서지만, x4는 두 GPU가 모든 순전파마다 활발히 데이터를 전송하므로 실제 병목이 됩니다.
GPU를 두 배로 늘리면 초당 토큰 수도 두 배가 됩니까?
아닙니다. 텐서 분할은 카드 사이에 나뉜 레이어 간 PCIe 전송 오버헤드를 추가하므로, 이미 GPU 하나에 맞는 모델의 합산 처리량은 그 단일 카드 속도의 2배에 의미 있게 못 미칩니다. 이점은 선형적인 속도 확장이 아니라 더 큰 모델을 수용하는 것입니다.
RTX 5060 Ti 두 장의 총 전력 소비량은 얼마입니까?
전체 부하 시 합산 약 360W(카드당 정격 TDP 180W)이며, 순간적으로 그보다 약간 더 높은 스파이크가 발생합니다. 850W 80+ Gold PSU는 이러한 스파이크와 함께 나머지 시스템에 충분한 여유를 남깁니다.
GPU 하나만 사용해서 더 작은 모델을 더 빠르게 실행할 수 있습니까?
네 — 이미 16GB에 맞는 모델(Q4 기준 최대 32B)의 경우, RTX 5060 Ti 하나만 사용하면 텐서 분할 PCIe 오버헤드를 완전히 피할 수 있어 분할할 필요가 없었던 모델을 분할하는 것보다 더 빠릅니다.
이 빌드를 넘어서는 업그레이드 경로는 무엇입니까?
메인보드에 사용 가능한 세 번째 PCIe 슬롯이 있다면 동일한 RTX 5060 Ti 16GB를 하나 더 추가하면 합산 VRAM이 48GB로 늘어납니다. 또는 나중에 두 카드를 모두 RTX 5070 Ti 16GB 유닛으로 교체하면 동일한 32GB 한계를 유지하면서 연산 성능과 메모리 대역폭을 높일 수 있습니다.