2026년 로컬 LLM용 RTX 3090: 구매해야 할까, 대여해야 할까

두 경로 모두 같은 GPU와 같은 24GB VRAM을 제공합니다. 실제 질문은 오직 실제로 몇 시간을 사용할 것인지, 그리고 데이터가 네트워크를 벗어날 수 있는지입니다.

RTX 3090이 중요한 이유는 단 하나입니다: 누구보다 저렴한 가격에 24GB VRAM을 제공한다는 점입니다. 2026년 기준으로 이 카드의 다른 모든 면은 평범합니다 — 2020년 설계이며 350W를 소비하고, 현세대 카드가 모든 효율성 지표에서 이를 능가합니다. 하지만 그렇다고 해서 모델 가중치가 비디오 메모리에 들어가느냐 마느냐의 사실이 바뀌지는 않습니다.

VRAM은 완만한 경사가 아니라 절벽입니다. 딱 맞는 모델은 최대 속도로 실행되지만, 단 1GB라도 넘치면 시스템 RAM으로 흘러넘쳐 속도가 급격히 떨어집니다. 이 때문에 24GB는 성능 수치가 아니라 능력의 임계값이 되며, 3090은 이 임계값을 넘는 가장 저렴한 카드입니다.

두 번째로 중요한 수치는 메모리 대역폭입니다. 양자화된 모델의 토큰 생성은 연산이 아니라 메모리 대역폭에 제약받으므로, 936GB/s가 CUDA 코어 수보다 체감 속도를 더 잘 예측합니다. 이는 또한 연산량은 더 많지만 메모리 버스가 더 좁은 최신 중급 카드들 사이에서도 3090이 경쟁력을 유지하는 이유입니다.

실제로는: 4비트 양자화된 27B급 모델에 여유로운 공간, 긴 컨텍스트에서도 빠른 7B–14B 모델 추론, 그리고 카드를 한 장 더 추가하면 오프로드 없이 70B급 모델을 VRAM에 완전히 유지할 수 있는 능력을 얻습니다.

"24GB에 들어간다"와 "인터랙티브 사용에 쾌적하게 작동한다"는 서로 다른 주장이며, 이 둘을 혼동하는 구매 가이드는 잘못된 기대를 심어줍니다. 모델은 기술적으로 로드되더라도 컨텍스트를 위한 공간이 전혀 남지 않을 수 있으며, 이는 짧은 단일 프롬프트에는 작동하지만 대화가 길어지는 순간 무너진다는 뜻입니다. 아래 표는 이 둘을 구분합니다.

모델을 이 열들 사이에서 움직이게 하는 변수는 컨텍스트 길이입니다: 대화 기록의 모든 토큰과 생성되는 모든 토큰은 가중치 자체 외에 KV 캐시에 공간이 필요합니다. 4K 컨텍스트의 4비트 양자화 27B 모델은 쾌적하게 들어가지만, 같은 모델을 32K 컨텍스트로 밀어붙이면 양자화로 확보한 여유 공간을 다시 잠식할 수 있습니다.

RTX 3090의 24GB는 Ollama와 LM Studio에 특히 중요합니다. 두 도구 모두 모델이 들어갈 경우 기본적으로 GPU 메모리에 전체를 로드하고, 들어가지 않으면 더 느린 CPU/GPU 오프로드로 전환하기 때문입니다. 24GB를 사용할 수 있으면, 두 도구 모두 27B급 모델을 분할하지 않고 카드에서 완전히 실행할 수 있습니다.

실제 초당 토큰 수는 구체적인 모델, 양자화 수준, 컨텍스트 길이, 사용 중인 백엔드 빌드(두 도구 모두 내부적으로 llama.cpp를 사용), 이미 캐시된 부분 대비 아직 처리해야 할 프롬프트의 비율, 그리고 같은 기기에서 함께 실행 중인 다른 작업에 따라 달라집니다. 두 도구 모두 공식 RTX 3090 벤치마크를 공개하지 않으므로, 다른 곳에서 보는 단일 "초당 X 토큰" 수치는 한 사람의 설정일 뿐 여러분의 설정에 대한 보장이 아님을 염두에 두십시오.

실제로는: 두 도구 중 하나를 설치하고, 4비트 양자화된 27B급 모델을 불러온 뒤, 실행 중 nvidia-smi(또는 도구 자체의 표시)로 GPU 메모리 사용량을 확인하십시오 — 사용량이 24GB보다 여유롭게 낮다면 모델이 완전히 카드에 있으며 RTX 3090의 전체 메모리 대역폭을 얻고 있는 것입니다.

모든 RTX 3090은 동일한 24GB VRAM을 갖추고 있으므로, 어떤 모델이 들어가는지의 문제는 "RTX 3090"을 선택한 순간 이미 해결됩니다. 카드마다 다른 것은 소유하기에 얼마나 견딜 만한가입니다. 특정 제조사의 쿨러 설계가 모든 매물에서 객관적으로 최고인 것은 아닙니다 — 중고 시장의 상태는 설계 자체보다 더 크게 편차가 있습니다 — 하지만 구매 전 확인할 가치가 있는 요소들은 다음과 같습니다.

대여를 지지하는 논거는 항상 더 저렴해서가 아니라, 유휴 상태의 GPU가 바쁜 GPU와 같은 비용이 든다는 점입니다. 주말에만 사용되는 데스크톱 안의 카드는 이미 전체 구매 가격만큼의 비용을 치른 셈입니다. 대여한 GPU는 세션 사이에 아무 비용도 들지 않습니다.

대여의 이유는 철학적이지 않고 구체적입니다: 초기 지출 없음, 5년 된 카드의 감가상각 위험 없음, 전원·케이스·냉각 제약 없음, 팬이 고장 나도 주말을 날릴 일 없음. 절대 구매하지 않을 카드도 대여할 수 있습니다 — 70B급 모델을 대여한 GPU 두 대로 하루 오후 동안 테스트하는 데는 몇 달러면 되지만, 중고 두 대를 구매하면 약 1,700달러가 듭니다.

솔직한 반론은 대여에 실질적인 마찰이 있다는 것입니다. 다른 누군가의 기기에 데이터를 업로드해야 하고, 인스턴스를 기다려야 하며, 마켓플레이스형 공급업체에서는 작업 도중 호스트가 사라지는 경우도 가끔 있습니다. 이는 대여를 무시할 이유가 아니라, 결정이 시간당 요금만이 아니라 워크로드에 달려 있다는 이유입니다.

시간당 0.15달러의 중앙값 대여와 비교하면, 850달러 카드는 본전을 뽑는 데 약 12,300 GPU 시간이 필요합니다 — 하루 8시간이면 약 4년, 하루 2시간이면 약 17년입니다. 이것이 대부분의 구매 가이드가 생략하는 수치이며, 구매를 결정해야 할 수치입니다.

이 계산은 카드를 운영하는 비용을 차감합니다. 콘센트 기준 450W와 2026년 미국 평균 0.18달러/kWh를 적용하면, 로컬 추론은 전기료로 시간당 약 0.08달러가 듭니다. 따라서 850달러와 시간당 0.15달러를 비교하는 것이 아니라, 실제로 절약되는 시간당 약 0.07달러와 비교하는 것입니다.

가정: 850달러 카드, 시스템 소비전력 450W, 0.18달러/kWh. 본인의 전기 요금으로 대체해 보십시오 — 표의 다른 어떤 요소보다 결과를 크게 좌우하며, 0.30달러/kWh를 넘는 시장에서는 구매 논거가 대체로 사라집니다.

모델이 16GB에 들어간다면 건너뛰십시오. 4비트로 7B와 14B 모델을 실행하며 그보다 큰 모델은 전혀 다루지 않는다면, 더 저렴한 최신 16GB 카드가 더 조용하고 전력 소비가 훨씬 적으며 보증도 딸려 옵니다. 절대 쓰지 않을 여유를 위해 24GB의 프리미엄을 지불하는 것은 이 구매에서 가장 흔한 실수입니다.

추론이 아니라 학습을 위해 구매하는 경우에도 건너뛰십시오. 단일 24GB 카드에서의 상당한 규모의 파인튜닝은 공격적인 양자화와 긴 대기 시간을 의미합니다; 몇 시간 동안 더 큰 카드를 대여하는 편이 더 빠르고 더 저렴합니다.

전기료가 비싼 경우에도 건너뛰십시오. 0.30달러/kWh 이상에서는 운영 비용만으로도 더 저렴한 클라우드 요금에 근접하며, 소유의 논거가 대체로 사라집니다.

향후 2년간 하루 약 4시간 이상 사용할 예정이거나 데이터가 건물 밖으로 나갈 수 없다면 중고 RTX 3090을 구매하십시오 — 여전히 24GB VRAM을 소유하는 가장 저렴한 방법입니다. 사용이 일시적이거나 불규칙하거나, 로컬 추론이 워크로드에 맞는지 아직 파악 중이라면 대여하십시오. 확신이 서지 않는다면 먼저 대여하십시오.

빈번한 로컬 LLM 사용과 개인정보 보호를 위해서는 구매하십시오. 가끔의 실험을 위해서는 대여하십시오. 불확실하거나 변화하는 사용 패턴이라면 먼저 대여하고, 실제 사용 시간을 알게 되는 6개월 후에 결정을 재검토하십시오. 저렴한 24GB VRAM을 구체적으로 찾는 사람에게는 상태 좋은 중고 RTX 3090이 2026년에도 여전히 매력적입니다 — 메모리 부족으로 인한 가격 상승이 이를 바꾸지는 않았고, 단지 손익분기점을 더 멀리 밀어냈을 뿐입니다. 효율성, 보증, 최신 기능이 초기 가격보다 중요한 신규 구매라면 대신 최신 카드와 비교해 보십시오.

요약하면: RTX 3090의 강점은 중고 시장 가격의 24GB VRAM입니다. 비용은 노후화, 높은 전력 소비, 발열, 소음, 보증 부재입니다. 이 트레이드오프의 어느 쪽도 2026년에 바뀌지 않았습니다 — 바뀐 것은 구매 가격뿐이며, 그마저도 구매에 불리한 방향으로 움직였습니다.