Key Takeaways
- 가동률이 가장 중요한 변수입니다. 지속적이고 거의 일정한 사용은 구매에, 불규칙하거나 예측하기 어려운 사용은 임대에 유리합니다 — 가격을 비교하기 전에 실제 예상 가동률을 먼저 모델링하세요.
- 온프레미스 하드웨어는 8x H100/H200 서버 기준 자본지출이 약 20만-40만+ 달러이며, 견적서에 없는 전력·냉각·지원 비용으로 15-30%가 추가됩니다.
- 예약형 클라우드 GPU 계약은 AWS, Azure, GCP, CoreWeave에서 1-3년 약정 시 온디맨드 대비 30-55% 할인되지만, 조기 해지는 통상 할인과 선불금을 모두 잃게 됩니다.
- 예시적인 3년 TCO 모델에서 손익분기점은 지속 가동률 약 55-65% 부근입니다 — 자사의 전력 비용, 인력 배치, 협상 요금으로 검증해야 합니다.
- 대부분의 기업은 결국 하이브리드 모델로 정착합니다. 안정적인 기저 부하에는 온프레미스 하드웨어를, 계절적이거나 예측 불가능한 피크에는 클라우드 용량을 사용합니다.
- 이것은 하드웨어 구매 결정이 아니라 재무 모델링 결정입니다 — 첫 단계는 벤더 선정이 아니라 TCO 모델 구축입니다.
빠른 사실 확인
- 8x H100/H200 온프레미스 서버 자본지출: GPU 메모리 등급과 구성에 따라 약 20만-40만+ 달러.
- 온프레미스 전력 소비: 8-GPU H100/H200 SXM5 노드는 풀 로드 시 약 10-12kW를 소비.
- 클라우드 예약 할인 범위: AWS, Azure, GCP, CoreWeave의 1-3년 약정 계약은 통상 온디맨드 대비 30-55% 할인.
- 예시적 손익분기 가동률: 아래 모델에서 3년간 지속 약 55-65%.
- GPU 하드웨어의 일반적 감가상각 기간: 일반적인 기업 재무 관행에서는 정액법 3년 — GPU 세대 교체가 빠르기 때문에 더 긴 기간을 적용하면 잔존 내용연수를 과대평가하기 쉽습니다.
- 온프레미스의 숨겨진 오버헤드: 지원 계약, 네트워크 패브릭, 냉각 개조가 통상 서버 하드웨어 비용에 15-30%를 추가.
온프레미스로 구매해야 할까요, 예약형 클라우드 GPU를 임대해야 할까요?
솔직한 답은 "가동률에 달려 있다"이며, 아래 결정 가이드는 이를 구체적인 테스트로 바꿔줍니다. 두 목록을 모두 읽어보세요 — 가동률을 정직하게 추정하면 대부분의 조직은 어느 한쪽에 더 가깝다는 것을 알게 됩니다.
온프레미스를 선택할 경우 / 클라우드를 선택할 경우
다음의 경우 로컬 LLM을 사용하십시오:
- •워크로드가 거의 지속적으로 실행됨 — 가동률이 지속적으로 약 55-65%를 넘는, 24/7 트래픽을 처리하는 프로덕션 추론 서비스
- •하드웨어 생명주기, 냉각, 장애 대응을 담당할 내부 인프라/운영 인력을 보유했거나 구성할 수 있음
- •데이터 거주지 또는 에어갭 요구사항으로 인해 클라우드 처리가 비용 문제뿐 아니라 컴플라이언스 문제가 됨
- •대규모 투자 프로젝트 없이도 충분한 전력·냉각 용량을 이미 갖췄거나 추가할 수 있는 시설이 있음
다음의 경우 클라우드 모델을 사용하십시오:
- •워크로드가 불규칙하거나 계절적이거나 아직 R&D/실험 단계 — 자체 하드웨어에서의 가동률이 50%를 크게 밑돌 것으로 예상됨
- •하드웨어 조달·납품 주기보다 더 빠르게 GPU 용량을 늘리거나 줄여야 함
- •장기적인 형태가 아직 불확실한 워크로드를 위해 다년간의 인력·시설 약정을 피하고 싶음
- •멀티 리전 배포가 GPU 시간당 단가보다 더 중요함 — 클라우드 리전은 오늘 바로 이용 가능하지만 신규 데이터센터는 그렇지 않음
빠른 결정:
- →확신이 서지 않고 워크로드가 정말로 새로운 경우: 먼저 클라우드 예약 또는 온디맨드 용량으로 시작해 2-3개월간 실제 가동률을 측정한 뒤, 예측이 아닌 실제 수치로 구매 사례를 모델링하세요.
임대와 구매 사이의 손익분기점은 어떻게 계산하나요?
가동률 — GPU 용량이 실제로 생산적인 작업을 수행하는 시간의 비율 — 은 이 비교를 결정짓는 다른 어떤 요인보다 중요한 단일 변수입니다. 가동률 20%인 서버는 80%의 시간 동안 유휴 상태인 하드웨어에 대해 전체 감가상각비와 전력 비용을 그대로 지불합니다. 사용한 만큼만 과금되는 클라우드 용량은 이 문제가 없지만, 공급업체 자체의 가동률 리스크를 보전하기 위해 시간당 프리미엄을 부과합니다.
손익분기 공식을 개념적으로 표현하면: 완전 부담 기준 3년 온프레미스 비용(자본지출 + 전력 + 냉각 + 인건비)을 100% 가동률에서의 완전 부담 기준 3년 클라우드 비용으로 나누는 것입니다. 이 비율이 대략 두 옵션의 비용이 같아지는 가동률입니다 — 그 이하는 클라우드가 저렴하고, 그 이상은 온프레미스가 저렴합니다.
이는 여러분 조직의 전력 비용, 인력 오버헤드, 협상된 클라우드 요금에 따라 달라지는 모델링 작업입니다 — 다음 섹션의 예시 계산은 그대로 베낄 숫자가 아니라 자체 수치로 재구성할 틀로 다루세요.
- 지속 가동률 약 65% 이상: 아래 모델에서는 거의 항상 온프레미스가 유리합니다 — 어느 쪽이든 유휴 용량에 대한 비용을 지불하게 되는데, 자체 소유 하드웨어의 유휴 비용이 클라우드의 시간당 과금보다 낮기 때문입니다.
- 가동률 35-65%: 진짜 "상황에 따라 다름" 구간입니다 — 결정하기 전에 실제 전력 요금, 인력 배치, 협상된 클라우드 할인율로 모델을 다시 계산하세요.
- 가동률 약 35% 미만: 거의 항상 클라우드가 유리합니다 — 대부분 유휴 상태인 하드웨어에 전체 자본지출과 감가상각비를 지불하는 것은 대체로 손해입니다.
12개월, 24개월, 36개월 기준 TCO는 실제로 어떤 모습일까요?
예시적인 8x H100 비교를 보면 온프레미스 비용은 연간 거의 일정하게 유지되는 반면, 클라우드 비용은 사용량에 정비례해 늘어납니다 — 교차점은 경과 시간이 아니라 가동률의 함수입니다. 이 수치는 예시 기준으로 중간 수준의 온프레미스 자본지출 25만 달러와 혼합 예약형 클라우드 요금 GPU 시간당 3.50달러를 사용했습니다 — 예산 편성 전에 실제 벤더 견적으로 대체하세요.
100% 가동률에서는 클라우드 비용이 빠르게 누적됩니다: 8개 GPU를 1년 내내 연속 가동하면 약 70,080 GPU 시간이 되며, GPU 시간당 3.50달러의 예약 요금으로 계산하면 연간 약 24.5만 달러입니다 — 3년간 100% 가동한 클라우드 약정은 70만 달러를 넘어설 수 있어 온프레미스 자본지출과 오버헤드를 크게 웃돕니다.
- 이 표는 기간이 아니라 가동률 열 기준으로 읽으세요. 지속 가동률 100%에서는 표시된 모든 기간에서 온프레미스가 더 저렴합니다. 가동률 30%에서는 36개월 시점에도 클라우드가 여전히 더 저렴합니다 — 이 예시 모델의 교차점은 고정된 기간이 아니라 가동률 약 55-65% 부근에 있습니다.
- 예산 결정에 사용하기 전에 실제 벤더 견적, 전력 요금(달러/kWh), 인력 배치로 이 표를 다시 구성하세요 — 여기 수치는 견적이 아니라 하나의 틀입니다.
| 기간 | 온프레미스 TCO (예시) | 클라우드 예약 TCO (가동률 100%) | 클라우드 예약 TCO (가동률 30%) |
|---|---|---|---|
| 12개월 | 약 29만 달러 (자본지출 + 1년 오버헤드) | 약 24.5만 달러 | 약 7.4만 달러 |
| 24개월 | 약 32.5만 달러 (자본지출 + 2년 오버헤드) | 약 49만 달러 | 약 14.7만 달러 |
| 36개월 | 약 36만 달러 (자본지출 + 3년 오버헤드) | 약 73.5만 달러 | 약 22.1만 달러 |
온프레미스로 결정했다면 어떤 하드웨어를 구매해야 하나요?
가동률 계산이 구매를 가리킨다면, 구체적인 하드웨어 선택은 이 글에서 다시 다루지 않는 별도의 주제입니다. Dell PowerEdge XE9680, Lenovo ThinkSystem SR675 V3, HPE Cray XD670, Supermicro SYS-821GE-TNHR는 약 20만-40만+ 달러 범위의 8-GPU H100/H200 SXM5 랙 플랫폼을 제공하는 네 개 벤더입니다 — 벤더별 사양, 냉각 요구사항, 네트워크 패브릭 선택은 기업용 GPU 서버 구매 가이드를 참고하세요.
해당 가이드는 "어떤 서버를 살 것인가"를 자세히 다루며, 이 글은 "애초에 서버를 사야 하는가"에 답합니다 — 예산을 확정하기 전에 두 글을 모두 읽어보세요.
기업용 예약형 클라우드 GPU에는 어떤 옵션이 있나요?
AWS, Microsoft Azure, Google Cloud, CoreWeave는 각각 온디맨드 가격 대비 할인된 다년간 약정형 GPU 계약을 판매합니다 — 할인율과 계약 구조가 서로 상당히 다르므로 기존에 쓰던 클라우드 공급업체를 기본값으로 선택하기보다 직접 비교할 가치가 있습니다.
- AWS나 Azure를 선택하는 경우: 핵심 인프라가 이미 해당 플랫폼에서 운영 중일 때 — 약정 할인이 기존 엔터프라이즈 계약 및 청구 관계 위에 추가로 쌓입니다.
- Google Cloud를 선택하는 경우: ML/데이터 파이프라인이 이미 GCP에 있을 때 — 대부분의 구성에서 CUD는 별도의 예약 구매 없이 일치하는 사용량에 자동 적용됩니다.
- CoreWeave를 선택하는 경우: 워크로드가 GPU 우선이며 범용 대형 클라우드 벤더가 아니라 GPU 용량 전문으로 구축된 공급업체를 원할 때 — 가격은 견적만 제공되므로 현재 H100/H200/GB200 가용성과 계약 조건을 직접 확인하세요.
- 이들 공급업체 중 어느 곳도 기업용 약정 계약 가격을 공개적으로 게시하지 않습니다 — 위의 각 할인 범위는 공개적으로 참조 가능한 근사치입니다. 예산 편성 전에 정식 견적을 받으세요.
| 공급업체 | 약정 상품 | GPU 옵션 | 일반적인 할인 범위 | 가장 적합한 경우 |
|---|---|---|---|---|
| AWS | EC2 Capacity Blocks for ML / Reserved Instances / Savings Plans | P5 (H100), P5e (H200) | 온디맨드 대비 약 30-50% | 이미 AWS 인프라로 표준화된 팀 |
| Microsoft Azure | Reserved VM Instances (1년/3년) | ND H100 v5, ND H200 v5 | 종량제 대비 약 30-45% | 기존 Microsoft Enterprise Agreement가 있는 기업 |
| Google Cloud | Committed Use Discounts (CUD) | A3 (H100), A3 Mega (H100) | 약 37%(1년)에서 약 55%(3년) | ML/데이터 도구가 이미 GCP에 있는 팀 |
| CoreWeave | 예약 용량 계약 | H100, H200, GB200 | 협상제, 견적만 제공 | 대형 클라우드 벤더에 의존하지 않는 GPU 우선 워크로드 |
워크로드 패턴별로 어떤 옵션이 적합할까요?
조달 결정을 예산 규모가 아니라 워크로드의 실제 형태에 맞추세요. 다음 네 가지 패턴이 대부분의 기업 AI 배포 사례를 다룹니다.
| 워크로드 패턴 | 권장 경로 | 이유 |
|---|---|---|
| 대규모 24/7 추론 | 온프레미스 (또는 하이브리드 기저) | TCO 모델에서 지속 가동률 약 55-65% 이상은 예약형 클라우드보다 자체 하드웨어에 일관되게 유리함 |
| 계절적/불규칙 수요 | 클라우드 (온디맨드 또는 단기 예약) | 연중 대부분 유휴 상태인 하드웨어에 전체 자본지출을 지불하는 것은 시간당 클라우드 과금을 좀처럼 이기지 못함 |
| R&D/실험 | 클라우드 (온디맨드) | 워크로드의 형태와 규모가 아직 불확실함 — 다년 약정은 추측을 고정해버림 |
| 멀티 리전, 컴플라이언스 주도 | 클라우드 (멀티 리전 예약) | 여러 관할권에서 규정을 준수하는 데이터센터 용량을 구축하는 것은 기존 클라우드 리전을 활용하는 것보다 느리고 비용이 많이 듦 |
온프레미스와 클라우드를 결합한 하이브리드 접근법은 어떤 모습인가요?
지속적인 AI 워크로드를 가진 대부분의 기업은 결국 안정적인 기저 부하에 맞춘 온프레미스 하드웨어와, 계절적이거나 예측 불가능한 피크를 흡수하는 클라우드 용량을 함께 운영하게 됩니다 — 둘 중 하나를 택하는 이분법적 선택이 아닙니다. 이는 예측 가능한 고가동률에서 온프레미스의 비용 우위를 확보하면서, 연중 대부분 유휴 용량이 될 트래픽을 위해 클라우드의 탄력성을 유지하는 방식입니다.
실무적으로는: 자신 있게 예측할 수 있는 24/7 기저 부하(가동률 하한선)에 맞춰 온프레미스 구매 규모를 정하고, 그 기저를 넘는 피크 트래픽은 온디맨드 또는 단기 예약 클라우드 용량으로 라우팅합니다. 이렇게 하면 연중 일부 기간에만 발생하는 피크 부하를 위해 온프레미스 하드웨어를 과도하게 구매하는 것을 피할 수 있습니다.
- 기저 부하 규모 산정: 온프레미스 구매 규모를 정하기 전에 2-3개월간 실제 중앙값 또는 하위 백분위수 지속 부하를 측정하세요 — 피크 부하에 맞춰 규모를 정하면 하이브리드 모델의 목적이 무너집니다.
- 피크 트래픽 라우팅: 온프레미스 용량이 포화될 때 초과 트래픽을 클라우드 추론 엔드포인트로 라우팅할 수 있는 API 게이트웨이나 로드 밸런서가 있으면 아키텍처 운영이 단순해집니다.
- 계약 기간 맞추기: 클라우드 부분은 동등한 다년 예약 계약이 아니라 더 짧은 기간이나 온디맨드 요금으로 유지하세요 — 하이브리드 모델의 요지는 클라우드 쪽의 유연성이지, 약정을 두 배로 늘리는 것이 아닙니다.
- 매년 재평가: 워크로드가 성숙하고 가동률 데이터가 쌓이면서 적절한 기저 대 피크 비율이 변합니다 — 하이브리드 분배를 영구적인 아키텍처가 아니라 매년 재검토할 모델로 다루세요.
이 결정에서 기업들이 흔히 저지르는 조달 실수는 무엇인가요?
- 완전 부담 TCO가 아닌 표시 가격을 비교함. 전력, 냉각, 인건비 오버헤드가 빠진 온프레미스 자본지출 견적을, 예약 할인이 빠진 클라우드 온디맨드 요금과 비교하면 어느 쪽에도 공정하지 않은 비교가 됩니다.
- 측정된 기저 부하가 아니라 예상 피크 부하에 맞춰 온프레미스 하드웨어 규모를 정함. 이는 연중 대부분 유휴 상태로 남는 과잉 용량을 만들어냅니다 — 바로 하이브리드 모델이 피하려는 함정입니다.
- 워크로드의 형태를 파악하기 전에 3년 예약형 클라우드 계약을 체결함. 예약형 계약은 특정 요금에 약정하는 것이므로, 워크로드가 크게 바뀌면 할인과 계약 기간이 절감이 아니라 부담이 됩니다.
- 요금만으로 클라우드 공급업체를 비교하면서 데이터 반출 비용과 락인 비용을 무시함. 견적된 GPU 시간당 요금이 가장 낮다고 해서 총비용이 가장 낮은 것은 아닙니다 — 이후 공급업체를 바꿀 때 데이터 파이프라인을 재구축해야 한다면 특히 그렇습니다.
- 온프레미스 대 클라우드 결정을 영구적인 것으로 취급함. 제품이 성숙해지면서 가동률 패턴이 변합니다 — 출시 시점의 정답이 18개월 뒤에는 더 이상 정답이 아닌 경우가 많습니다. 모델을 한 번 정하고 끝내지 말고 다시 검토하세요.
자주 묻는 질문
GPU 용량을 구매하는 것과 임대하는 것의 손익분기 가동률은 얼마인가요?
25만 달러 온프레미스 서버와 GPU 시간당 3.50달러의 혼합 예약형 클라우드 요금을 사용한 예시적인 3년 TCO 모델에서, 손익분기점은 지속 가동률 약 55-65% 부근에 위치합니다 — 그 이하는 대체로 클라우드가 저렴하고, 그 이상은 대체로 온프레미스가 저렴합니다. 이 수치를 자사의 수치로 받아들이기 전에 자체 전력 비용, 인력 배치, 협상된 클라우드 요금으로 모델을 다시 계산하세요.
모든 오버헤드를 포함하면 온프레미스 기업용 GPU 서버는 실제로 얼마가 드나요?
하드웨어 자체는 8x H100/H200 구성 기준 약 20만-40만+ 달러이며, 지원 계약, 네트워크 패브릭, 냉각 개조가 통상 15-30%를 추가로 더합니다 — 벤더별 가격은 기업용 GPU 서버 구매 가이드를 참고하세요.
예약형 클라우드 GPU 계약은 온디맨드 가격 대비 실제로 얼마나 할인되나요?
공개적으로 참조 가능한 범위에 따르면 AWS, Azure, Google Cloud에서 1-3년 약정 할인은 대략 30-55% 수준이며, CoreWeave의 예약 가격은 협상제로 견적만 제공됩니다. 이들 공급업체 중 어느 곳도 정확한 기업 계약 가격을 공개하지 않으므로 예산 편성 전에 정식 견적을 받으세요.
예약형 클라우드 GPU 계약을 조기 해지하면 어떻게 되나요?
대부분의 예약형·약정형 클라우드 계약은 조기 해지 시 협상된 할인을 소급해서 잃게 되며, 일부 계약 구조에서는 선불금 중 미상각분도 함께 잃게 됩니다. 서명하기 전에 구체적인 해지 조건을 확인하세요 — 이는 세부 조항이 아니라 결정의 핵심 요소입니다.
기업 규모에서는 온프레미스 하드웨어가 클라우드 임대보다 저렴한가요?
이는 전적으로 지속 가동률에 달려 있으며 규모만으로 결정되지 않습니다. 높고 예측 가능하며 거의 일정한 가동률은 온프레미스에 유리하고, 불규칙적·계절적·실험적 워크로드는 클라우드에 유리합니다. 유휴 상태인 자체 하드웨어는 여전히 전체 감가상각비를 청구하고, 유휴 상태인 예약형 클라우드 용량은 여전히 약정 요금을 청구하기 때문입니다 — 둘의 차이는 양쪽의 마케팅이 시사하는 것보다 작습니다.
온프레미스와 클라우드를 결합한 하이브리드 접근법이란 무엇이며 언제 적합한가요?
하이브리드 접근법은 예측 가능한 24/7 기저 부하에 맞춰 온프레미스 하드웨어 규모를 정하고, 피크를 위해 온프레미스를 과도하게 구축하는 대신 계절적이거나 예측 불가능한 피크를 클라우드 용량으로 라우팅합니다. 의미 있는 수요 변동성도 함께 가진 대부분의 지속적인 기업 AI 워크로드에 적합하며, 이는 대다수의 프로덕션 추론 배포에 해당합니다.
데이터 반출 가격이 구매 대 임대 결정에 어떤 영향을 미치나요?
클라우드 공급업체 네트워크 밖으로 데이터를 이동시키는 반출 비용은 경량 API 트래픽에는 미미하지만, 환경 간에 대규모 학습 데이터셋이나 모델 체크포인트를 정기적으로 옮기는 팀에는 상당해집니다 — 공급업체를 비교하기 전에 예상 반출량을 GPU 시간당 요금과 별도로 모델링하세요.
멀티 리전이나 컴플라이언스 주도 배포는 기본적으로 클라우드를 선택해야 하나요?
대체로 그렇습니다. 여러 관할권에서 규정을 준수하는 데이터센터 용량을 구축하는 것은, 공급업체가 유지 관리하는 데이터 거주지 및 컴플라이언스 인증을 이미 갖춘 기존 클라우드 리전을 활용하는 것보다 느리고 상당히 비용이 많이 듭니다 — 이 결정의 컴플라이언스 측면은 데이터 거주지 및 소버린 AI 가이드를 참고하세요.
온프레미스 GPU 서버는 주문부터 프로덕션 가동까지 얼마나 걸리나요?
8-GPU 구성의 납품 기간은 GPU 할당 상황에 따라 몇 주에서 몇 달까지 다양했으며, 여기에 내부 조달, 랙 설치, 전력/냉각 준비 기간이 추가됩니다 — 클라우드의 거의 즉각적인 프로비저닝과 비교할 때는 벤더 납품 기간만이 아니라 전체 일정을 예산에 반영하세요.
AWS, Azure, Google Cloud는 모두 같은 종류의 약정 할인을 제공하나요?
메커니즘은 공급업체마다 다릅니다 — AWS는 EC2 Capacity Blocks, Reserved Instances, Savings Plans를 사용하고, Azure는 Reserved VM Instances를 사용하며, Google Cloud는 대부분의 구성에서 별도의 예약 구매 없이 일치하는 사용량에 자동 적용되는 Committed Use Discounts를 사용합니다. 할인 범위는 대체로 비슷합니다(1-3년 약정 시 약 30-55%)만, 계약 메커니즘의 차이가 유연성에 영향을 줄 만큼 크므로 헤드라인 할인율만이 아니라 실제 계약 조건을 비교하세요.
출처
- AWS EC2 Capacity Blocks for ML 가격 -- aws.amazon.com/ec2/capacityblocks
- Microsoft Azure Reserved VM Instances 가격 -- azure.microsoft.com/en-us/pricing/reserved-vm-instances
- Google Cloud Committed Use Discounts 문서 -- cloud.google.com/docs/cuds
- CoreWeave 가격 -- coreweave.com/pricing
- Dell PowerEdge XE9680 제품 페이지 -- dell.com/en-us/shop/ipovw/poweredge-xe9680
- Enterprise GPU Server Buying Guide 2026 (PromptQuorum, 내부) -- 하드웨어 가격 및 전력/냉각 수치는 이 자매 글에서 재사용.