Key Takeaways
- GPU 밀도: 4개 벤더 모두 8-GPU SXM5 플래그십 플랫폼을 보유하고 있습니다(Dell XE9680, HPE Cray XD670, Supermicro SYS-821GE-TNHR). Lenovo와 HPE는 밀도와 비용이 낮은 PCIe 플랫폼도 판매합니다.
- 가격대: 8x H100/H200 SXM5 서버는 GPU 메모리(80GB H100 vs 141GB H200)와 지원 등급에 따라 대략 20만~40만 달러 이상입니다.
- 냉각이야말로 진짜 제약입니다. 8-GPU SXM5 서버 2~3대만으로도 랙당 약 20-40kW로 알려진 공랭의 실질적 한계를 넘어섭니다 — 이 밀도를 넘어서면 액체 냉각은 선택이 아니라 필수가 됩니다.
- 네트워크는 학습에 중요하고 추론에는 덜 중요합니다. 멀티 노드 학습 클러스터는 InfiniBand NDR 또는 RoCE v2 이더넷 패브릭이 필요하지만, 단일 노드 추론은 필요하지 않습니다.
- 예산만이 아니라 워크로드에 맞춰 GPU를 선택하세요. L40S(48GB, PCIe, 공랭)는 추론에 적합하고, H100/H200(80-141GB, SXM5, NVLink)은 학습과 대용량 서빙에 적합합니다.
- 추론 용량이 GPU 1~2개면 충분한 구매자는 애초에 랙 서버를 구매해서는 안 됩니다 — 이 규모에는 워크스테이션 구성이 적합합니다.
엔터프라이즈 GPU 서버 구매자는 워크로드에 맞춰 벤더를 선택해야 합니다 — Dell PowerEdge XE9680, HPE Cray XD670, Supermicro SYS-821GE-TNHR은 20만~40만 달러 이상의 8x H100/H200 SXM5 학습 플랫폼에서 직접 경쟁하며, PCIe L40S를 탑재한 HPE ProLiant DL380a Gen11과 Lenovo ThinkSystem SR675 V3은 추론 전용 예산을 약 3분의 1에서 절반 가격으로 충족시킵니다.
기업용 AI 서버 구매는 고성능 게이밍 PC를 조립하는 것과는 전혀 다릅니다. 이런 장비는 집 한 채 가격에 맞먹으며, 도착하기도 전에 냉각과 전력 계획이 필요하고, 수년짜리 지원 계약이 함께 따라옵니다. 이 가이드는 이러한 랙 마운트형 AI 서버를 실제로 판매하는 4개 회사 — Dell, Lenovo, HPE, Supermicro — 를 비교하여, 구매자가 가장 화려한 스펙시트가 아니라 실제 용도(직원용 AI 모델 운영 vs 새 모델을 처음부터 학습)에 맞는 규모와 벤더를 선택할 수 있도록 돕습니다.
요약 정보
- Dell PowerEdge XE9680: 6U, 최대 8x H100/H200 SXM5, 듀얼 Intel Xeon Platinum, 최대 4TB DDR5.
- Lenovo ThinkSystem SR675 V3: 3U, 최대 8 GPU(H100/H200/L40S 혼합 가능), 듀얼 AMD EPYC 9004/9005, 최대 6TB DDR5, Neptune 액체 냉각 옵션.
- HPE Cray XD670: 5U, 최대 8x H100/H200 SXM5, 듀얼 4세대 Intel Xeon, InfiniBand NDR / Slingshot 11 / 이더넷 패브릭 선택 가능.
- HPE ProLiant DL380a Gen11: 2U, 최대 더블와이드 4개 또는 싱글와이드 8개 GPU(L40S/H100 PCIe), 최대 64코어 듀얼 Intel Xeon.
- Supermicro SYS-821GE-TNHR: 8U, 최대 8x H100/H200 SXM5, 듀얼 4/5세대 Intel Xeon, 최대 8TB DDR5.
- GPU VRAM: H100 = 80GB HBM3; H200 = 141GB HBM3e; L40S = 48GB GDDR6.
- 랙 전력 소비: 8x H100/H200 SXM5 노드 1대는 최대 부하 시 약 10-12kW를 소비합니다 — 2대만 있어도 랙 하나의 공랭 실질 한계를 넘어섭니다.
사용 사례별로 어떤 GPU 서버를 구매해야 할까요?
적합한 벤더는 브랜드 선호가 아니라 워크로드와 데이터센터 준비 상태에 따라 달라집니다. 학습 클러스터, 추론 전용 배포, 액체 냉각이 준비된 데이터센터는 각각 다른 플랫폼을 가리킵니다.
- 대규모 멀티 노드 학습에 최적: Dell PowerEdge XE9680 — InfiniBand로 연결된 멀티 랙 클러스터를 구축하기 위한 가장 넓은 엔터프라이즈 영업 및 SI 네트워크를 보유하고 있습니다.
- 액체 냉각 대응 데이터센터에 최적: Lenovo ThinkSystem SR675 V3 — Neptune 다이렉트 투 칩 액체 냉각은 지속적인 고부하 GPU 사용 시 냉각 비용을 크게 절감하며, AMD EPYC CPU 옵션도 제공합니다.
- 추론 전용 또는 소규모 첫 도입에 최적: HPE ProLiant DL380a Gen11 — 2U, 공랭, PCIe GPU, 8x SXM5 학습 서버 대비 약 3분의 1에서 절반 수준의 비용입니다.
- 구성 유연성과 가격 경쟁력에 최적: Supermicro SYS-821GE-TNHR — SI 채널을 통해 가장 폭넓은 맞춤 구성 옵션을 제공하며, 8x H100/H200 SXM5 구성으로 가는 가격 경쟁력 있는 경로인 경우가 많습니다.
- 다음의 경우 랙 서버 자체를 피하십시오: 실제 필요가 소규모 팀을 위한 GPU 1~2개 분량의 추론 용량이라면, 로컬 LLM 워크스테이션 구축이 훨씬 저렴하고 데이터센터 수준의 냉각 계획도 필요하지 않습니다.
4개 벤더는 스펙과 가격 면에서 어떻게 비교되나요?
Dell, Lenovo, HPE, Supermicro는 각각 최소 하나의 8-GPU SXM5 플랫폼을 보유하고 있지만, 폼팩터, 냉각 옵션, 판매 채널에서 뚜렷한 차이를 보입니다.
| 벤더 / 모델 | 폼팩터 | 최대 GPU | GPU 옵션 | 냉각 방식 | 가격대 |
|---|---|---|---|---|---|
| Dell PowerEdge XE9680 | 6U | 8 (SXM5, NVLink) | H100 80GB / H200 141GB | 표준 공랭, 액체 냉각 옵션 | 약 20-37.5만 달러 (8GPU) |
| Lenovo SR675 V3 | 3U | 8 (PCIe 또는 SXM) | H100 / H200 / L40S | 공랭 또는 Neptune 액체 냉각 | 구성에 따라 큰 폭 변동 |
| HPE Cray XD670 | 5U | 8 (SXM5, NVLink) | H100 80GB / H200 141GB | 표준 공랭 | 견적 전용 |
| HPE ProLiant DL380a Gen11 | 2U | 더블와이드 4 / 싱글 8 | L40S / H100 PCIe | 공랭 전용 | 더 저렴 — 견적 전용 |
| Supermicro SYS-821GE-TNHR | 8U | 8 (SXM5, NVLink) | H100 80GB / H200 141GB | 표준 공랭 | 약 20-32만 달러 (8GPU) |
Dell PowerEdge XE9680은 무엇을 제공하나요?
Dell PowerEdge XE9680은 NVLink로 연결된 NVIDIA HGX H100 또는 H200 SXM5 GPU 8개를 탑재한 6U 랙 서버로, 대형 모델 학습과 추론을 위해 특별히 설계되었습니다. GPU와 함께 4세대 또는 5세대 Intel Xeon Scalable 프로세서 2개(각 최대 56코어), 최대 32개의 DDR5 DIMM 슬롯(최대 4TB, 4800 MT/s), 네트워킹과 스토리지 확장을 위한 10개의 PCIe Gen5 x16 슬롯을 갖추고 있습니다.
기본적으로 공랭으로 출하되며, 랙당 약 20-30kW를 초과해 공랭이 실질적으로 한계에 달하는 데이터센터를 위해 Dell은 액체 냉각 옵션을 제공합니다.
가격은 공개되지 않습니다 — 완전히 구성된 8x H100/H200 유닛에 대한 리셀러 및 SI 견적은 GPU 메모리 등급, RAM, 스토리지, 지원 수준에 따라 대략 20만~37만 5천 달러 범위였습니다. 예산을 수립하기 전에 Dell.com에서 공식 견적을 받으시기 바랍니다.
Lenovo ThinkSystem SR675 V3은 무엇을 제공하나요?
Lenovo ThinkSystem SR675 V3은 NVIDIA H100, H200, L40S를 포함한 최대 8개의 더블와이드 또는 싱글와이드 GPU를 지원하는 3U 랙 서버로, 5세대 AMD EPYC 9004/9005 프로세서 2개, 24개 DIMM 슬롯을 통한 최대 6TB의 DDR5-4800 메모리를 갖추고 있습니다.
가장 큰 특징은 구성 옵션으로 제공되는 Lenovo Neptune입니다. 이는 다이렉트 투 칩 및 하이브리드 액체-공기 냉각 시스템으로, 이미 액체 냉각 루프를 운영 중이거나 도입을 계획하는 시설을 가진 구매자에게 중요합니다. 지속적인 고부하 GPU 사용 시 공랭 단독 대비 냉각 비용을 크게 절감하기 때문입니다.
SR675 V3은 혼합 GPU 구성(H200 4-GPU NVLink 빌드, 또는 추론 중심의 L40S 구성)도 지원하여, 하나의 섀시 제품군으로 학습과 추론을 모두 커버하고 싶은 구매자에게 이 비교에서 가장 구성 유연성이 높은 플랫폼입니다. 구성은 Lenovo.com에서 가능합니다.
HPE Cray XD670과 ProLiant DL380a Gen11은 무엇을 제공하나요?
HPE는 두 가지 뚜렷한 GPU 서버 등급을 판매합니다: 대규모 학습을 위한 Cray XD670과, 추론 및 소규모 배포를 위한 ProLiant DL380a Gen11입니다.
Cray XD670은 4세대 Intel Xeon 프로세서 2개와 8x NVIDIA H100 또는 H200 SXM5 GPU를 탑재한 5U 섀시입니다. 가장 큰 특징은 패브릭 선택의 자유도입니다 — 8개의 PCIe Gen5 하프 하이트 슬롯이 HPE Slingshot 11, InfiniBand NDR, 표준 이더넷을 지원하여, 기존 HPE Cray 슈퍼컴퓨팅 환경에서 이미 Slingshot으로 표준화한 구매자에게 유의미합니다.
ProLiant DL380a Gen11은 더블와이드 4개 또는 싱글와이드 8개 GPU(L40S 또는 H100 PCIe), 최대 3TB DDR5, PCIe 5.0을 지원하는 2U 서버입니다 — 8-GPU SXM5 플랫폼을 정당화하기 어려운 추론 워크로드나 첫 GPU 도입을 위한 공랭·저밀도 옵션입니다. 두 모델 모두 HPE.com에서 확인할 수 있습니다.
Supermicro SYS-821GE-TNHR은 무엇을 제공하나요?
Supermicro SYS-821GE-TNHR은 최대 8개의 NVIDIA HGX H100(80GB) 또는 HGX H200(141GB) GPU, 4세대 또는 5세대 Intel Xeon Scalable 프로세서 2개, 32개 DIMM 슬롯을 통한 최대 8TB DDR5-5600 메모리를 지원하는 8U 랙 서버입니다 — 여기서 비교한 4개 플랫폼 중 최대 RAM 용량이 가장 높습니다.
Supermicro는 직접 엔터프라이즈 영업팀보다는 주로 SI 및 리셀러 채널을 통해 판매하며, 이는 일반적으로 드라이브 베이, 네트워크 카드, 전원 이중화 등 맞춤 구성의 유연성이 더 크다는 것을 의미합니다. 현재 리셀러 목록에 따르면 8x H100 구성에 경쟁력 있는 시작 가격을 제시하는 경우가 많습니다 — 기본 구성 견적은 대략 20만~32만 달러 범위였으며, 풀 구성은 그보다 높습니다.
스토리지가 강점입니다: 최대 19개의 핫스왑 2.5인치 NVMe/SATA/SAS 베이와 M.2 슬롯 2개를 갖추고 있어, 추론이나 파인튜닝과 병행해 대규모 로컬 데이터셋을 운영하는 구매자에게 유용합니다. 기본 구성은 Supermicro.com에서 확인하실 수 있습니다.
H100, H200, L40S 중 어느 것을 구매해야 할까요?
H200은 메모리와 대역폭에서 우위를 보이고, H100은 더 쉽게 구할 수 있으면서 대체로 더 저렴한 SXM5 옵션이며, L40S는 추론 전용을 위한 공랭 PCIe 선택지입니다. 2026년 9월 기준 세 GPU 모두 NVIDIA의 현행 데이터센터 GPU이며, 어느 것도 단종이 임박하지 않았으므로 선택 기준은 진부화 위험이 아니라 워크로드 적합성입니다.
- H200을 선택하는 경우: 대용량 컨텍스트 워크로드를 서빙하거나, 80GB/GPU로는 피하고 싶은 크로스 GPU 샤딩이 필요한 더 큰 모델을 학습하는 경우입니다.
- H100을 선택하는 경우: 멀티 노드 NVLink/InfiniBand 학습 클러스터에서 가장 폭넓은 벤더·리셀러 구매 가능성이 필요하고, 80GB/GPU가 모델 크기에 충분한 경우입니다.
- L40S를 선택하는 경우: 워크로드가 추론 전용이고, 데이터센터가 공랭만 지원하며, 계획한 양자화 수준에서 48GB/GPU가 가장 큰 모델을 커버하는 경우입니다.
| GPU | VRAM | 메모리 대역폭 | 최적 용도 |
|---|---|---|---|
| NVIDIA H100 SXM5 | 80GB HBM3 | 3.35 TB/s | 멀티 노드 학습, 가장 넓은 구매 가능성 |
| NVIDIA H200 SXM | 141GB HBM3e | 4.8 TB/s | 대용량 컨텍스트 서빙, 더 큰 배치 학습 |
| NVIDIA L40S | 48GB GDDR6 | 864 GB/s | 공랭 PCIe 추론, 저예산 |
GPU 고밀도 랙에는 얼마나 많은 전력과 냉각이 필요한가요?
8-GPU H100/H200 SXM5 서버 1대는 최대 부하 시 약 10-12kW를 소비합니다 — 700W GPU 8개만으로도 CPU, 메모리, 팬을 제외하고 5.6kW에 달합니다. 이런 서버 2~3대만 한 랙에 들어가도 공랭의 실질적 한계를 넘어섭니다.
업계 자료에 따르면 공랭의 실질적 한계는 랙당 약 20-40kW이며, 그 이상에서는 액체 냉각(다이렉트 투 칩 또는 침지식)이 필요하고 랙당 100-200kW 이상을 지원할 수 있습니다. 참고로 NVIDIA GB200 NVL72 랙스케일 시스템은 전체적으로 약 120-130kW를 소비합니다 — 이는 AI 랙 밀도가 향하는 방향을 보여주는 참고 수치이지, 여기서 비교한 어떤 서버의 사양도 아닙니다.
구매자를 위한 실무적 시사점: 한 랙에 8-GPU SXM5 서버를 2대 이상 설치할 계획이라면, 데이터센터의 표준 공조가 감당할 수 있다고 가정하기보다는 다이렉트 투 칩 액체 냉각(Lenovo Neptune 또는 시설 단위 액체 냉각 루프)을 계획해야 합니다.
InfiniBand와 표준 이더넷 중 무엇이 필요한가요?
단일 노드 추론 배포에는 InfiniBand가 필요하지 않습니다 — 표준 100/200GbE 이더넷으로 충분합니다. 여러 서버의 GPU가 끊임없이 그래디언트를 동기화해야 하는 멀티 노드 학습·파인튜닝 클러스터에는 고대역폭·저지연 전용 패브릭이 필요합니다.
해당 패브릭의 두 가지 선택지는 InfiniBand NDR(링크당 400Gb/s, 전통적인 HPC 선택지로 플래그십 플랫폼에서는 GPU당 NIC 1개)와 RoCE v2(컨버지드 이더넷 상의 RDMA — 예: NVIDIA Spectrum-X — 네트워크 팀이 이미 운영 중일 수 있는 표준 이더넷 패브릭에서 유사한 처리량을 제공)입니다.
- InfiniBand NDR을 사용하는 경우: 전용 멀티 노드 학습 클러스터를 구축 중이며 이 규모에서 가장 성숙하고 널리 배포된 RDMA 패브릭을 원하는 경우입니다.
- RoCE v2(이더넷)를 사용하는 경우: 팀이 이미 컨버지드 이더넷 네트워크를 운영 중이며 별도의 InfiniBand 패브릭과 관련 전문 인력 유지를 피하고 싶은 경우입니다.
- 둘 다 필요 없는 경우: 단일 노드 추론만 운영하는 경우입니다 — 표준 네트워크로 충분하며 추가 패브릭 비용이 정당화되지 않습니다.
워크로드에 맞춰 GPU 서버 구매 규모를 어떻게 산정하나요?
구매 규모는 사용 가능한 최대 구성이 아니라 워크로드에 맞춰 결정해야 합니다. 추론 전용 배포와 학습·파인튜닝 배포는 GPU, 메모리, 네트워크 요건이 근본적으로 다릅니다.
- 1먼저 워크로드를 분류합니다
Why it matters: 추론 전용(고정 모델을 사용자에게 서빙)은 모델 가중치 외에 그래디언트와 옵티마이저 상태까지 보관해야 하는 학습·파인튜닝에 비해 훨씬 적은 GPU 메모리가 필요하며 멀티 노드 패브릭도 필요 없습니다. - 2모델 크기와 양자화로부터 GPU 메모리 필요량을 추정합니다
Why it matters: 70B 파라미터 모델은 FP16 기준 오버헤드를 제외하고도 약 140GB의 VRAM이 필요합니다 — 이는 그 자체로 단일 GPU L40S(48GB)를 배제하며, 멀티 GPU H100/H200 샤딩이나 더 작거나 양자화된 모델로의 방향을 시사합니다. - 3단일 노드와 멀티 노드 중 결정합니다
Why it matters: 8-GPU 서버 한 대의 결합된 VRAM이 모델과 동시성 목표를 충족한다면, InfiniBand/RoCE를 완전히 건너뛰고 패브릭 비용을 절약할 수 있습니다. 그렇지 않다면 처음부터 전용 네트워크 패브릭 예산을 편성해야 합니다. - 4주문 전에 냉각을 랙 밀도에 맞춥니다
Why it matters: 한 랙에 8-GPU SXM5 서버를 2대 이상 도입하기로 결정하기 전에, 대상 랙이 액체 냉각을 지원하는지 시설 팀과 확인해야 합니다 — 납품 후 냉각을 개조하는 것은 사전 계획보다 훨씬 비용이 많이 듭니다. - 5공식 견적과 납기를 확인합니다
Why it matters: 이들 벤더 중 어느 곳도 8-GPU 구성의 정가를 공개하지 않으며, GPU 고밀도 서버의 납기는 GPU 할당 상황에 따라 몇 주에서 몇 달까지 다양했습니다 — 가격뿐 아니라 일정도 예산에 반영해야 합니다.
어떤 보증·지원 등급을 선택해야 할까요?
4개 벤더 모두 기본 하드웨어 보증을 넘어서는 단계별 엔터프라이즈 지원을 제공하지만, 등급 명칭, 응답 시간, 포함된 서비스는 서로 다릅니다 — 프로그램이 수시로 변경되므로 구매 전 반드시 벤더에 직접 최신 조건을 확인하시기 바랍니다.
- Dell은 XE9680과 함께 ProSupport 등급(더 빠른 미션 크리티컬 응답 옵션 포함)을 판매합니다 — 표준 PowerEdge 등급이 아니라 GPU 서버 전용 인증 지원을 구체적으로 문의하시기 바랍니다.
- Lenovo는 ThinkSystem 라인에 Premier Support 등급을 판매하며, 현장 대응 및 사전 모니터링 옵션을 제공합니다.
- HPE는 Pointnext Complete Care를 통해 지원을 판매하며, 6자리 초기 비용을 피하고 싶은 구매자를 위해 사용량 기반 대안으로 HPE GreenLake도 제공합니다.
- Supermicro의 지원 조건은 직접 엔터프라이즈 판매보다 주로 이 채널을 통해 물량이 이동하기 때문에 다른 세 벤더보다 리셀러·SI별 편차가 큽니다 — Supermicro의 기본 보증 페이지뿐 아니라 구체적인 리셀러로부터 서면으로 지원 조건을 받으시기 바랍니다.
- 어떤 벤더든 GPU 장애 시 구체적으로 무슨 일이 일어나는지 물어보시기 바랍니다(교체 SLA, 노드 전체를 보내야 하는지 GPU 트레이만 보내면 되는지) — 이는 GPU 고밀도 서버에서 실제로 가장 발생 가능성이 높은 장애 유형입니다.
엔터프라이즈 구매자가 흔히 저지르는 실수는 무엇인가요?
- 추론 전용 워크로드에 8-GPU SXM5 용량을 구매하는 것. 고정 모델을 사용자에게 서빙만 하는 경우라면, ProLiant DL380a Gen11 같은 2U PCIe 플랫폼이 훨씬 저렴한 가격과 낮은 복잡도로 이를 충족할 수 있습니다.
- 랙 냉각 용량을 확인하기 전에 주문하는 것. 같은 랙에 두 번째, 세 번째 8-GPU SXM5 서버를 추가하면 공랭의 실질적 한계를 넘어설 수 있습니다 — 하드웨어 도착 후가 아니라 도착 전에 시설 팀과 확인해야 합니다.
- "나중에 확장할 수도 있는" 클러스터에서 네트워크 패브릭 예산을 생략하는 것. 이미 배포된 단일 노드 환경에 나중에 InfiniBand나 RoCE를 추가하는 것은 처음 구매 시 예산을 편성하는 것보다 훨씬 더 혼란스럽습니다.
- 정가를 총비용으로 간주하는 것. 지원 계약, 네트워크 패브릭, 냉각 개조, 전력 인프라 업그레이드는 서버 하드웨어 항목 대비 정기적으로 15-30%를 추가합니다.
- H200이 항상 H100보다 올바른 업그레이드라고 가정하는 것. 모델과 배치 크기가 80GB/GPU 안에 여유 있게 들어간다면, H200의 추가 메모리와 비용은 아무런 이득이 없습니다 — 프리미엄을 지불하기 전에 실제 VRAM 필요량을 확인하시기 바랍니다.
자주 묻는 질문
엔터프라이즈 추론 대 학습에 H100 또는 H200 GPU가 각각 몇 개 필요한가요?
적당한 수의 동시 사용자에게 고정 모델을 서빙하는 추론 전용 배포는 대개 1~4개 GPU로 충분하며 8-GPU SXM5 플랫폼 자체가 필요하지 않습니다. 대형 모델(70B 이상 파라미터)의 학습 또는 파인튜닝은 일반적으로 모델, 그래디언트, 옵티마이저 상태를 GPU 간에 유지하기 위해 완전한 8-GPU NVLink 구성이 필요합니다. 구매 규모는 "가장 큰 플랫폼을 산다"는 기본값이 아니라 워크로드로부터 산정해야 합니다.
8-GPU H100 랙 서버의 실제 총비용은 얼마인가요?
완전히 구성된 8x H100 유닛에 대한 리셀러 및 SI 견적은 하드웨어만으로 대략 20만~37만 5천 달러 범위였으며, 여기에 지원 계약, 네트워크 패브릭, 냉각 인프라 업그레이드가 추가되면 일반적으로 15-30%가 더 붙습니다. 4개 벤더 모두 정가를 공개하지 않으므로 예산 수립 전 공식 견적을 받으시기 바랍니다.
GPU 고밀도 랙에는 액체 냉각이 필요한가요?
한 랙에 8-GPU H100/H200 SXM5 서버를 2대 이상 설치할 계획이라면 필요합니다 — 각 서버는 최대 부하 시 약 10-12kW를 소비하며, 공랭의 실질적 한계는 랙당 약 20-40kW 정도입니다. 이 밀도 이하라면 표준 공랭도 여전히 작동할 수 있으므로, 주문 전 시설 팀과 확인하시기 바랍니다.
네트워크에는 InfiniBand와 이더넷(RoCE) 중 무엇을 선택해야 하나요?
단일 노드 추론이라면 둘 다 필요하지 않으며 표준 이더넷으로 충분합니다. 멀티 노드 학습 클러스터에서는 InfiniBand NDR이 가장 성숙하고 널리 배포된 고대역폭 RDMA 패브릭이며, 네트워크 팀이 별도의 InfiniBand 패브릭 유지를 피하고 싶다면 이더넷 상의 RoCE v2가 대안입니다.
Dell vs Lenovo vs HPE vs Supermicro — 어느 벤더의 엔터프라이즈 지원이 가장 우수한가요?
Dell, Lenovo, HPE는 각각 직접 계정팀을 통해 단계별 엔터프라이즈 지원(각각 ProSupport, Premier Support, Pointnext Complete Care)을 판매합니다. Supermicro는 주로 시스템 통합업체와 리셀러를 통해 판매하므로, 지원 조건은 단일한 Supermicro 전사 등급보다 리셀러별로 더 크게 달라집니다 — 구매 전 구체적인 리셀러로부터 서면으로 지원 조건을 받으시기 바랍니다.
H100 vs H200 vs L40S — 어떤 GPU를 구매해야 하나요?
대용량 컨텍스트 서빙이나, 80GB/GPU로는 피하고 싶은 크로스 GPU 샤딩이 필요한 학습에는 H200(141GB HBM3e)을 선택하시기 바랍니다. 80GB로 충분한 멀티 노드 학습 클러스터에서 가장 넓은 벤더·리셀러 구매 가능성이 필요하다면 H100(80GB HBM3)을 선택하시기 바랍니다. 저예산의 추론 전용이라면 L40S(48GB GDDR6, PCIe, 공랭)를 선택하시기 바랍니다.
같은 랙이나 서버 안에서 GPU 모델을 혼합할 수 있나요?
단일 서버 내에서는 불가능합니다 — 8-GPU SXM5 플랫폼은 단일 GPU 모델(모두 H100 또는 모두 H200)을 중심으로 NVLink 연결되어 구축되며, 혼합은 지원되지 않습니다. 랙 내에서는 가능합니다 — 각 서버의 냉각과 전력 소비를 별도로 계산하는 한, 학습용으로 구성된 H100/H200 서버와 추론용으로 구성된 L40S 서버를 나란히 운영할 수 있습니다.
엔터프라이즈 구매자는 어떤 보증·지원 등급을 선택해야 하나요?
최소한 일반적인 하드웨어 장애가 아니라 GPU 장애에 특화된 벤더의 교체 SLA를 확인하시기 바랍니다 — GPU 장애는 GPU 고밀도 서버에서 실제로 가장 발생 가능성이 높은 장애 유형이며, 교체 물류(GPU 트레이만 발송 vs 노드 전체 발송)는 벤더와 등급에 따라 다릅니다. 응답 시간 등급은 워크로드가 실제로 감당할 수 있는 다운타임에 맞춰 선택하시기 바랍니다.
엔터프라이즈 규모에서는 온프레미스 하드웨어가 클라우드 GPU 대여보다 저렴한가요?
이는 정가보다는 활용률에 달려 있습니다 — 온프레미스 하드웨어는 초기 비용이 높지만 가동 후 시간당 비용이 낮은 반면, 클라우드 대여는 초기 비용이 없지만 시간당 요금이 훨씬 높습니다. 손익분기점은 대체로 지속적이고 거의 일정한 활용률에서 형성되며, 간헐적이거나 급증하는 워크로드는 대여가 대개 더 저렴합니다. 자세한 비용 비교는 클라우드 GPU 대여 가이드를 참고하시기 바랍니다.
8x H100 또는 H200 구성의 납기는 얼마나 걸리나요?
GPU 고밀도 서버의 납기는 GPU 할당 상황과 현재 수요에 따라 몇 주에서 몇 달까지 다양했습니다 — 대부분의 벤더에게 8-GPU 구성은 재고로 보유하는 품목이 아닙니다. 공식 견적의 일부로 납기를 확인하고, 가격뿐 아니라 프로젝트 일정도 이에 맞춰 예산에 반영하시기 바랍니다.
출처
- Dell PowerEdge XE9680 제품 페이지 -- dell.com/en-us/shop/ipovw/poweredge-xe9680
- Lenovo ThinkSystem SR675 V3 Product Guide -- lenovopress.lenovo.com/lp1611-thinksystem-sr675-v3-server
- HPE Cray XD670 QuickSpecs -- hpe.com/us/en/hpe-cray-xd670.html
- HPE ProLiant DL380a Gen11 데이터시트 -- hpe.com/us/en/compute/hpe-proliant-compute/dl380a-gen11.html
- Supermicro SYS-821GE-TNHR 데이터시트 -- supermicro.com/en/products/system/datasheet/SYS-821GE-TNHR
- NVIDIA H100/H200 Tensor Core GPU 사양 -- nvidia.com