Skip to main content
PromptQuorum
홈/고급 로컬 LLM/NVIDIA Dynamo 리뷰: 데이터센터급 추론 서빙
Overview & Reference

NVIDIA Dynamo 리뷰: 데이터센터급 추론 서빙

·읽는 시간 10분·Hans Kuepper 저 · PromptQuorum 창립자, 멀티 모델 AI 디스패치 도구 · PromptQuorum
언어 선택:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

NVIDIA Dynamo는 직접 추론을 수행하는 대신 vLLM, TensorRT-LLM, SGLang 같은 추론 엔진을 여러 GPU와 노드에 걸쳐 오케스트레이션하는 무료 오픈소스 데이터센터급 분산 추론 서빙 프레임워크입니다. 데이터센터나 클라우드 클러스터에서 대규모로 LLM을 배포하는 팀을 대상으로 하며, 분리형 프리필/디코드 서빙과 KV 캐시를 인식하는 라우팅을 사용합니다. NVIDIA의 자체 문서는 단일 GPU, 단일 모델 배포에는 이것이 필요하지 않다고 명시적으로 밝히고 있습니다.

NVIDIA Dynamo(github.com/ai-dynamo/dynamo)는 vLLM, TensorRT-LLM, SGLang 같은 추론 엔진을 여러 GPU와 노드에 걸쳐 오케스트레이션하는 무료 오픈소스 데이터센터급 분산 추론 서빙 프레임워크로, GitHub 스타 수가 8,100개를 넘습니다. 이 리뷰는 로컬 LLM 소프트웨어 디렉터리에 등록된 NVIDIA Dynamo 항목을 보완하는 글로, 이 프레임워크가 실제로 무엇을 하는지, 누구를 위한 것인지, 어디에 적합한지를 다룹니다 — 이는 단일 머신을 쓰는 개인 사용자를 위한 도구가 아닙니다.

핵심 요점

  • NVIDIA Dynamo(github.com/ai-dynamo/dynamo)는 무료 오픈소스 데이터센터급 분산 추론 서빙 프레임워크입니다
  • 라이선스: 저장소의 LICENSE 파일은 Apache-2.0을 명시하며, GitHub 자체 API 메타데이터 필드는 같은 저장소에 대해 별도로 NOASSERTION을 보고함 — LICENSE 파일과 직접 대조하여 확인함
  • vLLM, TensorRT-LLM, SGLang 같은 기존 추론 엔진을 대체하지 않고 오케스트레이션함
  • 핵심 기술: 분리형 프리필/디코드 서빙, KV 캐시를 인식하는 라우팅, 캐시를 CPU/SSD/원격 스토리지로 오프로드하는 KV Block Manager, Planner라는 SLA 기반 오토스케일러
  • 명시적으로 멀티 GPU, 멀티 노드 데이터센터 또는 클라우드 클러스터 배포용으로 만들어짐 — NVIDIA 자체 문서는 단일 GPU, 단일 모델 사용 사례에는 필요하지 않다고 밝힘
  • 이 리뷰 작성 시점 기준 GitHub 스타 8,100개 이상, 포크 1,590개 이상, 다수의 미해결 이슈(1,500개 이상)를 보유함

📍 한 문장으로

NVIDIA Dynamo는 GitHub 스타 8,100개 이상을 보유한 무료 오픈소스 데이터센터급 분산 추론 서빙 프레임워크로, 분리형 프리필/디코드 서빙과 KV 캐시를 인식하는 라우팅을 사용해 여러 GPU와 노드에 걸쳐 vLLM, TensorRT-LLM, SGLang을 오케스트레이션합니다.

💬 쉽게 말하면

NVIDIA Dynamo는 노트북에 설치하는 모델 실행 도구가 아닙니다 — 많은 GPU나 많은 서버에 걸쳐 동시에 모델을 운영하는 대규모 팀이 추론 엔진(vLLM 등) 앞단에 두는 조정 계층으로, 요청이 효율적으로 라우팅되고 클러스터가 지연 시간 목표를 맞추기 위해 자동으로 확장되도록 합니다.

📌참고: 이 리뷰는 NVIDIA 자체의 Dynamo GitHub 저장소와 문서를 기반으로 작성되었습니다. 특정 처리량 배수 같은 성능 수치는 NVIDIA가 자체 발표한 벤치마크이며, PromptQuorum이 독립적으로 재현한 수치가 아닙니다 — 자신의 하드웨어와 워크로드에서 검증하기 전까지는 공급업체가 보고한 수치로 취급하시기 바랍니다.

NVIDIA Dynamo란?

NVIDIA Dynamo는 직접 추론을 실행하는 대신, 데이터센터나 클라우드 클러스터에서 대규모 언어 모델이 여러 GPU와 노드에 걸쳐 서빙되는 방식을 조정하는 무료 오픈소스 프레임워크입니다. NVIDIA는 이를 추론 엔진 위의 오케스트레이션 계층으로 설명하며, GPU 클러스터를 하나의 통합된 추론 시스템으로 전환한다고 말합니다.

  • 제품 유형: 분산 추론 오케스트레이션 프레임워크 — 독립형 추론 엔진, 모델 실행 도구, 데스크톱 앱이 아님
  • 유지관리 주체: NVIDIA이며, ai-dynamo GitHub 조직 아래 오픈소스 프로젝트로 개발됨
  • 라이선스: 저장소의 LICENSE 파일은 Apache-2.0이며, GitHub의 자동 라이선스 감지 메타데이터가 같은 저장소에 대해 별도로 NOASSERTION을 표시한다는 점에 유의 — 이 리뷰는 LICENSE 파일 자체를 권위 있는 기준으로 취급함
  • GitHub 메타데이터 기준 2025년 3월에 저장소가 생성됨
  • 규모: 이 리뷰 작성 시점 기준 GitHub 스타 8,100개 이상, 포크 1,590개 이상이며, 이 정도 규모의 프로젝트치고는 이례적으로 많은 미해결 이슈(1,500개 이상)를 보유함 — 빠르게 발전하고 기여가 활발한 인프라 프로젝트에서 흔히 볼 수 있는 특징이지만, 프로덕션 준비도를 평가할 때 고려할 가치가 있음

NVIDIA Dynamo의 버전 히스토리는?

NVIDIA Dynamo는 모델별, 플랫폼별 릴리스 태그를 빠른 주기로 배포하며, 이 리뷰 작성 시점 기준 v1.4~v1.6 범위에서 활발한 개발 태그가 이어지고 있습니다.

  • 최근 태그된 릴리스에는 모델 및 플랫폼별 빌드가 포함되며(예: DeepSeek, Kimi, Solar 같은 특정 모델 계열과 연계된 릴리스), 이는 프로젝트가 새로운 오픈 웨이트 모델 출시를 얼마나 긴밀히 추적하는지 보여줍니다
  • 이 프로젝트는 NVIDIA가 프로덕션 준비 완료로 설명하는 이정표들을 달성했으며, 여기에는 제로 컨피그 배포, 에이전틱 추론 지원, 멀티모달 인코드/프리필/디코드 처리, 네이티브 비디오 생성 지원이 포함됩니다
  • NVIDIA가 자체 발표한 후속 버전 결과에 따르면 특정 모델/하드웨어 조합(예: DeepSeek R1과 NVIDIA GB300 NVL72 시스템)에서 상당한 처리량 향상이 나타났습니다 — 이는 공급업체가 보고한 벤치마크이며, PromptQuorum이 독립적으로 검증한 수치가 아닙니다

NVIDIA Dynamo는 실제로 무엇을 하는가?

NVIDIA Dynamo는 하나 이상의 추론 엔진 앞단에 위치하며, 지연 시간과 비용 목표를 달성하기 위해 GPU 클러스터 전반에서 요청을 어떻게 라우팅하고 배치 처리하며 확장할지 결정합니다.

  • 분리형 서빙: 추론의 프리필 단계와 디코드 단계를 독립적으로 확장 가능한 GPU 풀로 분리해, 각 단계가 자체 워크로드에 맞게 크기를 조정한 하드웨어를 사용할 수 있게 함
  • KV 캐시를 인식하는 라우팅: 워커 부하와 기존 키-값 캐시 중복 여부를 기반으로 요청을 라우팅해 중복 연산을 방지하며, NVIDIA 문서에 따르면 지원되는 구성에서 첫 토큰 생성 시간을 대략 절반으로 줄인다고 설명함
  • KV Block Manager(KVBM): 키-값 캐시를 GPU, CPU, SSD, 원격 스토리지에 걸쳐 오프로드하여 단일 GPU 메모리를 넘어서는 실효 컨텍스트 길이를 확보함
  • Planner: 워크로드를 프로파일링하고 GPU 풀 크기를 조정해 더 낮은 총소유비용으로 지연 시간 목표를 달성하는 SLA 기반 오토스케일러
  • ModelExpress: NIXL/NVLink를 통해 GPU 간에 모델 가중치를 스트리밍하며, NVIDIA 문서는 이를 통해 새 레플리카의 콜드 스타트 시간을 크게 단축한다고 설명함
  • 백엔드 지원: vLLM, TensorRT-LLM, SGLang과의 완전한 통합을 제공하며, LoRA 어댑터, 요청 마이그레이션, 추측 디코딩에 대한 백엔드별 지원 현황을 정리한 문서화된 기능 매트릭스를 제공함

NVIDIA Dynamo를 어떻게 배포하는가?

NVIDIA Dynamo는 일반적으로 추론 백엔드별 Docker 컨테이너로 배포되거나, 개발 목적으로는 pip로 설치되며, 클러스터에는 Kubernetes와 Helm 차트로 배포됩니다.

  • Docker: NVIDIA는 자체 컨테이너 레지스트리를 통해 백엔드별 사전 빌드 컨테이너 이미지(예: sglang-runtime, tensorrtllm-runtime, vllm-runtime)를 배포함
  • Python/pip: 예를 들어 `uv pip install --prerelease=allow "ai-dynamo[sglang]"`처럼 백엔드별 extra를 지정해 설치하며, 대괄호 안의 extra를 선택한 백엔드로 바꾸면 됨
  • 소스 빌드: 기여자를 위해 소스에서 Rust와 Python을 완전히 빌드하는 방식이 지원되며, build-essential과 Rust 툴체인이 필요함
  • Kubernetes: 프로덕션 배포에서는 일반적으로 Helm 차트와 NVIDIA의 제로 컨피그 YAML 매니페스트를 사용하며, 이는 SLA 기반 오토스케일링을 자동으로 적용함
bash
uv pip install --prerelease=allow "ai-dynamo[sglang]"

플랫폼, 가격, 라이선스

플랫폼

NVIDIA Dynamo의 명시 내용:
Linux 기반, 데이터센터/Kubernetes 지향 분산 서빙 프레임워크 — 단일 머신 소비자용 설치 경로는 없음.

비용

NVIDIA Dynamo의 명시 내용:
무료 오픈소스. 다만 이 프레임워크가 오케스트레이션하는 GPU, 클러스터 인프라, 클라우드 비용은 여전히 사용자가 부담함.

라이선스

NVIDIA Dynamo의 명시 내용:
저장소의 LICENSE 파일은 Apache-2.0이며, GitHub의 별도 라이선스 메타데이터 필드는 같은 저장소에 대해 NOASSERTION을 표시함.

설치 방법

NVIDIA Dynamo의 명시 내용:
백엔드별 Docker 이미지, 백엔드 extra를 지정한 pip/uv pip, Kubernetes/Helm, 또는 전체 소스 빌드.

백엔드별 이미지와 패키지 extra는 릴리스마다 바뀌므로, github.com/ai-dynamo/dynamo에서 현재 권장되는 설치 경로와 컨테이너 태그를 확인하시기 바랍니다.

NVIDIA Dynamo 비용은 얼마인가?

NVIDIA Dynamo 자체는 무료입니다 — 라이선스 비용, 구독료, 사용량 기반 요금이 없습니다. 실제 비용은 이 프레임워크가 오케스트레이션하는 GPU 하드웨어, 클라우드 인프라, 네트워킹이며, 멀티 노드 배포의 경우 일반적으로 상당한 규모입니다.

  • 프레임워크 자체: 무료, 오픈소스(LICENSE 파일 기준 Apache-2.0), 유료 등급 없음
  • 인프라 비용: 흔히 여러 노드에 걸친 다수의 GPU, 그리고 가중치 스트리밍과 KV 오프로드 기능의 이점을 온전히 누리기 위한 고속 인터커넥트(NVLink/NIXL)
  • 단일 GPU 예산에는 적합하지 않음: NVIDIA 자체 문서는 단일 GPU, 단일 모델 배포에는 Dynamo가 필요하지 않다고 밝히고 있어, 여기에는 의미 있는 "예산형" 사용 사례가 존재하지 않음

NVIDIA Dynamo vs. GPUStack: 차이점은?

NVIDIA Dynamo와 GPUStack 모두 LLM 서빙을 위한 GPU 자원 조정을 돕지만, 서로 다른 규모에서 작동합니다. GPUStack은 이기종 GPU를 모델 실행용 클러스터로 관리하고 풀링하는 반면, Dynamo는 이미 존재하는 대규모 GPU 클러스터 위에서 요청 라우팅, 분리형 프리필/디코드, 오토스케일링을 오케스트레이션합니다.

주요 목표

NVIDIA Dynamo:
많은 GPU/노드에 걸쳐 추론 엔진(vLLM, TensorRT-LLM, SGLang)을 오케스트레이션
GPUStack:
이기종 GPU를 모델 실행을 위한 하나의 관리형 클러스터로 풀링

일반적인 규모

NVIDIA Dynamo:
데이터센터, 멀티 노드, 흔히 NVIDIA 하드웨어에 최적화됨
GPUStack:
소규모~중간 규모 클러스터, 소비자/프로슈머 GPU 혼용

핵심 기술

NVIDIA Dynamo:
분리형 프리필/디코드, KV 캐시를 인식하는 라우팅
GPUStack:
클러스터 전반의 GPU 자원 풀링 및 스케줄링

유지관리 주체

NVIDIA Dynamo:
NVIDIA
GPUStack:
오픈소스 프로젝트(자세한 내용은 GPUStack 리뷰 참고)

이 도구들은 엄격히 경쟁하기보다는 상호 보완적일 수 있습니다 — GPUStack 방식의 클러스터 관리와 Dynamo 방식의 요청 오케스트레이션은 대규모 배포에서 서로 다른 계층을 다룹니다.

누가 NVIDIA Dynamo를 써야 하는가?

NVIDIA Dynamo는 여러 GPU나 노드에 걸쳐 대규모로 LLM을 운영하는 ML 인프라 팀에 적합합니다 — 한 대의 머신에서 모델을 실행하는 개인 사용자를 겨냥한 것이 아닙니다.

NVIDIA Dynamo가 적합하지 않은 경우

NVIDIA Dynamo는 단일 GPU, 단일 머신, 초보자용 로컬 AI 사용 사례에는 적합하지 않습니다 — 명시적으로 데이터센터급 오케스트레이션 계층입니다.

  • 단일 GPU나 단일 모델 배포에는 적합하지 않음 — NVIDIA 자체 문서는 이 사용 사례에는 Dynamo가 필요하지 않다고 밝힘
  • 초보자나 개인 사용자를 위한 도구가 아님 — Kubernetes, 멀티 노드 네트워킹, 추론 엔진 운영 경험을 전제로 함
  • 독립형 추론 엔진이 아님 — 실제로 모델을 실행하려면 기존 백엔드(vLLM, TensorRT-LLM, SGLang)가 필요함
  • 이 리뷰는 NVIDIA가 발표한 구체적인 성능 배수를 독립적으로 검증하지 않았음 — 자신의 워크로드에서 테스트하기 전까지는 NVIDIA의 처리량 및 지연 시간 수치를 공급업체 보고 자료로 취급할 것
  • GitHub 자체 메타데이터만으로는 라이선스가 명확하지 않음 — 저장소의 LICENSE 파일은 Apache-2.0을 명시하지만, GitHub의 자동 라이선스 감지 필드는 같은 저장소에 대해 별도로 NOASSERTION을 표시하므로, 표준 Apache-2.0 조건이 아무런 의문 없이 적용된다고 가정하기 전에 LICENSE 파일과 직접 대조하여 라이선스를 확인할 것

NVIDIA Dynamo 평가 시 흔한 실수

NVIDIA Dynamo에 대한 혼란은 대부분 이를 단일 머신용 추론 도구처럼 작동할 것이라고 기대하거나, 실제로 스택의 어느 계층을 대체하는지를 오해하는 데서 비롯됩니다.

경쟁 제품 및 대안

NVIDIA Dynamo는 GPUStack, LMDeploy, 그리고 Dynamo가 오케스트레이션할 수 있는 추론 엔진인 vLLM과 SGLang과 가장 자주 비교됩니다 — 주요 차별점은 대규모 멀티 노드 NVIDIA GPU 클러스터를 위해 특별히 만들어진 분리형 프리필/디코드 오케스트레이션입니다.

GPUStack

주요 특징:
이기종 GPU를 모델 서빙용 하나의 관리형 클러스터로 풀링
링크:
GPUStack 리뷰
GPUStack 관련 문서 (3개)

기타 언급:

LMDeploy

주요 특징:
양자화를 지원하는 분산 LLM 서빙 및 추론 툴킷
링크:
LMDeploy 리뷰
LMDeploy 관련 문서 (1개)

기타 언급:

vLLM

주요 특징:
높은 처리량을 지원하는 OpenAI 호환 추론 엔진이자 Dynamo의 일반적인 백엔드
링크:
vLLM 설명
vLLM 관련 문서 (10개)

표시되지 않은 81개 더보기

SGLang

주요 특징:
구조화 생성 최적화가 적용된 OpenAI 호환 추론 엔진이자 Dynamo의 일반적인 백엔드
링크:
SGLang 설명
SGLang 관련 문서 (5개)

기타 언급:

이 목록은 NVIDIA Dynamo와 함께 흔히 검토되는 도구들을 반영한 것이며, PromptQuorum의 독자적인 순위가 아닙니다 — 선택 전에 각 도구의 현재 기능과 하드웨어 요구 사항을 확인하시기 바랍니다.

자주 묻는 질문

NVIDIA Dynamo란 무엇인가요?

NVIDIA Dynamo(github.com/ai-dynamo/dynamo)는 vLLM, TensorRT-LLM, SGLang 같은 추론 엔진을 여러 GPU와 노드에 걸쳐 오케스트레이션하는 무료 오픈소스 데이터센터급 분산 추론 서빙 프레임워크입니다.

NVIDIA Dynamo는 무료인가요?

네, 프레임워크 자체는 무료이며 오픈소스입니다. 저장소의 LICENSE 파일은 Apache-2.0을 명시합니다. 다만 이 프레임워크가 오케스트레이션하는 GPU와 클러스터 인프라 비용은 여전히 사용자가 부담해야 합니다.

내 컴퓨터에서 로컬 LLM을 실행하는 데 NVIDIA Dynamo가 필요한가요?

아니요. NVIDIA 자체 문서는 단일 GPU, 단일 모델 배포에는 Dynamo가 필요하지 않다고 명시적으로 밝히고 있습니다. 단일 머신이라면 vLLM 같은 추론 엔진이나 더 간단한 로컬 런타임을 직접 사용하세요.

NVIDIA Dynamo가 vLLM이나 TensorRT-LLM을 대체하나요?

아니요, 이들을 오케스트레이션합니다. Dynamo는 vLLM, TensorRT-LLM, SGLang 같은 기존 추론 엔진 위에 위치하는 조정 계층이며, 이들 중 어느 것도 대체하지 않습니다.

분리형 프리필/디코드 서빙이란 무엇인가요?

추론의 프리필 단계(입력 프롬프트 처리)와 디코드 단계(출력 토큰 생성)를 별도로 확장 가능한 GPU 풀로 분리하는 기술로, 각 단계가 자신의 워크로드 특성에 맞게 크기를 조정한 하드웨어를 사용할 수 있게 합니다.

NVIDIA Dynamo는 누가 유지관리하나요?

NVIDIA가 ai-dynamo GitHub 조직 아래 오픈소스 프로젝트로 유지관리합니다.

NVIDIA Dynamo의 라이선스는 Apache-2.0인가요, NOASSERTION인가요?

저장소 자체의 LICENSE 파일은 Apache-2.0을 명시합니다. GitHub의 별도 자동 라이선스 감지 메타데이터 필드는 같은 저장소에 대해 NOASSERTION을 표시합니다 — 이 리뷰는 LICENSE 파일을 권위 있는 기준으로 취급합니다.

NVIDIA Dynamo는 어떤 하드웨어를 요구하나요?

데이터센터급, 멀티 GPU, 멀티 노드 배포를 위해 설계되었기 때문에 고정된 소비자 하드웨어 기준이 아니라, 문서화된 단일 최소 사양이 없습니다. 또한 Linux를 전제로 하며, 전체 기능을 사용하려면 NVLink/NIXL 같은 고속 인터커넥트가 필요합니다.

NVIDIA Dynamo는 어떻게 설치하나요?

일반적인 방법은 백엔드별 Docker 이미지, `uv pip install --prerelease=allow "ai-dynamo[sglang]"`(백엔드 extra를 교체), 또는 프로덕션용 Kubernetes/Helm 배포입니다. 먼저 GitHub 저장소에서 현재 패키지 및 이미지 이름을 확인하세요.

PromptQuorum이 Dynamo에 대한 NVIDIA의 성능 주장을 독립적으로 검증했나요?

아니요. 이 리뷰는 NVIDIA 자체의 GitHub 저장소와 문서를 기반으로 작성되었습니다. 구체적인 처리량 및 지연 시간 수치는 NVIDIA가 자체 발표한 벤치마크이며, PromptQuorum이 독립적으로 재현한 수치가 아닙니다.

출처

← 고급 로컬 LLM으로 돌아가기