Ir al contenido principal
PromptQuorumDiseñado para humanos. Estructurado para la IA.
Inicio/LLM locales avanzados
Overview & Reference

Servidores de inferencia LLM empresarial 2026: vLLM vs TGI vs NVIDIA NIM

·13 min de lecturaPor · Fundador de PromptQuorum · Motor de descubrimiento de IA de pesos abiertos y código abierto

vLLM es una opción open source muy utilizada para servir LLM en empresa con varias GPU; NVIDIA NIM es la opción de pago con soporte del fabricante; Hugging Face TGI está en modo de mantenimiento (repositorio archivado) y Ollama está orientado al uso de un solo usuario.

Conclusiones clave

  • vLLM es un servidor de inferencia open source muy utilizado (Apache 2.0) para servicio multiusuario de alto rendimiento; TGI de Hugging Face es similar, pero está en modo de mantenimiento.
  • NVIDIA NIM es un contenedor de microservicio de pago y ya preparado (el uso en producción exige una licencia NVIDIA AI Enterprise) que empaqueta el motor vLLM o SGLang con optimizaciones de NVIDIA, respaldado por soporte del fabricante.
  • Ollama no está diseñado para servicio multiinquilino empresarial -- es un runtime orientado a un solo nodo y un solo usuario; úsalo para portátiles de desarrolladores y prototipos de edge/departamento, no para tráfico de API en producción.
  • El despliegue en Kubernetes difiere: vLLM documenta rutas con Helm, KServe y production-stack, TGI solo ofrece una imagen de contenedor, NIM tiene el Operator propio de NVIDIA y la documentación de Ollama solo menciona charts de la comunidad y ningún gancho nativo de autoescalado.
  • La licencia decide tu coste total: vLLM y TGI son gratuitos y open source; el uso de NIM en producción exige una licencia NVIDIA AI Enterprise, que según las preguntas frecuentes de NVIDIA empieza en 4500 USD por GPU al año, además de la GPU en sí.
  • La observabilidad difiere: vLLM expone métricas en /metrics y TGI ofrece métricas de Prometheus y trazas de OpenTelemetry; NIM admite métricas de DCGM y propias de NIM mediante su Operator; la documentación de Ollama no describe ningún endpoint de métricas.
  • Usa vLLM para servir en producción con open source, NIM si necesitas soporte del fabricante y puedes pagarlo, abandona TGI en proyectos nuevos y reserva Ollama para prototipos.

📍 En una frase

Para servir LLM en empresa con varias GPU, vLLM es una opción open source muy utilizada, NVIDIA NIM la alternativa de pago con soporte del fabricante, Hugging Face TGI está en modo de mantenimiento y Ollama está pensado para un solo usuario, no para multiusuario.

💬 En términos simples

Ejecutar un modelo de IA en tu portátil es un problema distinto a servir a cientos de empleados o clientes desde una flota de GPU compartida. vLLM es software libre pensado para el segundo problema. NVIDIA NIM hace el mismo trabajo como producto de pago ya empaquetado, con el soporte de NVIDIA detrás. TGI de Hugging Face también se creó para eso, pero ahora está en modo de mantenimiento, y Ollama, la herramienta que la mayoría usa para probar un modelo en local, no se diseñó para tantos usuarios simultáneos.

La mayoría de las comparativas de LLM locales evalúan qué herramienta se instala más fácil en un solo portátil. Esa pregunta deja de importar en cuanto un modelo tiene que atender a cientos de empleados o clientes simultáneos desde un mismo grupo de GPU -- ahí gana un conjunto de herramientas completamente distinto. Esta guía compara vLLM, Hugging Face Text Generation Inference (TGI), NVIDIA NIM y Ollama como infraestructura de servicio empresarial: rendimiento bajo carga concurrente, despliegue multi-GPU y multi-nodo, patrones de Kubernetes, licencias y modelo de soporte. Ollama, el más fácil de instalar de los cuatro en una sola máquina, es el menos preparado para este trabajo -- está pensado para un usuario, un modelo, una máquina, no para una flota de producción compartida.

Esta página contiene enlaces de referencia a productos de terceros. PromptQuorum no participa en ningún programa de afiliados — son enlaces simples que no generan comisión. Hacer clic en los enlaces y los pasos siguientes son de tu entera responsabilidad. Cualquier recomendación de esta página refleja nuestra propia lectura de las páginas públicas de los proveedores, no un respaldo de los proveedores ni una prueba.

Ver precios de GPU empresarial de Lambda Labsenlace de producto · divulgadoVer precios de RunPod para pruebas multi-GPUenlace de producto · divulgado

¿Qué es un servidor de inferencia LLM empresarial?

Un servidor de inferencia LLM empresarial es la capa de software que acepta solicitudes concurrentes de muchos usuarios o aplicaciones y las enruta eficientemente por un grupo de GPU compartido. Es distinto de un runtime de un solo usuario, que carga un modelo para un solo proceso en una sola máquina.

Tres cosas separan al software de servicio de nivel empresarial de una herramienta de portátil: continuous batching (agrupar varias solicitudes en curso en el mismo paso de GPU), paralelismo multi-GPU (repartir un modelo entre varias GPU o nodos), y una superficie de API de producción (health checks, métricas, ganchos de autoescalado) que un equipo de plataforma puede operar dentro de Kubernetes.

vLLM, Hugging Face TGI y NVIDIA NIM se construyeron desde el inicio en torno a estos tres requisitos. Ollama, construido sobre llama.cpp, se diseñó para la portabilidad y la simplicidad en una sola máquina -- un objetivo distinto y válido, pero no el mismo. Consulta nuestra comparativa de motores para un solo usuario si la pregunta que realmente te estás haciendo es "qué se instala más fácil en mi PC" -- esta guía cubre el otro extremo de esa decisión.

Comparativa: vLLM vs TGI vs NVIDIA NIM vs Ollama

Capacidad
vLLM
TGI
NVIDIA NIM
Ollama
LicenciaApache 2.0 / GratisApache 2.0 / GratisNVIDIA AI Enterprise / PagoMIT / Gratis
Diseñado paraServicio GPU de alto rendimientoServing HF heredado (mantenimiento)Stack empresarial NVIDIA llave en manoUn usuario, no multiinquilino
Multi-GPUParalelismo tensor + pipelineParalelismo tensorParalelismo tensorial (por perfil)Un nodo (según la doc)
Continuous batchingSí (PagedAttention)Sí (router Rust)Sí (a nivel de motor)Solicitudes en paralelo (1 por defecto)
CuantizaciónGPTQ / AWQ / FP8 / INT4bitsandbytes / GPTQ / AWQ / EETQ / Marlin / FP8Según el perfil del modeloGGUF Q4-Q8
Despliegue KubernetesHelm / production-stack / KServeImagen de contenedor / manifiestos propiosNIM Operator (oficial)Charts comunitarios listados
Modelo de soporteComunidad / GitHubModo de mantenimiento / archivadoSoporte empresarial de NVIDIAComunidad (según la doc)
ObservabilidadMétricas Prometheus integradasPrometheus + trazas OTelMétricas DCGM / propias de NIMSin endpoint de métricas documentado

Entendiendo vLLM: un motor de código abierto de alto rendimiento

vLLM es un servidor de inferencia de código abierto (Apache 2.0) diseñado específicamente para servicio multi-GPU de alto rendimiento. Surgió del Sky Computing Lab de UC Berkeley y es un motor de código abierto ampliamente utilizado para APIs de LLM en producción.

  • PagedAttention: gestiona la caché KV en bloques de tamaño fijo en lugar de una asignación contigua por solicitud, lo que eleva la utilización de memoria GPU alcanzable y permite que más solicitudes concurrentes compartan una GPU.
  • Continuous batching: las nuevas solicitudes se unen a un lote en ejecución en lugar de esperar a que termine el lote actual, manteniendo alta la utilización de GPU bajo tráfico variable.
  • Multi-GPU y multi-nodo: el paralelismo tensor reparte las capas de un modelo entre las GPU de un nodo; el paralelismo de pipeline reparte entre nodos para modelos demasiado grandes para la VRAM combinada de un nodo.
  • Cuantización: los formatos GPTQ, AWQ, FP8 e INT4 reducen la huella de VRAM por réplica, aumentando el número de réplicas simultáneas que una flota de GPU fija puede alojar.
  • API compatible con OpenAI: vllm serve <model> expone un reemplazo directo de la API OpenAI Chat Completions, minimizando el trabajo de integración en la aplicación.
  • vLLM incluye un Helm chart oficial y se integra con KServe para servicio de modelos nativo de Kubernetes, con autoescalado impulsado por la profundidad de la cola o la utilización de GPU.
# Servir un modelo con paralelismo tensor en 4 GPU
pip install vllm

# --api-key solo protege las rutas /v1, /v2, /inference y /cohere; los demás endpoints quedan abiertos. Coloca un firewall o un reverse proxy delante antes de exponer el puerto
vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --api-key "$VLLM_API_KEY" \
  --host 0.0.0.0 --port 8000

Entender Hugging Face TGI: ahora en modo de mantenimiento

Hugging Face Text Generation Inference (TGI) es un servidor de inferencia open source (Apache 2.0) para modelos del Hugging Face Hub, pero ahora está en modo de mantenimiento: su repositorio de GitHub se archivó (solo lectura) en marzo de 2026 y Hugging Face recomienda vLLM y SGLang para nuevos despliegues. Según su README, sigue dando servicio a Hugging Chat, la Inference API y los Inference Endpoints, así que los despliegues existentes siguen funcionando, pero no esperes funciones nuevas.

  • Router de solicitudes en Rust: gestiona colas y continuous batching según la documentación de TGI.
  • Flash Attention y Paged Attention: la documentación de TGI cita ambas, las mismas técnicas de eficiencia de memoria que popularizó vLLM.
  • Paralelismo tensor: reparte un modelo entre varias GPU de un nodo; el servicio multi-nodo está soportado pero con menos herramientas propias que en vLLM.
  • Cuantización: formatos bitsandbytes, GPTQ, AWQ, EETQ, Marlin y FP8.
  • Integración nativa con Hugging Face Hub: obtener un modelo, su tokenizador y sus pesos safetensors no requiere ningún paso de conversión manual si el modelo ya está alojado en el Hub.
  • Nota de licencia: TGI se distribuyó brevemente bajo una licencia más restrictiva escrita por Hugging Face (HFOIL 1.0; consulta la FAQ de licencia de TGI) en 2023-2024 antes de volver a Apache 2.0 -- confirma la versión de licencia fijada en tu manifiesto de despliegue, ya que una imagen antigua en caché puede seguir llevando la etiqueta restrictiva.
  • Migración: empieza los proyectos nuevos en vLLM o SGLang; si ya tienes una flota TGI, planifica el paso a un motor con mantenimiento activo en lugar de quedarte en un código archivado. La última versión de TGI fue la v3.3.7, de diciembre de 2025.

Entendiendo NVIDIA NIM: la opción con respaldo del fabricante

NVIDIA NIM (NVIDIA Inference Microservices) es un contenedor de pago y preconstruido que envuelve un motor de inferencia open source optimizado por NVIDIA detrás de una API estandarizada, vendido como parte de la suscripción NVIDIA AI Enterprise. Cambia la configuración manual de vLLM y TGI por un despliegue respaldado y ya optimizado.

  • Contenedores de motor con optimizaciones de NVIDIA: la documentación actual de NIM for LLMs indica que cada imagen de contenedor empaqueta un motor open source, vLLM o SGLang, con optimizaciones de NVIDIA; según la misma página de descripción general, la arquitectura 1.x anterior agrupaba varios backends en un solo contenedor. Comprueba qué motor usa tu versión de NIM antes de comparar el rendimiento con un vLLM autoalojado.
  • Soporte empresarial respaldado por NVIDIA: la diferencia frente a las opciones open source -- una vía de soporte del fabricante bajo una licencia NVIDIA AI Enterprise; confirma en tu contrato las condiciones exactas de SLA y disponibilidad.
  • NIM Operator para Kubernetes: el operator de NVIDIA crea el despliegue de Kubernetes de cada servicio NIM, puede precargar modelos en los nodos y admite autoescalado con métricas de DCGM o propias de NIM.
  • Catálogo de modelos: NVIDIA mantiene un conjunto curado de modelos de pesos abiertos preempaquetados como contenedores NIM listos para usar, más una vía para empaquetar modelos afinados propios.
  • La contrapartida es la dependencia del fabricante y el coste de licencia: NIM está pensado para GPU de NVIDIA y el uso en producción exige una licencia NVIDIA AI Enterprise, que según las preguntas frecuentes de NIM de NVIDIA empieza en 4500 USD por GPU al año. Los miembros del NVIDIA Developer Program pueden autoalojar NIM para investigación, desarrollo y experimentación en hasta 16 GPU. Confirma las condiciones actuales con NVIDIA AI Enterprise antes de presupuestar, porque los precios de suscripciones de software empresarial cambian sin mucho aviso público.

Por qué Ollama no es un motor de servicio empresarial

Ollama no está diseñado para el servicio multiinquilino empresarial, y eso es una decisión de diseño, no un defecto. Ollama envuelve llama.cpp con una API REST sencilla y descarga de modelos en un solo comando, optimizado para un desarrollador ejecutando un modelo en una máquina.

  • Concurrencia: según su FAQ, Ollama gestiona solicitudes en paralelo con OLLAMA_NUM_PARALLEL (1 por defecto) y una cola (OLLAMA_MAX_QUEUE, 512 por defecto), pero no documenta batching continuo ni gestión de memoria al estilo PagedAttention, por lo que no está pensado para muchos usuarios simultáneos como vLLM o NIM.
  • Multi-GPU: Ollama puede repartir un modelo grande entre las GPU de una máquina, pero su documentación no describe un servicio paralelo tensor o multi-nodo comparable al de vLLM.
  • Kubernetes: en su README de GitHub figura un Helm chart mantenido por la comunidad; su documentación no lista ningún operador propio de Kubernetes ni integración de autoescalador.
  • Observabilidad: la documentación de Ollama no describe ningún endpoint de métricas, a diferencia de vLLM y TGI.
  • Dónde Ollama sigue siendo la herramienta correcta en una empresa: portátiles de desarrolladores, un prototipo departamental con poco tráfico interno, o un dispositivo edge aislado que atiende a un usuario a la vez. En cuanto el tráfico necesite concurrencia multiinquilino, pasa a vLLM, TGI o NIM -- consulta configuraciones multi-GPU para LLM locales para el lado del hardware de ese cambio.

Decisiones de arquitectura: un nodo vs multi-nodo

La primera decisión de arquitectura es un solo nodo frente a multi-nodo, y se decide por si el modelo cabe en la memoria GPU combinada de un nodo, no solo por el volumen de tráfico.

Los equipos que necesitan nodos multi-GPU sin comprar una flota pueden comparar los proveedores de alojamiento de servidores GPU.

  • Un nodo, multi-GPU: usa paralelismo tensor (--tensor-parallel-size en vLLM, --num-shard en TGI) para repartir las capas de un modelo entre las GPU de un servidor. Es el estándar para modelos que caben en la VRAM combinada de un nodo.
  • Multi-nodo: añade paralelismo de pipeline en cuanto un modelo supere la memoria GPU de un nodo, o el volumen de solicitudes supere lo que el paralelismo tensor en un nodo puede atender. vLLM lo soporta vía Ray; NIM mediante sus propias plantillas de despliegue multi-nodo.
  • Balanceo de carga: un balanceador round-robin sencillo funciona para réplicas de tamaño idéntico, pero el enrutamiento consciente de la caché KV -- devolver una solicitud de seguimiento de la misma conversación a la réplica que ya tiene su contexto en caché -- reduce notablemente la latencia en cargas de tipo chat.
  • Enrutamiento de modelos: las empresas que ejecutan más de un modelo (por ejemplo, uno de código y otro de chat general) suelen operar grupos de réplicas separados por modelo detrás de una capa de enrutamiento, en lugar de un grupo compartido -- la memoria GPU no se comparte con suficiente limpieza entre modelos muy distintos como para justificar la complejidad.
  • Autoescalado: escala según la profundidad de la cola o la utilización de GPU, no según CPU (el valor por defecto clásico del HPA de Kubernetes) -- la utilización de CPU de un pod de inferencia GPU a menudo apenas se mueve cuando cambia la carga. KEDA con una métrica de Prometheus personalizada es el patrón habitual para vLLM/TGI; el Operator de NIM lo integra como parte del producto. Consulta escalado de LLM locales para empresas para la planificación de capacidad más amplia detrás de esto.

Cómo desplegar un stack de inferencia multi-GPU

Desplegar un stack de inferencia empresarial sigue una secuencia fija: definir el SLA, dimensionar la flota, elegir el motor, y luego conectar despliegue, enrutamiento y observabilidad alrededor.

  1. 1
    Definir el SLA de latencia y concurrencia antes de elegir el hardware.
  2. 2
    Dimensionar la flota de GPU según la huella de VRAM del modelo y el objetivo de solicitudes concurrentes, no solo según el número de parámetros del modelo.
  3. 3
    Elige el motor de servicio -- vLLM (o SGLang) para flexibilidad open source, NIM para un despliegue llave en mano con soporte del fabricante; no empieces proyectos nuevos en TGI.
  4. 4
    Contenerizar el motor y desplegarlo vía Helm (o el NIM Operator) en tu clúster de Kubernetes.
  5. 5
    Configurar el paralelismo tensor dentro de un nodo y el paralelismo de pipeline entre nodos si el modelo lo requiere.
  6. 6
    Configurar balanceo de carga consciente de la caché KV o round-robin delante del grupo de réplicas.
  7. 7
    Conectar el autoescalado a la profundidad de la cola o la utilización de GPU, no al CPU.
  8. 8
    Añadir observabilidad con Prometheus/OpenTelemetry y hacer pruebas de carga a la concurrencia objetivo antes de salir a producción.

Licencias y modelo de soporte comparados

La licencia es la partida que más cambia el coste total de propiedad entre estas opciones. vLLM tiene licencia Apache 2.0 y es gratuito a cualquier escala, igual que TGI (Apache 2.0, ahora archivado) -- solo pagas la infraestructura de GPU que hay debajo. NVIDIA NIM exige una licencia NVIDIA AI Enterprise para producción, que según las preguntas frecuentes de NVIDIA empieza en 4500 USD por GPU al año además del coste de la GPU; la investigación, el desarrollo y la experimentación en hasta 16 GPU son gratuitos para los miembros del NVIDIA Developer Program. Confirma las condiciones actuales directamente con NVIDIA antes de presupuestar. Ollama tiene licencia MIT y es gratuito, con soporte limitado al GitHub y Discord de la comunidad -- su documentación no menciona ningún nivel de soporte empresarial de pago.

El modelo de soporte importa tanto como el coste de licencia en un sistema de producción: el soporte de vLLM viene de issues de GitHub y canales de la comunidad (rápido en los problemas populares, sin SLA), TGI solo recibe mantenimiento menor, NIM incluye un contrato de soporte de NVIDIA y la documentación de Ollama no menciona ninguna vía de soporte más allá de los canales de la comunidad.

Puntos de observabilidad para servicio en producción

vLLM y TGI exponen de serie un endpoint /metrics compatible con Prometheus, cubriendo latencia de solicitudes, profundidad de cola, utilización de la caché KV de GPU y rendimiento en tokens. Conéctalo a una pila Prometheus/Grafana existente para paneles de nivel de producción sin instrumentación personalizada.

NVIDIA NIM admite métricas de GPU basadas en DCGM y métricas propias de NIM, que su Operator puede usar para el autoescalado -- encaja mejor si el resto de la infraestructura ya gira en torno a NVIDIA.

Ollama tiene métricas integradas mínimas: su documentación no describe ningún endpoint de métricas, coherente con su diseño para un solo usuario, pero una carencia real si lo usas como infraestructura compartida y necesitas ver la latencia por solicitud con muchos usuarios simultáneos.

¿Qué servidor de inferencia elegir?

Opción open source por defecto: vLLM -- comunidad amplia, gran compatibilidad de hardware, herramientas multi-GPU y versiones frecuentes.

Si ya usas Hugging Face: planifica igualmente con vLLM o SGLang -- TGI está en modo de mantenimiento, consérvalo solo para despliegues existentes.

Adecuado si necesitas soporte del fabricante: NVIDIA NIM -- respaldado por el fabricante, llave en mano, con coste de licencia.

No para tráfico de producción multiinquilino: Ollama -- resérvalo para máquinas de desarrolladores y despliegues de edge de un solo usuario.

  • 🧭 Equipo de plataforma que ofrece una API de LLM interna compartida para muchos equipos → vLLM, autoalojado en Kubernetes.
  • 🧭 Empresa regulada que quiere un contrato de soporte del fabricante → NVIDIA NIM; añade tu propio registro de auditoría por delante (consulta la guía de cumplimiento empresarial relacionada).
  • 🧭 Equipo ya estandarizado en el Hugging Face Hub para alojar modelos → vLLM, que carga modelos del Hub directamente; conserva TGI solo para despliegues existentes.
  • 🧭 Desarrolladores que montan una prueba de concepto antes de tener la infraestructura → Ollama y luego migración a vLLM cuando el tráfico simultáneo sea real.
  • ❌ Si esperas más de un puñado de usuarios simultáneos, Ollama no está diseñado para un endpoint de producción compartido -- usa vLLM.
  • ❌ Si necesitas autoescalado nativo de Kubernetes según la carga de solicitudes, la documentación de Ollama no menciona ningún equivalente al escalado por profundidad de cola con KEDA -- usa vLLM o NIM.

Errores comunes al dimensionar infraestructura de inferencia empresarial

  • Dimensionar las GPU por número de parámetros en lugar de por número de solicitudes concurrentes. Una flota de GPU dimensionada solo para que quepa una copia del modelo en VRAM no tiene margen para usuarios concurrentes -- dimensiona para la concurrencia máxima y luego comprueba que el modelo sigue cabiendo.
  • Desplegar Ollama detrás de un balanceador de carga de producción compartido. Funciona en una demo con dos usuarios; no está diseñado para un despliegue destinado a cientos de usuarios.
  • Escalar según la utilización de CPU. Los pods de inferencia GPU a menudo apenas mueven la utilización de CPU cuando cambia la carga -- escala según la profundidad de la cola o la utilización de GPU.
  • Ignorar la comprobación de licencia en imágenes antiguas de TGI en caché. Confirma que la etiqueta de imagen obtenida corresponde a la versión Apache 2.0, no a una build de la era HFOIL 1.0 en caché.
  • Presupuestar NIM sin confirmar los precios actuales por GPU directamente con NVIDIA. Los precios de suscripción de software empresarial cambian; una cotización antigua no es una base de presupuesto.

Fuentes

  • Documentación de vLLM -- Docs oficiales de vLLM: PagedAttention, continuous batching y guías de despliegue multi-GPU/multi-nodo.
  • Hugging Face Text Generation Inference (GitHub) -- Repositorio oficial de TGI: aviso de modo de mantenimiento, estado de archivo, formatos de cuantización admitidos e historial de licencias.
  • Documentación de NVIDIA NIM -- Docs oficiales de NIM: modelos soportados, imágenes de motor vLLM y SGLang y el NIM Operator para Kubernetes.
  • Ollama GitHub -- Repositorio oficial de Ollama y seguimiento de issues, referenciado para el comportamiento de concurrencia y despliegue.
  • NVIDIA AI Enterprise -- Página de producto de NVIDIA para la suscripción AI Enterprise bajo la que se distribuye NIM.
  • Preguntas frecuentes de NVIDIA NIM -- Declaraciones de licencia de NVIDIA sobre NIM: uso del Developer Program en hasta 16 GPU, licencia NVIDIA AI Enterprise para producción y precio inicial.

Preguntas frecuentes

¿Cuál es la diferencia entre vLLM y NVIDIA NIM?

vLLM es un servidor de inferencia gratuito y open source (Apache 2.0) que alojas y operas tú mismo. NVIDIA NIM es un contenedor ya preparado de NVIDIA que, según la documentación actual de NVIDIA, empaqueta el motor vLLM o SGLang con optimizaciones de NVIDIA; el uso en producción exige una licencia NVIDIA AI Enterprise e incluye soporte del fabricante. vLLM te da control y ninguna cuota de licencia a cambio de que te ocupes tú del ajuste y el soporte; NIM cambia eso por una licencia. PromptQuorum no ha comparado ambos con pruebas de rendimiento.

¿Puede usarse Ollama para servicio de inferencia multiusuario empresarial?

No se recomienda para tráfico de producción multiusuario. Ollama procesa solicitudes en paralelo con OLLAMA_NUM_PARALLEL (1 por defecto) y una cola, pero no documenta batching continuo ni gestión de memoria al estilo PagedAttention, y su documentación no menciona autoescalado nativo de Kubernetes. Encaja bien en equipos de desarrollo, dispositivos edge de un solo usuario o prototipos internos con poco tráfico.

¿Merece la pena NVIDIA NIM frente a vLLM o TGI de código abierto?

Depende de si el contrato de soporte del fabricante y el empaquetado de NVIDIA te compensan frente al coste de licencia, o prefieres una infraestructura gratuita que operas tú. Las empresas reguladas que quieren un contrato de soporte del fabricante suelen justificar el coste (el registro de auditoría hay que añadirlo aparte); los equipos con experiencia propia en infraestructura de ML suelen ejecutar vLLM sin coste de licencia.

¿Cómo se escala la inferencia de LLM entre varias GPU y nodos?

Usa paralelismo tensorial para repartir las capas de un modelo entre las GPU de un nodo y paralelismo de pipeline para repartirlas entre varios nodos cuando el modelo supera la memoria GPU combinada de un nodo. vLLM admite ambos (multinodo con Ray o multiprocessing); TGI admite paralelismo tensorial con menos herramientas multinodo propias y está en modo de mantenimiento; NIM despliega modelos multi-GPU mediante sus perfiles de modelo y se ejecuta en Kubernetes con el NIM Operator.

¿Qué formatos de cuantización soporta cada servidor de inferencia?

vLLM admite GPTQ, AWQ, FP8 e INT4. TGI indica bitsandbytes, GPTQ, AWQ, EETQ, Marlin y FP8. NVIDIA NIM elige la precisión según el perfil del modelo y la GPU. Ollama usa el formato GGUF con precisión de Q4 a Q8, orientado a ahorrar memoria en una sola máquina y no al rendimiento multiusuario.

¿Cómo se despliega vLLM o TGI en Kubernetes?

vLLM documenta varias rutas para Kubernetes, entre ellas un chart de Helm, KServe y el production-stack de vllm-project. TGI ofrece una imagen de contenedor que envuelves en tus propios manifiestos. Configura solicitudes de recursos acordes con tu asignación de GPU, ajusta el autoescalado a la profundidad de la cola o al uso de GPU en lugar de la CPU y añade un ServiceMonitor de Prometheus para recoger el endpoint de métricas.

¿Qué es el continuous batching y por qué importa para el servicio empresarial?

El batching continuo permite que las nuevas solicitudes se unan a un lote de GPU que ya está en marcha, en lugar de esperar a que termine el lote actual. Mantiene alta la utilización de la GPU con tráfico real irregular, por lo que es estándar en vLLM, TGI y los motores de NIM, y una de las mayores diferencias frente a una herramienta de un solo usuario como Ollama.

¿Qué servidor de inferencia tiene mejor observabilidad?

vLLM expone métricas en su endpoint /metrics y TGI ofrece métricas de Prometheus y trazas de OpenTelemetry -- ideal para una pila Prometheus/Grafana existente. NVIDIA NIM admite métricas de DCGM y propias de NIM mediante su Operator, más adecuado para infraestructura centrada en NVIDIA. La documentación de Ollama no describe ningún endpoint de métricas.

¿Necesitan varios modelos flotas de GPU separadas, o pueden compartir un mismo grupo?

En la práctica, las empresas que ejecutan más de un modelo suelen operar grupos de réplicas separados por modelo en lugar de compartir un grupo, porque la memoria GPU no se comparte con suficiente limpieza entre modelos de tamaños muy distintos. Enruta las solicitudes al grupo correcto en la capa de aplicación o de gateway, en lugar de intentar colocar varios modelos en las mismas réplicas de GPU.

¿Cómo difiere la licencia entre vLLM, TGI y NVIDIA NIM?

vLLM y Hugging Face TGI tienen licencia Apache 2.0 y son gratuitos a cualquier escala -- solo pagas la infraestructura de GPU. NVIDIA NIM exige una licencia NVIDIA AI Enterprise para producción, que según las preguntas frecuentes de NVIDIA empieza en 4500 USD por GPU al año además del coste del hardware GPU; los miembros del Developer Program pueden autoalojar NIM para investigación y desarrollo en hasta 16 GPU. Confirma los precios actuales directamente con NVIDIA. Ollama tiene licencia MIT, es gratuito y solo cuenta con soporte de la comunidad.

¿Hugging Face TGI sigue recibiendo mantenimiento?

TGI está en modo de mantenimiento. Su README indica que Hugging Face solo acepta correcciones menores de errores, mejoras de documentación y mantenimiento ligero, y el repositorio de GitHub se archivó (solo lectura) en marzo de 2026. La última versión es la v3.3.7 de diciembre de 2025 y Hugging Face recomienda vLLM y SGLang para nuevos despliegues. Los despliegues TGI existentes siguen funcionando, pero planifica una migración.

¿Cómo se comparan vLLM y TensorRT-LLM?

vLLM es un motor de servicio general que carga directamente modelos en formato Hugging Face y funciona en GPU de NVIDIA y AMD y en otro hardware. TensorRT-LLM es la biblioteca de inferencia de NVIDIA para GPU de NVIDIA. Las versiones anteriores compilaban un modelo de antemano en un motor TensorRT específico de una GPU; la documentación actual de NVIDIA describe un flujo de trabajo basado en PyTorch en el que se eliminó el backend de motor TensorRT, así que comprueba la versión que despliegas. vLLM suele implicar un despliegue más sencillo y mayor cobertura de hardware y modelos; TensorRT-LLM encaja con equipos comprometidos con las GPU de NVIDIA. Consulta TensorRT-LLM explicado.

← Volver a LLM locales avanzados

MCP