Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.
Startseite/Lokale LLMs Pro
Overview & Reference

Enterprise-LLM-Inferenzserver 2026: vLLM, TGI und NVIDIA NIM im Vergleich

·13 Min. LesezeitVon · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

vLLM ist eine weit verbreitete Open-Source-Option für Enterprise-Multi-GPU-Serving von LLMs; NVIDIA NIM ist die kostenpflichtige, herstellergestützte Option; Hugging Face TGI befindet sich im Wartungsmodus (Repository archiviert), und Ollama ist auf den Einzelnutzerbetrieb ausgelegt.

Wichtigste Erkenntnisse

  • vLLM ist ein weit verbreiteter Open-Source-Inferenzserver (Apache 2.0) für Mehrnutzer-Serving mit hohem Durchsatz; Hugging Face TGI bietet ähnliche Funktionen, ist aber im Wartungsmodus.
  • NVIDIA NIM ist ein kostenpflichtiger, vorgefertigter Microservice-Container (der Produktionseinsatz erfordert eine NVIDIA-AI-Enterprise-Lizenz), der die vLLM- oder SGLang-Engine mit NVIDIA-Optimierungen bündelt und durch Herstellersupport abgesichert ist.
  • Ollama ist nicht für Enterprise-Mehrnutzerbetrieb gebaut -- es ist ein Single-Node-, Single-User-orientiertes Runtime; nutzen Sie es für Entwickler-Laptops und Edge-Prototypen, nicht für Produktions-API-Verkehr.
  • Die Kubernetes-Bereitstellung unterscheidet sich: vLLM dokumentiert Helm-, KServe- und production-stack-Wege, TGI liefert nur ein Container-Image, NIM hat NVIDIAs eigenen Operator, und laut Dokumentation hat Ollama nur Community-Charts und keine native Autoscaling-Anbindung.
  • Die Lizenz bestimmt die Gesamtkosten: vLLM und TGI sind kostenlos und Open Source; der NIM-Produktionseinsatz braucht eine NVIDIA-AI-Enterprise-Lizenz, die laut NVIDIA-FAQ ab 4.500 US-Dollar pro GPU und Jahr kostet, zusätzlich zur GPU selbst.
  • Observability unterscheidet sich: vLLM stellt Metriken unter /metrics bereit, TGI bietet Prometheus-Metriken und OpenTelemetry-Tracing; NIM unterstützt DCGM- und NIM-spezifische Metriken über seinen Operator; die Ollama-Dokumentation beschreibt keinen Metrik-Endpunkt.
  • Nutzen Sie vLLM für produktives Open-Source-Serving, NIM bei Bedarf an Herstellersupport und Zahlungsbereitschaft, wechseln Sie für neue Projekte von TGI weg, und reservieren Sie Ollama für Prototypen.

📍 In einem Satz

Für Enterprise-Multi-GPU-Serving von LLMs ist vLLM eine weit verbreitete Open-Source-Option, NVIDIA NIM die kostenpflichtige herstellergestützte Alternative, Hugging Face TGI befindet sich im Wartungsmodus, und Ollama ist auf den Einzelnutzer- statt Mehrnutzerbetrieb ausgelegt.

💬 In einfachen Worten

Ein einzelnes KI-Modell auf dem Laptop zu betreiben ist ein anderes Problem, als Hunderte Mitarbeiter oder Kunden aus einem gemeinsamen GPU-Pool zu bedienen. vLLM ist freie Software für das zweite Problem. NVIDIA NIM erledigt dieselbe Aufgabe als kostenpflichtiges, vorkonfektioniertes Produkt mit NVIDIA-Support. Auch Hugging Faces TGI wurde dafür gebaut, befindet sich aber jetzt im Wartungsmodus, und Ollama, das Werkzeug, mit dem die meisten ein Modell lokal ausprobieren, war nicht für so viele gleichzeitige Nutzer ausgelegt.

Die meisten Vergleiche lokaler LLM-Tools testen, welches Werkzeug sich am leichtesten auf einem einzelnen Laptop installieren lässt. Diese Frage stellt sich nicht mehr, sobald ein Modell hunderte gleichzeitige Mitarbeiter oder Kunden aus einem gemeinsam genutzten GPU-Pool bedienen muss -- dafür gewinnt ein völlig anderer Werkzeugsatz. Dieser Leitfaden vergleicht vLLM, Hugging Face Text Generation Inference (TGI), NVIDIA NIM und Ollama als Enterprise-Serving-Infrastruktur: Durchsatz unter gleichzeitiger Last, Multi-GPU- und Multi-Node-Bereitstellung, Kubernetes-Muster, Lizenzierung und Support-Modell. Ollama, am einfachsten auf einer einzelnen Maschine einzurichten, ist von den vieren am wenigsten für diese Aufgabe gebaut -- konzipiert für einen Nutzer, ein Modell, eine Maschine, nicht für eine geteilte Produktionsflotte.

Diese Seite enthält Verweislinks zu Produkten von Drittanbietern. PromptQuorum ist an keinem Partnerprogramm beteiligt — es sind reine Referenzlinks, die keine Provision erzielen. Das Anklicken von Links und Ihre nächsten Schritte liegen in Ihrer eigenen Verantwortung. Jede Empfehlung auf dieser Seite beruht auf unserer eigenen Auswertung der öffentlichen Seiten der Anbieter, nicht auf einer Billigung durch die Anbieter oder einem Test.

Was ist ein Enterprise-LLM-Inferenzserver?

Ein Enterprise-LLM-Inferenzserver ist die Softwareschicht, die gleichzeitige Anfragen vieler Nutzer oder Anwendungen entgegennimmt und effizient über einen gemeinsam genutzten GPU-Pool verteilt. Das unterscheidet sich von einem Single-User-Runtime, das ein Modell für einen Prozess auf einer Maschine lädt.

Drei Punkte trennen Enterprise-Serving-Software von einem Laptop-Tool: Continuous Batching (mehrere laufende Anfragen im selben GPU-Durchlauf bündeln), Multi-GPU-Parallelismus (ein Modell über mehrere GPUs oder Knoten aufteilen) und eine Produktions-API-Oberfläche (Health-Checks, Metriken, Autoscaling-Hooks), die ein Platform-Team in Kubernetes betreiben kann.

vLLM, Hugging Face TGI und NVIDIA NIM wurden von Anfang an um diese drei Anforderungen herum gebaut. Ollama, aufbauend auf llama.cpp, wurde für Portabilität und Einfachheit auf einer einzelnen Maschine entworfen -- ein anderes, valides Ziel, aber nicht dasselbe. Siehe unseren Vergleich für Einzelnutzer-Engines, falls die Frage "was lässt sich am leichtesten auf meinem PC installieren" die eigentliche Frage ist -- dieser Leitfaden deckt das andere Ende dieser Entscheidung ab.

Funktionsvergleich: vLLM vs TGI vs NVIDIA NIM vs Ollama

Funktion
vLLM
TGI
NVIDIA NIM
Ollama
LizenzApache 2.0 / FreiApache 2.0 / FreiNVIDIA AI Enterprise / KostenpflichtigMIT / Frei
Design-ZielHoher Durchsatz, GPU-ServingAlt-Serving für HF (Wartungsmodus)Fertiger Enterprise-NVIDIA-StackEinzelnutzer, nicht Multi-Tenant
Multi-GPUTensor- + Pipeline-parallelTensor-parallelTensor-parallel (je Profil)Ein Knoten (laut Doku)
Continuous BatchingJa (PagedAttention)Ja (Rust-Router)Ja (auf Engine-Ebene)Parallele Anfragen (Standard 1)
QuantisierungGPTQ / AWQ / FP8 / INT4bitsandbytes / GPTQ / AWQ / EETQ / Marlin / FP8Je ModellprofilGGUF Q4-Q8
KubernetesHelm / production-stack / KServeContainer-Image / eigene ManifesteNIM Operator (offiziell)Community-Charts genannt
SupportCommunity / GitHubWartungsmodus / archiviertNVIDIA-Enterprise-SupportCommunity (laut Doku)
ObservabilityPrometheus-Metriken eingebautPrometheus + OTel-TracesDCGM / NIM-spezifische MetrikenKein Metrik-Endpunkt dokumentiert

vLLM verstehen: Eine Open-Source-Engine für hohen Durchsatz

vLLM ist ein Open-Source-Inferenzserver (Apache 2.0) speziell für Multi-GPU-Serving mit hohem Durchsatz. Er entstand am Sky Computing Lab der UC Berkeley und ist eine weit verbreitete Open-Source-Engine für produktive LLM-APIs.

  • PagedAttention: verwaltet den KV-Cache in Blöcken fester Größe statt einer zusammenhängenden Allokation pro Anfrage, was die erreichbare GPU-Speicherauslastung erhöht und mehr gleichzeitige Anfragen pro GPU erlaubt.
  • Continuous Batching: neue Anfragen treten einem laufenden Batch bei, statt auf das Ende des aktuellen Batches zu warten -- das hält die GPU-Auslastung bei schwankendem Verkehr hoch.
  • Multi-GPU und Multi-Node: Tensor-Parallelismus teilt die Schichten eines Modells über GPUs eines Knotens auf; Pipeline-Parallelismus teilt über Knoten hinweg für Modelle, die zu groß für den VRAM eines Knotens sind.
  • Quantisierung: GPTQ-, AWQ-, FP8- und INT4-Formate reduzieren den VRAM-Bedarf pro Replik und erhöhen die Anzahl gleichzeitiger Modell-Repliken auf einer festen GPU-Flotte.
  • OpenAI-kompatible API: vllm serve <model> stellt einen direkten Ersatz für die OpenAI-Chat-Completions-API bereit und minimiert den Integrationsaufwand.
  • vLLM liefert ein offizielles Helm-Chart und integriert sich mit KServe für Kubernetes-natives Model-Serving, mit Autoscaling anhand von Warteschlangentiefe oder GPU-Auslastung.
# Modell mit Tensor-Parallelismus über 4 GPUs bereitstellen
pip install vllm

# --api-key schützt nur die Pfade /v1, /v2, /inference und /cohere; andere Endpunkte bleiben offen. Setzen Sie vor der Freigabe des Ports eine Firewall oder einen Reverse Proxy davor
vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --api-key "$VLLM_API_KEY" \
  --host 0.0.0.0 --port 8000

Hugging Face TGI verstehen: Jetzt im Wartungsmodus

Hugging Face Text Generation Inference (TGI) ist ein Open-Source-Inferenzserver (Apache 2.0) für Modelle auf dem Hugging Face Hub, befindet sich aber jetzt im Wartungsmodus: Das GitHub-Repository wurde im März 2026 archiviert (schreibgeschützt), und Hugging Face empfiehlt für neue Deployments vLLM und SGLang. Laut README treibt es weiterhin Hugging Chat, die Inference API und Inference Endpoints an, bestehende Deployments laufen also weiter -- neue Funktionen sind aber nicht zu erwarten.

  • Rust-basierter Request-Router: verwaltet Warteschlangen und Continuous Batching laut TGI-Dokumentation.
  • Flash Attention und Paged Attention: Die TGI-Dokumentation nennt beides, dieselben Speichereffizienz-Techniken, die vLLM bekannt gemacht hat.
  • Tensor-Parallelismus: teilt ein Modell über mehrere GPUs eines Knotens; Multi-Node-Serving wird unterstützt, hat aber weniger First-Party-Tooling als bei vLLM.
  • Quantisierung: bitsandbytes-, GPTQ-, AWQ-, EETQ-, Marlin- und FP8-Formate.
  • Native Hugging-Face-Hub-Integration: das Laden von Modell, Tokenizer und Safetensors-Gewichten braucht keinen manuellen Konvertierungsschritt, wenn das Modell bereits im Hub liegt.
  • Lizenzhinweis: TGI lief 2023-2024 kurzzeitig unter einer restriktiveren, von Hugging Face selbst verfassten Lizenz (HFOIL 1.0; siehe TGI-Lizenz-FAQ), bevor es zu Apache 2.0 zurückkehrte -- prüfen Sie die im Deployment-Manifest fixierte Lizenzversion, da ein älteres gecachtes Image noch das restriktive Tag tragen kann.
  • Migration: Starten Sie neue Projekte auf vLLM oder SGLang; planen Sie bei einer bestehenden TGI-Flotte den Wechsel zu einer aktiv gepflegten Engine, statt auf einer archivierten Codebasis zu bleiben. Das letzte TGI-Release war v3.3.7 im Dezember 2025.

NVIDIA NIM verstehen: Die herstellergestützte Option

NVIDIA NIM (NVIDIA Inference Microservices) ist ein kostenpflichtiger, vorgefertigter Container, der eine NVIDIA-optimierte Open-Source-Inferenz-Engine hinter einer standardisierten API kapselt und als Teil des NVIDIA-AI-Enterprise-Abos verkauft wird. Er tauscht den Eigenaufwand von vLLM und TGI gegen ein unterstütztes, vorab optimiertes Deployment.

  • Engine-Container mit NVIDIA-Optimierungen: Laut aktueller NVIDIA-Dokumentation zu NIM for LLMs bündelt jedes Container-Image eine Open-Source-Engine, vLLM oder SGLang, mit NVIDIA-Optimierungen; laut derselben Übersichtsseite bündelte die frühere 1.x-Architektur mehrere Backends in einem Container. Prüfen Sie, welche Engine Ihre NIM-Version verwendet, bevor Sie den Durchsatz mit selbst gehostetem vLLM vergleichen.
  • NVIDIA-gestützter Enterprise-Support: Der Unterschied zu den Open-Source-Optionen -- ein Herstellersupport-Weg unter einer NVIDIA-AI-Enterprise-Lizenz; prüfen Sie die genauen SLA- und Verfügbarkeitsbedingungen in Ihrem Vertrag.
  • NIM Operator für Kubernetes: NVIDIAs Operator erstellt das Kubernetes-Deployment für jeden NIM-Dienst, kann Modelle auf Knoten vorab cachen und unterstützt Autoscaling anhand von DCGM- oder NIM-spezifischen Metriken.
  • Modellkatalog: NVIDIA pflegt eine kuratierte Auswahl vorverpackter Open-Weight-Modelle als fertige NIM-Container, plus einen Weg, eigene fine-getunte Modelle zu paketieren.
  • Der Preis dafür sind Herstellerbindung und Lizenzkosten: NIM ist für NVIDIA-GPUs gebaut, und der Produktionseinsatz erfordert eine NVIDIA-AI-Enterprise-Lizenz, die laut NIM-FAQ von NVIDIA ab 4.500 US-Dollar pro GPU und Jahr beginnt. Mitglieder des NVIDIA Developer Program dürfen NIM für Forschung, Entwicklung und Experimente auf bis zu 16 GPUs selbst hosten. Klären Sie die aktuellen Konditionen mit NVIDIA AI Enterprise, bevor Sie budgetieren, da sich Abo-Preise für Unternehmenssoftware ohne große öffentliche Ankündigung ändern.

Warum Ollama kein Enterprise-Serving-Engine ist

Ollama ist nicht für Enterprise-Mehrnutzerbetrieb gebaut, und das ist Absicht, kein Mangel. Ollama kapselt llama.cpp mit einer einfachen REST-API und einem Ein-Befehl-Modell-Pull, optimiert für einen Entwickler, der ein Modell auf einer Maschine betreibt.

  • Parallelität: Ollama verarbeitet laut FAQ parallele Anfragen über OLLAMA_NUM_PARALLEL (Standard 1) und eine Warteschlange (OLLAMA_MAX_QUEUE, Standard 512), dokumentiert aber kein Continuous Batching und keine PagedAttention-artige Speicherverwaltung -- es ist nicht wie vLLM oder NIM für viele gleichzeitige Nutzer ausgelegt.
  • Multi-GPU: Ollama kann ein großes Modell über GPUs einer Maschine aufteilen, beschreibt in seiner Dokumentation aber kein Tensor-paralleles oder Multi-Node-Serving vergleichbar mit vLLM.
  • Kubernetes: In der GitHub-README ist ein Community-gepflegtes Helm-Chart aufgeführt; ein First-Party-Kubernetes-Operator oder eine Autoscaler-Integration ist in der Dokumentation nicht aufgeführt.
  • Observability: Die Ollama-Dokumentation beschreibt keinen Metrik-Endpunkt, anders als bei vLLM und TGI.
  • Wo Ollama im Unternehmen dennoch das richtige Werkzeug ist: Entwickler-Laptops, ein Abteilungsprototyp bei geringem internem Verkehr, oder ein abgeschottetes Edge-Gerät für einen Nutzer. Sobald Mehrnutzerbetrieb nötig wird, wechseln Sie zu vLLM, TGI oder NIM -- siehe Multi-GPU-Setups für lokale LLMs für die Hardwareseite dieses Wechsels.

Single-Node- vs Multi-Node-Architekturentscheidungen

Die erste Architekturentscheidung ist Single-Node vs Multi-Node, und sie wird davon bestimmt, ob das Modell in den kombinierten GPU-Speicher eines Knotens passt -- nicht allein vom Verkehrsvolumen.

Teams, die Multi-GPU-Knoten benötigen, ohne eine ganze Flotte zu kaufen, können GPU-Server-Hosting-Anbieter vergleichen.

  • Single-Node, Multi-GPU: Tensor-Parallelismus (vLLM --tensor-parallel-size, TGI --num-shard) teilt die Schichten eines Modells über die GPUs eines Servers. Das ist der Standard für Modelle, die in den kombinierten VRAM eines Knotens passen.
  • Multi-Node: Pipeline-Parallelismus kommt hinzu, sobald ein Modell den GPU-Speicher eines Knotens übersteigt oder das Anfragevolumen mehr ist, als Tensor-Parallelismus auf einem Knoten bedienen kann. vLLM unterstützt das über Ray; NIM über eigene Multi-Node-Deployment-Vorlagen.
  • Load Balancing: ein einfacher Round-Robin-Balancer funktioniert bei gleich großen Repliken, aber KV-Cache-bewusstes Routing -- eine Folgeanfrage derselben Konversation zurück zur Replik zu schicken, die den gecachten Kontext bereits hält -- senkt die Latenz bei Chat-Workloads spürbar.
  • Model Routing: Unternehmen mit mehr als einem Modell (z. B. ein Coding-Modell und ein allgemeines Chat-Modell) betreiben meist separate Replik-Pools pro Modell hinter einer Routing-Schicht statt eines gemeinsamen Pools -- GPU-Speicher lässt sich zwischen sehr unterschiedlichen Modellen nicht sauber genug teilen.
  • Autoscaling: skalieren Sie nach Warteschlangentiefe oder GPU-Auslastung, nicht nach CPU (dem klassischen Kubernetes-HPA-Standard) -- die CPU-Auslastung eines GPU-Inferenz-Pods bewegt sich oft kaum, wenn sich die Last ändert. KEDA mit einer benutzerdefinierten Prometheus-Metrik ist das gängige Muster für vLLM/TGI; NIMs Operator verdrahtet das als Teil des Produkts. Siehe Skalierung lokaler LLMs für Unternehmen für die größere Kapazitätsplanung dahinter.

Multi-GPU-Inferenz-Stack bereitstellen

Die Bereitstellung eines Enterprise-Inferenz-Stacks folgt einer festen Reihenfolge: SLA definieren, Flotte dimensionieren, Engine wählen, dann Deployment, Routing und Observability darum herum verdrahten.

  1. 1
    Latenz- und Nebenläufigkeits-SLA definieren, bevor Hardware gewählt wird.
  2. 2
    GPU-Flotte anhand des VRAM-Bedarfs des Modells und der Ziel-Nebenläufigkeit dimensionieren, nicht allein anhand der Parameterzahl.
  3. 3
    Wählen Sie die Serving-Engine -- vLLM (oder SGLang) für Open-Source-Flexibilität, NIM für herstellergestütztes Turnkey-Deployment; starten Sie keine neuen Projekte auf TGI.
  4. 4
    Engine containerisieren und per Helm (oder NIM Operator) in den Kubernetes-Cluster ausrollen.
  5. 5
    Tensor-Parallelismus innerhalb eines Knotens und Pipeline-Parallelismus über Knoten hinweg konfigurieren, falls nötig.
  6. 6
    KV-Cache-bewusstes oder Round-Robin-Load-Balancing vor den Replik-Pool schalten.
  7. 7
    Autoscaling an Warteschlangentiefe oder GPU-Auslastung anbinden, nicht an CPU.
  8. 8
    Prometheus-/OpenTelemetry-Observability ergänzen und vor dem Go-Live bei Ziel-Nebenläufigkeit lasttesten.

Lizenzierung und Support-Modell im Vergleich

Die Lizenz ist der Posten, der die Gesamtbetriebskosten zwischen diesen Optionen am stärksten verändert. vLLM steht unter Apache 2.0 und ist in jeder Größenordnung kostenlos, ebenso TGI (Apache 2.0, jetzt archiviert) -- Sie zahlen nur für die GPU-Infrastruktur darunter. NVIDIA NIM erfordert für den Produktionseinsatz eine NVIDIA-AI-Enterprise-Lizenz, die laut NVIDIA-FAQ ab 4.500 US-Dollar pro GPU und Jahr zusätzlich zu den GPU-Kosten beginnt; Forschung, Entwicklung und Experimente auf bis zu 16 GPUs sind für Mitglieder des NVIDIA Developer Program kostenlos. Klären Sie die aktuellen Konditionen direkt mit NVIDIA, bevor Sie budgetieren. Ollama steht unter MIT und ist kostenlos, der Support beschränkt sich auf GitHub und Discord der Community -- die Dokumentation nennt keine bezahlte Enterprise-Support-Stufe.

Das Support-Modell ist für ein Produktivsystem ebenso wichtig wie die Lizenzkosten: Der vLLM-Support kommt aus GitHub-Issues und Community-Kanälen (bei verbreiteten Problemen schnell, ohne SLA), TGI erhält nur noch kleine Wartungskorrekturen, NIM wird mit einem NVIDIA-Supportvertrag geliefert, und die Ollama-Dokumentation nennt über Community-Kanäle hinaus keinen Supportweg.

Observability-Anbindung für Produktions-Serving

vLLM und TGI stellen beide direkt einen Prometheus-kompatiblen /metrics-Endpunkt bereit, der Anfragelatenz, Warteschlangentiefe, GPU-KV-Cache-Auslastung und Token-Durchsatz abdeckt. Verbinden Sie das mit einem bestehenden Prometheus-/Grafana-Stack für produktionsreife Dashboards ohne eigene Instrumentierung.

NVIDIA NIM unterstützt DCGM-basierte GPU-Metriken und NIM-spezifische Metriken, die sein Operator für das Autoscaling nutzen kann -- die bessere Wahl, wenn die übrige Infrastruktur bereits NVIDIA-zentriert ist.

Ollama hat nur minimale eingebaute Metriken: Die Dokumentation beschreibt keinen Metrik-Endpunkt. Das passt zum Einzelnutzer-Designschwerpunkt, ist aber eine echte Lücke, wenn Sie es als gemeinsame Infrastruktur betreiben und Latenz pro Anfrage über viele gleichzeitige Nutzer sehen müssen.

Welche Lösung passt zu Ihnen?

Naheliegende Open-Source-Wahl: vLLM -- breite Community, große Hardware-Unterstützung, Multi-GPU-Tooling und häufige Releases.

Schon bei Hugging Face: trotzdem auf vLLM oder SGLang planen -- TGI ist im Wartungsmodus, behalten Sie es nur für bestehende Deployments.

Passend bei Bedarf an Herstellersupport: NVIDIA NIM -- herstellergestützt, schlüsselfertig, gegen Lizenzkosten.

Nicht für produktiven Mehrnutzerbetrieb: Ollama -- für Entwickler-Maschinen und Einzelnutzer-Edge-Deployments reservieren.

  • 🧭 Plattform-Team mit einer gemeinsamen internen LLM-API für viele Teams → vLLM, selbst gehostet auf Kubernetes.
  • 🧭 Reguliertes Unternehmen mit Bedarf an einem Hersteller-Supportvertrag → NVIDIA NIM; Audit-Logging selbst davorschalten (siehe den verwandten Enterprise-Compliance-Leitfaden).
  • 🧭 Team, das für das Modell-Hosting bereits auf den Hugging Face Hub standardisiert hat → vLLM, das Hub-Modelle direkt lädt; TGI nur für bestehende Deployments behalten.
  • 🧭 Entwickler, die einen Proof of Concept bauen, bevor die Infrastruktur bereitsteht → Ollama, dann Wechsel zu vLLM, sobald echter paralleler Traffic anliegt.
  • ❌ Wenn Sie mehr als eine Handvoll gleichzeitiger Nutzer erwarten, ist Ollama nicht für einen gemeinsamen Produktions-Endpunkt ausgelegt -- nutzen Sie stattdessen vLLM.
  • ❌ Wenn Sie Kubernetes-natives Autoscaling auf Anfragelast brauchen: Ollamas Dokumentation nennt kein Pendant zu KEDA-gesteuertem Queue-Depth-Scaling -- nutzen Sie vLLM oder NIM.

Häufige Fehler bei der Dimensionierung von Enterprise-Inferenz-Infrastruktur

  • GPUs nach Parameterzahl statt nach gleichzeitiger Anfragezahl dimensionieren. Eine GPU-Flotte, die nur für eine Modellkopie im VRAM ausgelegt ist, hat keinen Spielraum für gleichzeitige Nutzer -- nach Spitzen-Nebenläufigkeit dimensionieren, dann prüfen, ob das Modell noch passt.
  • Ollama hinter einen gemeinsamen Produktions-Load-Balancer stellen. Funktioniert in einer Demo mit zwei Nutzern; ist nicht für einen Einsatz mit Hunderten von Nutzern ausgelegt.
  • Nach CPU-Auslastung skalieren. GPU-Inferenz-Pods bewegen die CPU-Auslastung oft kaum -- stattdessen nach Warteschlangentiefe oder GPU-Auslastung skalieren.
  • Den Lizenzcheck bei älteren gecachten TGI-Images überspringen. Prüfen Sie, ob der gezogene Image-Tag der Apache-2.0-Version entspricht, nicht einem gecachten HFOIL 1.0-Build.
  • NIM budgetieren, ohne aktuelle Preise pro GPU direkt mit NVIDIA zu klären. Enterprise-Software-Abo-Preise verschieben sich; ein veraltetes Angebot ist keine Budgetgrundlage.

Quellen

  • vLLM-Dokumentation -- Offizielle vLLM-Docs: PagedAttention, Continuous Batching und Multi-GPU-/Multi-Node-Deployment-Anleitungen.
  • Hugging Face Text Generation Inference (GitHub) -- Offizielles TGI-Repository: Hinweis zum Wartungsmodus, Archivstatus, unterstützte Quantisierungsformate und Lizenzgeschichte.
  • NVIDIA-NIM-Dokumentation -- Offizielle NIM-Docs: unterstützte Modelle, vLLM- und SGLang-Engine-Images und der NIM Operator für Kubernetes.
  • Ollama GitHub -- Offizielles Ollama-Repository und Issue-Tracker, herangezogen für Nebenläufigkeit und Deployment-Verhalten.
  • NVIDIA AI Enterprise -- NVIDIAs Produktseite für das AI-Enterprise-Abo, unter dem NIM läuft.
  • NVIDIA NIM FAQ -- NVIDIAs Lizenzaussagen zu NIM: Developer-Program-Nutzung auf bis zu 16 GPUs, NVIDIA-AI-Enterprise-Lizenz für die Produktion und der Einstiegspreis.

Häufig gestellte Fragen

Was ist der Unterschied zwischen vLLM und NVIDIA NIM?

vLLM ist ein kostenloser Open-Source-Inferenzserver (Apache 2.0), den Sie selbst hosten und betreiben. NVIDIA NIM ist ein vorgefertigter Container von NVIDIA, der laut aktueller NVIDIA-Dokumentation die vLLM- oder SGLang-Engine mit NVIDIA-Optimierungen bündelt; der Produktionseinsatz erfordert eine NVIDIA-AI-Enterprise-Lizenz und kommt mit Herstellersupport. vLLM gibt Ihnen Kontrolle und keine Lizenzgebühr, dafür müssen Sie Tuning und Support selbst leisten; NIM tauscht das gegen eine Lizenzgebühr. PromptQuorum hat die beiden nicht gegeneinander gebenchmarkt.

Kann Ollama für Enterprise-Mehrnutzer-Inferenz eingesetzt werden?

Für produktiven Mehrnutzerbetrieb nicht empfohlen. Ollama verarbeitet parallele Anfragen über OLLAMA_NUM_PARALLEL (Standard 1) und eine Warteschlange, dokumentiert aber kein Continuous Batching und keine PagedAttention-artige Speicherverwaltung und seine Dokumentation nennt kein Kubernetes-natives Autoscaling. Es eignet sich gut für Entwicklerrechner, Edge-Geräte für einen Nutzer oder interne Prototypen mit wenig Traffic.

Lohnt sich NVIDIA NIM gegenüber Open-Source vLLM oder TGI?

Das hängt davon ab, ob Ihnen der Herstellersupport-Vertrag und NVIDIAs Paketierung die Lizenzkosten wert sind, oder ob Sie die Infrastruktur lieber kostenlos selbst betreiben. Regulierte Unternehmen, die einen Herstellersupport-Vertrag wünschen, rechtfertigen die Kosten oft (Audit-Logging muss weiterhin separat ergänzt werden); Teams mit eigener ML-Infrastruktur-Expertise betreiben häufig vLLM ohne Lizenzkosten.

Wie skaliert man LLM-Inferenz über mehrere GPUs und Knoten?

Nutzen Sie Tensor-Parallelität, um die Schichten eines Modells auf die GPUs eines Knotens aufzuteilen, und Pipeline-Parallelität über mehrere Knoten, sobald das Modell den gemeinsamen GPU-Speicher eines Knotens übersteigt. vLLM unterstützt beides (Multi-Node über Ray oder Multiprocessing); TGI unterstützt Tensor-Parallelität mit weniger First-Party-Multi-Node-Tooling und befindet sich im Wartungsmodus; NIM stellt Multi-GPU-Modelle über seine Modellprofile bereit und läuft über den NIM Operator auf Kubernetes.

Welche Quantisierungsformate unterstützt jeder Inferenzserver?

vLLM unterstützt GPTQ, AWQ, FP8 und INT4. TGI nennt bitsandbytes, GPTQ, AWQ, EETQ, Marlin und FP8. NVIDIA NIM wählt die Präzision je Modellprofil und GPU. Ollama nutzt das GGUF-Format mit Q4- bis Q8-Präzision, ausgelegt auf Speicherersparnis auf einem Rechner statt auf Mehrnutzer-Durchsatz.

Wie stellt man vLLM oder TGI auf Kubernetes bereit?

vLLM dokumentiert mehrere Kubernetes-Wege, darunter ein Helm-Chart, KServe und den production-stack des vllm-project. TGI liefert ein Container-Image, das Sie in eigene Manifeste einbinden. Legen Sie Ressourcenanforderungen passend zur GPU-Zuteilung fest, skalieren Sie nach Warteschlangentiefe oder GPU-Auslastung statt nach CPU, und ergänzen Sie einen Prometheus-ServiceMonitor, der den Metrik-Endpunkt abfragt.

Was ist Continuous Batching und warum zählt es für Enterprise-Serving?

Continuous Batching lässt neue Anfragen einem bereits laufenden GPU-Batch beitreten, statt zu warten, bis der aktuelle Batch fertig ist. Es hält die GPU-Auslastung bei ungleichmäßigem Echtbetrieb hoch und ist deshalb Standard in vLLM, TGI und den Engines in NIM -- einer der größten Unterschiede zu einem Einzelnutzer-Werkzeug wie Ollama.

Welcher Inferenzserver hat die beste Observability?

vLLM stellt Metriken an seinem /metrics-Endpunkt bereit, und TGI bietet Prometheus-Metriken und OpenTelemetry-Tracing -- passend für einen bestehenden Prometheus/Grafana-Stack. NVIDIA NIM unterstützt DCGM- und NIM-spezifische Metriken über seinen Operator, besser für NVIDIA-zentrierte Infrastruktur. Die Ollama-Dokumentation beschreibt keinen Metrik-Endpunkt.

Brauchen mehrere Modelle getrennte GPU-Flotten, oder können sie sich einen Pool teilen?

In der Praxis betreiben Unternehmen mit mehr als einem Modell meist getrennte Replik-Pools pro Modell statt eines gemeinsamen Pools, weil sich GPU-Speicher zwischen unterschiedlich großen Modellen nicht sauber teilen lässt. Routen Sie Anfragen an der Anwendungs- oder Gateway-Ebene zum richtigen Pool, statt mehrere Modelle auf denselben GPU-Repliken zu kolokalisieren.

Wie unterscheidet sich die Lizenzierung zwischen vLLM, TGI und NVIDIA NIM?

vLLM und Hugging Face TGI stehen beide unter Apache 2.0 und sind in jeder Größenordnung kostenlos -- Sie zahlen nur für die GPU-Infrastruktur. NVIDIA NIM erfordert für den Produktionseinsatz eine NVIDIA-AI-Enterprise-Lizenz, die laut NVIDIA-FAQ ab 4.500 US-Dollar pro GPU und Jahr zusätzlich zu den GPU-Hardwarekosten beginnt; Mitglieder des Developer Program dürfen NIM für Forschung und Entwicklung auf bis zu 16 GPUs selbst hosten. Klären Sie aktuelle Preise direkt mit NVIDIA. Ollama steht unter MIT, ist kostenlos und hat nur Community-Support.

Wird Hugging Face TGI noch gepflegt?

TGI befindet sich im Wartungsmodus. Laut README akzeptiert Hugging Face nur kleine Bugfixes, Dokumentationsverbesserungen und leichte Wartungsarbeiten, und das GitHub-Repository wurde im März 2026 archiviert (schreibgeschützt). Das letzte Release ist v3.3.7 vom Dezember 2025, und Hugging Face empfiehlt für neue Deployments vLLM und SGLang. Bestehende TGI-Deployments laufen weiter, aber planen Sie eine Migration.

Wie unterscheiden sich vLLM und TensorRT-LLM?

vLLM ist eine allgemeine Serving-Engine, die Modelle im Hugging-Face-Format direkt lädt und auf NVIDIA- und AMD-GPUs sowie weiterer Hardware läuft. TensorRT-LLM ist NVIDIAs Inferenz-Bibliothek für NVIDIA-GPUs. Frühere Versionen kompilierten ein Modell vorab in eine GPU-spezifische TensorRT-Engine; die aktuelle NVIDIA-Dokumentation beschreibt einen PyTorch-basierten Workflow, in dem das TensorRT-Engine-Backend entfernt wurde. Prüfen Sie daher die Version, die Sie einsetzen. vLLM bedeutet meist ein einfacheres Deployment und breitere Hardware- und Modellabdeckung; TensorRT-LLM passt zu Teams, die auf NVIDIA-GPUs festgelegt sind. Siehe TensorRT-LLM erklärt.

← Zurück zu Lokale LLMs Pro

MCP