Was ist vLLM?
vLLM ist eine kostenlose, Apache-2.0-lizenzierte Bibliothek und ein Server für LLM-Inferenz im großen Maßstab. Es entstand als Forschungsprojekt im Sky Computing Lab der UC Berkeley und hat sich seitdem zu einer weit verbreiteten Open-Source-LLM-Serving-Engine mit einer großen Contributor-Community aus Wissenschaft und Industrie entwickelt. Anders als Tools, die vor allem für einen einzelnen Nutzer gebaut sind, der auf seiner eigenen Maschine mit einem Modell chattet, ist vLLM darauf ausgelegt, viele gleichzeitige Anfragen — von mehreren Nutzern oder Anwendungen — möglichst effizient aus gemeinsamer GPU-Kapazität zu bedienen.
- Entstanden im Sky Computing Lab der UC Berkeley, heute ein community-geführtes Open-Source-Projekt
- Apache-2.0-lizenziert: der Quellcode ist öffentlich verfügbar zur Nutzung, Änderung und Weitergabe gemäß den Lizenzbedingungen
- Lädt Modelle im Hugging-Transformers-kompatiblen Format, was breite Architekturabdeckung ermöglicht — Llama, Mistral, Qwen, DeepSeek und viele weitere Modellfamilien — meist ohne separaten Konvertierungsschritt
- Ausgelegt auf effizientes Bedienen vieler gleichzeitiger Anfragen, nicht nur auf ein schnelles Einzelgespräch
- Offen auf GitHub entwickelt, mit öffentlichen Releases und Dokumentation
Was ist PagedAttention, und warum ist es wichtig?
PagedAttention ist die Speicherverwaltungstechnik, für die vLLM am bekanntesten ist. Während der Generierung speichert ein Transformer-Modell für jedes Token jeder aktiven Anfrage einen Attention-Key-Value-Cache (KV-Cache) — normalerweise wird dieser Cache als ein großer zusammenhängender Block pro Anfrage reserviert, dimensioniert für die maximal mögliche Länge der Anfrage, was GPU-Speicher verschwendet, sobald eine Anfrage früher endet oder kürzer ist als das reservierte Maximum. PagedAttention teilt den KV-Cache stattdessen in kleine, feste Blöcke (Pages) auf, die nicht zusammenhängend zugewiesen und zwischen Anfragen geteilt werden können — eine Idee, die von der Verwaltung virtuellen Speichers in Betriebssystemen entlehnt ist.
- Reduziert Speicherverschwendung durch übermäßig reservierten KV-Cache-Platz für Anfragen, die sich als kürzer als ihr Maximum herausstellen
- Erlaubt das Teilen von Speicherblöcken zwischen Anfragen mit gemeinsamem Präfix, etwa demselben System-Prompt
- Ermöglicht es der GPU, mehr gleichzeitige Anfragen im gleichen Speicher zu halten als bei einer naiven zusammenhängenden Zuweisung
- Wirkt zusammen mit Continuous Batching, das es vLLM erlaubt, Anfragen laufend in einen aktiven Batch aufzunehmen und daraus zu entfernen, statt auf das vollständige Ende eines festen Batches zu warten, bevor der nächste beginnt
Welche Hardware braucht vLLM?
vLLMs primäres und am besten unterstütztes Ziel sind NVIDIA-GPUs mit CUDA, und die meisten Produktions-Deployments laufen auf NVIDIA-Hardware. Das Projekt dokumentiert zusätzliche Backends, aber Abdeckung und Performance sind dort nicht gleichwertig.
NVIDIA-GPUs (CUDA)
- Details:
- Das primäre, ausgereifteste Ziel. Tensor-Parallel- und Pipeline-Parallel-Serving über mehrere NVIDIA-GPUs ist gut dokumentiert und in der Produktion weit verbreitet.
AMD-GPUs (ROCm)
- Details:
- Als unterstütztes Backend für AMD-Hardware über ROCm dokumentiert, mit schmalerer realer Verbreitung und Community-Abdeckung als der CUDA-Pfad.
Intel-GPUs und Gaudi-Beschleuniger
- Details:
- Zusätzliche vom Projekt dokumentierte Backends für Intel-Hardware; als kleinerer, weniger erprobter Deployment-Pfad als NVIDIA-GPUs zu betrachten.
Google TPUs
- Details:
- Ein dokumentiertes Backend für Google-Cloud-TPU-Hardware, für Teams, die bereits auf dieser Infrastruktur laufen.
CPU (x86 / ARM)
- Details:
- Ein CPU-only-Backend existiert (dokumentiert für x86, ARM AArch64 sowie experimentell für Apple Silicon und IBM Z), ist aber nicht der Anwendungsfall von vLLM — das Projekt ist auf GPU-Serving ausgelegt.
Apple Silicon (Mac)
- Details:
- In vLLMs CPU-Installationsdokumentation als experimentelles CPU-Ziel gelistet. Ein community-gepflegtes Metal-Plugin (vllm-metal) ist ebenfalls verfügbar. Beides ist nicht der Hauptanwendungsfall von vLLM.
Wer ein Modell auf einem einzelnen Mac oder einer reinen CPU-Maschine ausführen möchte, ist mit vLLM nicht am richtigen Werkzeug — llama.cpp und darauf aufbauende Tools wie Ollama und LM Studio zielen direkt auf CPU- und Apple-Silicon-Hardware und passen dafür besser.
Welche Quantisierungsformate unterstützt vLLM?
vLLM unterstützt das Serving von Modellen mit reduzierter numerischer Präzision, um Speicherverbrauch zu senken und in vielen Fällen den Durchsatz zu erhöhen — über mehrere etablierte Quantisierungsformate statt eines einzigen proprietären Formats.
AWQ
- Details:
- Activation-aware Weight Quantization, eine weit verbreitete 4-Bit-Gewichtsquantisierungsmethode mit vorquantisierten Modellen, die die Community auf Hugging Face veröffentlicht.
GPTQ
- Details:
- Eine Post-Training-Quantisierungsmethode, üblicherweise als vorquantisierte Modell-Checkpoints verteilt, ebenfalls typischerweise mit 4-Bit-Präzision.
FP8
- Details:
- 8-Bit-Gleitkomma-Präzision, unterstützt auf neueren NVIDIA-GPU-Generationen mit Hardware-FP8-Unterstützung — weniger Präzision gegen geringeren Speicherverbrauch und schnellere Ausführung als FP16/BF16.
INT8 / INT4
- Details:
- Vom Projekt neben AWQ und GPTQ dokumentierte Ganzzahl-Quantisierungspfade mit niedrigerer Präzision für weitere Speicherreduktion.
Dieser Artikel enthält keine unabhängig gemessenen Qualitätsverlust-Werte je Format — diese variieren je nach Modellarchitektur und Aufgabe. Ausgaben mehrerer Formate an eigenen Prompts zu vergleichen ist der zuverlässigste Weg, den Trade-off für die eigene Anwendung zu beurteilen.
Was bietet der OpenAI-kompatible vLLM-Server?
Der Befehl vllm serve startet einen HTTP-Server, der das OpenAI-API-Protokoll implementiert, sodass Anwendungen und SDKs, die bereits gegen die OpenAI-API gebaut sind, oft nur mit geänderter Basis-URL und Modellname auf eine selbst gehostete vLLM-Instanz zeigen können.
- OpenAI-kompatible Chat-Completions- und Completions-Endpunkte, nutzbar als direkter Ersatz für OpenAI-API-basierten Client-Code
- Konfigurierbarer Host und Port (Standardport 8000; mit
--hostlegen Sie fest, auf welchen Netzwerkschnittstellen der Server lauscht) - Optionales Flag
--api-keyverlangt einen Schlüssel im Request-Header, authentifiziert laut vLLM-CLI-Referenz aber nur die Pfadpräfixe/v1,/v2und/inference— andere Endpunkte bleiben offen; den Server daher nicht ohne Firewall oder Reverse-Proxy in nicht vertrauenswürdige Netzwerke exponieren - Engine-Flags für Tensor-Parallel-Größe, GPU-Speicherauslastungsziel und Quantisierungsformat, gesetzt beim Serverstart
- Unterstützung für das Serving mehrerer LoRA-Adapter gegen ein einzelnes geladenes Basismodell
- Unterstützung für strukturierte Ausgaben und Function-/Tool-Calling bei kompatiblen Anfrageformaten
Wie installiert und betreibt man vLLM?
vLLM wird als Python-Paket verteilt und typischerweise mit pip in eine Python-Umgebung mit verfügbarer NVIDIA-GPU und kompatiblen CUDA-Treibern installiert.
- 1Prüfen, ob eine unterstützte NVIDIA-GPU mit aktuellen CUDA-Treibern vorhanden ist (oder die Projektdokumentation für AMD/Intel/TPU-spezifische Installationsanleitungen konsultieren, falls eines dieser Backends genutzt werden soll).
- 2Eine Python-Virtual-Environment anlegen und vLLM installieren:
pip install vllm. - 3Den OpenAI-kompatiblen Server mit einem Modell von Hugging Face starten, z. B.:
vllm serve meta-llama/Llama-3.1-8B-Instruct. - 4Für ein vorquantisiertes Modell das passende Flag übergeben, z. B.:
vllm serve TheBloke/Llama-2-13B-AWQ --quantization awq. - 5Für Multi-GPU-Serving ein Tensor-Parallel-Flag hinzufügen, z. B.:
vllm serve <model> --tensor-parallel-size 2, um das Modell auf zwei GPUs zu verteilen. - 6Der Standardport des Servers ist 8000; eine Anfrage an den
/v1/chat/completions-Endpunkt (auf demselben Rechner z. B.http://localhost:8000/v1/chat/completions) mit einer beliebigen OpenAI-API-kompatiblen Client-Bibliothek odercurlsenden. - 7Bestehenden OpenAI-API-Client-Code nur durch Ändern von Basis-URL und Modellname auf den selbst gehosteten Server richten.
Brauche ich eine GPU, um vLLM auszuführen?
Für alles über einen Test hinaus: ja — vLLMs primäres und am besten unterstütztes Ziel sind NVIDIA-GPUs. Ein CPU-only-Backend existiert, ist aber nicht der Fokus des Projekts.
Kann ich vLLM mit einem quantisierten Modell betreiben?
Ja — vLLM unterstützt Formate wie AWQ, GPTQ und FP8, und viele vorquantisierte Modelle in diesen Formaten sind auf Hugging Face veröffentlicht und lassen sich mit dem passenden --quantization-Flag betreiben.
Wie schneidet vLLM im Vergleich zu Ollama und LM Studio ab?
Ollama und LM Studio zielen auf ein anderes Problem als vLLM: einer einzelnen Person schnell und einfach ein Modell zum Chatten auf der eigenen Maschine zu geben. vLLM zielt darauf ab, viele gleichzeitige Nutzer oder Anwendungen möglichst effizient aus gemeinsamer GPU-Kapazität zu bedienen. Die beiden Werkzeugkategorien sind für die meisten Anwendungsfälle keine nahen Alternativen zueinander.
- Ollama und LM Studio bauen üblicherweise auf llama.cpp oder ähnlichen Engines und dem GGUF-Modellformat auf, optimiert für Einzelnutzer auf Consumer-Hardware inklusive CPU-only-Maschinen und Apple Silicon
- vLLM baut auf PagedAttention und Continuous Batching auf, optimiert für hochparallele GPU-Serving statt für Einzelnutzer-Reaktionsfreudigkeit auf bescheidener Hardware
- Ollama installiert sich mit einem Befehl ohne GPU-Bedarf; vLLM erwartet eine Python-Umgebung, in den meisten Deployments eine NVIDIA-GPU, und Konfiguration über die Kommandozeile
- LM Studio bringt eine grafische Desktop-Chat-Oberfläche mit; vLLM hat keine grafische Oberfläche — Zugriff erfolgt über die OpenAI-kompatible API oder Kommandozeilen-Flags
- Sowohl vLLM als auch auf llama.cpp basierende Tools können eine OpenAI-kompatible API bereitstellen, sodass Frontend-Tools für diese API oft mit beiden funktionieren
Wie schneidet vLLM im Vergleich zu TGI und TensorRT-LLM ab?
vLLM, Hugging Faces Text Generation Inference (TGI) und NVIDIAs TensorRT-LLM zielen alle auf dieselbe breite Aufgabe — Produktions-LLM-Serving im großen Maßstab —, aber mit unterschiedlichen Designs und Trade-offs.
vLLM
- Details:
- Apache-2.0-lizenziert, Python-basiert, aufgebaut auf PagedAttention und Continuous Batching. Lädt Hugging-Transformers-kompatible Modelle direkt, mit breiter Architekturabdeckung und Multi-Vendor-GPU-Backend-Unterstützung (NVIDIA primär; AMD, Intel, TPU dokumentiert).
Artikel über vLLM (9)
- AMD Ryzen AI Halo Price and Specs for Local AIAktualisiert 14. November 2026
- NVIDIA DGX Spark Price and Specs for Local AIAktualisiert 14. November 2026
- Open WebUI in 2026: The Self-Hosted ChatGPT Interface for Ollama and Any AI ModelAktualisiert 14. November 2026
- llama.cpp: What It Is, How to Install, First CommandAktualisiert 14. November 2026
- Best Local AI Apps for iPhone in 2026 (Run LLMs Without WiFi)Aktualisiert 13. November 2026
- SOC 2 & ISO 27001 Readiness for Self-Hosted LLM Deployments (2026)Aktualisiert 7. November 2026
- Enterprise LLM Inference Servers 2026: vLLM vs TGI vs NVIDIA NIM vs OllamaAktualisiert 7. November 2026
- TensorRT-LLM Explained: NVIDIA's GPU-Optimized Inference Engine (2026)Aktualisiert 7. November 2026
- Best Local LLM Solutions for Enterprise Customer Support & Call Centers (2026)Aktualisiert 6. November 2026
+96 weitere nicht angezeigt
TGI
- Details:
- Hugging Faces eigene Serving-Engine, Apache-2.0-lizenziert, unterstützt ebenfalls Continuous Batching und mehrere Quantisierungsformate. Eng in den Hugging Face Hub und das Ökosystem integriert, befindet sich aber jetzt im Wartungsmodus: Das GitHub-Repository wurde im März 2026 archiviert (schreibgeschützt), und Hugging Face empfiehlt für neue Deployments vLLM und SGLang.
TensorRT-LLM
- Details:
- NVIDIAs Engine, speziell für NVIDIA-GPUs gebaut. Frühe Versionen kompilierten Modelle vorab in eine GPU-spezifische TensorRT-Engine; die aktuelle NVIDIA-Dokumentation beschreibt einen PyTorch-basierten Workflow ohne diesen Engine-Build-Schritt. Da nur NVIDIA-GPUs unterstützt werden, ist die Hardware-Flexibilität geringer als bei vLLM oder TGI.
Artikel über TensorRT-LLM (5)
- TensorRT-LLM Explained: NVIDIA's GPU-Optimized Inference Engine (2026)Aktualisiert 7. November 2026
- NVIDIA Dynamo Review: Datacenter-Scale Inference ServingAktualisiert 19. September 2026
- GPUStack Review: Open-Source GPU Cluster Manager for Local AIAktualisiert 12. September 2026
- SGLang Explained: RadixAttention and Structured LLM Serving (2026)Aktualisiert 6. September 2026
- text-generation-webui in 2026: How Oobabooga's Local LLM UI Became "TextGen"Aktualisiert 5. September 2026
Auch erwähnt in:
- Apple MLX vs NVIDIA CUDA for Local LLMs: Which System Should You Choose in 2026?Aktualisiert 6. November 2026
- Local Inference Engines, Runtimes & Gateways Compared (2026): Run and Serve ModelsAktualisiert 24. Oktober 2026
- LMDeploy Review: High-Throughput LLM Serving and QuantizationAktualisiert 19. September 2026
- Running LLMs and VLA Models On-Robot 2026: What Fits, What Doesn'tAktualisiert 2. September 2026
Dieser Artikel hat diese drei Engines nicht selbst gegeneinander benchmarkt und behauptet nicht, dass eine universell schneller ist — der Durchsatz hängt stark von Modell, Hardware, Batch-Charakteristik und der jeweiligen Engine-Version ab. Siehe den Leitfaden zu Enterprise-Inferenz-Servern für einen detaillierteren Vergleich zu Deployment und Lizenzierung aller drei.
Für wen ist vLLM geeignet?
vLLM passt zu Teams, die ein Modell vielen gleichzeitigen Nutzern oder Anwendungen auf GPU-Infrastruktur bereitstellen — nicht zu Personen, die den schnellsten Weg suchen, auf dem eigenen Rechner mit einem Modell zu chatten.
Nutzen Sie vLLM, wenn
- Sie ein LLM hinter einer API bereitstellen, die viele Nutzer oder nachgelagerte Dienste gleichzeitig aufrufen
- Sie Zugriff auf eine oder mehrere NVIDIA-GPUs (oder ein unterstütztes AMD-/Intel-/TPU-Deployment) haben und Durchsatz sowie gleichzeitige Anfragekapazität dieser Hardware maximieren wollen
- Sie einen selbst gehosteten OpenAI-kompatiblen API-Server statt Abhängigkeit von einem Drittanbieter-API wollen
- Sie Multi-GPU-Tensor-Parallel-Serving für ein Modell brauchen, das nicht auf eine einzelne GPU passt
- Sie mit einer Python-Umgebung, Kommandozeilen-Konfiguration und GPU-/CUDA-Setup vertraut sind
Vermeiden Sie vLLM, wenn
- Sie ein Modell auf dem eigenen Laptop oder Desktop für persönlichen Einzelnutzer-Chat ausführen wollen — Ollama oder LM Studio passen dafür deutlich besser
- Sie keine unterstützte GPU haben — vLLMs CPU-Backend ist nicht der Fokus, und Apple Silicon ist nur ein experimentelles CPU-Ziel (plus ein Community-Metal-Plugin), kein Hauptpfad wie bei llama.cpp oder Ollama
- Sie eine grafische Klick-Oberfläche statt eines API-Servers und Kommandozeilen-Flags wollen
- Sie sich nicht sicher im Umgang mit CUDA-Treibern, Python-Abhängigkeitskonflikten oder GPU-Speicherkonfiguration fühlen
vLLM im Vergleich zu Alternativen
Diese Tools liegen an unterschiedlichen Punkten zwischen Einzelnutzer- und Produktions-Serving-Anwendungsfall.
vLLM
- Oberfläche & Setup:
- Python-Paket über pip installiert; OpenAI-kompatibler API-Server, gestartet mit
vllm serve. Erwartet in den meisten Deployments eine NVIDIA-GPU und CUDA. - Am besten für:
- Hochdurchsatz-GPU-Serving für viele Nutzer in Produktion.
Artikel über vLLM (9)
- AMD Ryzen AI Halo Price and Specs for Local AIAktualisiert 14. November 2026
- NVIDIA DGX Spark Price and Specs for Local AIAktualisiert 14. November 2026
- Open WebUI in 2026: The Self-Hosted ChatGPT Interface for Ollama and Any AI ModelAktualisiert 14. November 2026
- llama.cpp: What It Is, How to Install, First CommandAktualisiert 14. November 2026
- Best Local AI Apps for iPhone in 2026 (Run LLMs Without WiFi)Aktualisiert 13. November 2026
- SOC 2 & ISO 27001 Readiness for Self-Hosted LLM Deployments (2026)Aktualisiert 7. November 2026
- Enterprise LLM Inference Servers 2026: vLLM vs TGI vs NVIDIA NIM vs OllamaAktualisiert 7. November 2026
- TensorRT-LLM Explained: NVIDIA's GPU-Optimized Inference Engine (2026)Aktualisiert 7. November 2026
- Best Local LLM Solutions for Enterprise Customer Support & Call Centers (2026)Aktualisiert 6. November 2026
+96 weitere nicht angezeigt
Ollama
- Oberfläche & Setup:
- CLI und REST-API, laut übereinstimmenden Berichten auf den meisten Plattformen mit llama.cpp als Backend. Ein Befehl installiert es; ein Befehl lädt und startet ein Modell.
- Am besten für:
- Der schnellste Weg zu einem laufenden lokalen Modell für einen einzelnen Nutzer, ohne Build-Schritt oder GPU.
Artikel über Ollama (10)
- Ollama Review: The One-Command Local LLM RuntimeAktualisiert 13. November 2026
- Local LLM Security and Privacy Checklist: 12 Steps to a Safe SetupAktualisiert 15. November 2026
- How to Run Qwen 3.6 and Qwen 3.8 Locally in 2026: Ollama and LM Studio Setup GuideAktualisiert 15. November 2026
- Best AMD Mini PC for Local LLM 2026: AOOSTAR, Minisforum, Beelink, GMKtec ComparedAktualisiert 14. November 2026
- Install LM Studio: GUI Setup for macOS, Windows & LinuxAktualisiert 14. November 2026
- Download & Install Ollama on macOS, Windows & LinuxAktualisiert 14. November 2026
- Local LLM Hardware: GPU vs Mini PC vs Mac ComparedAktualisiert 14. November 2026
- Open WebUI in 2026: The Self-Hosted ChatGPT Interface for Ollama and Any AI ModelAktualisiert 14. November 2026
- SillyTavern in 2026: The Free Frontend for AI Character Roleplay and Long-Form ChatAktualisiert 14. November 2026
- AI Notebook Review: Free Open-Source NotebookLM AlternativeAktualisiert 14. November 2026
+347 weitere nicht angezeigt
LM Studio
- Oberfläche & Setup:
- Grafische Desktop-App für Mac, Windows und Linux. Herunterladen, installieren, dann ein Modell in der App durchsuchen und herunterladen.
- Am besten für:
- Nicht-technische Nutzer, die eine Klick-Chat-App wollen.
Artikel über LM Studio (10)
- LM Studio Review: The GUI-First Local AI Desktop AppAktualisiert 14. November 2026
- Local LLM Security and Privacy Checklist: 12 Steps to a Safe SetupAktualisiert 15. November 2026
- How to Run Qwen 3.6 and Qwen 3.8 Locally in 2026: Ollama and LM Studio Setup GuideAktualisiert 15. November 2026
- Install LM Studio: GUI Setup for macOS, Windows & LinuxAktualisiert 14. November 2026
- SillyTavern in 2026: The Free Frontend for AI Character Roleplay and Long-Form ChatAktualisiert 14. November 2026
- BrowserOS Review: Open-Source AI Browser With Local Ollama and LM Studio SupportAktualisiert 14. November 2026
- Dayflow Review: Open-Source Mac Work Journal with Local AIAktualisiert 14. November 2026
- llama.cpp: What It Is, How to Install, First CommandAktualisiert 14. November 2026
- Best Local AI Apps for iPhone in 2026 (Run LLMs Without WiFi)Aktualisiert 13. November 2026
- Best Local LLM Apps for Mac in 2026: LM Studio, Ollama, Jan and 5 MoreAktualisiert 13. November 2026
+169 weitere nicht angezeigt
llama.cpp
- Oberfläche & Setup:
- CLI, eingebaute Web-UI und OpenAI-kompatible API über llama-server. Aus dem Quellcode bauen oder eine vorgebaute Binary nutzen; läuft auf CPU oder GPU.
- Am besten für:
- Direkte Kontrolle auf Engine-Ebene, Embedded-/Edge-Deployment und CPU- oder Apple-Silicon-Hardware.
Artikel über llama.cpp (10)
- llama.cpp: What It Is, How to Install, First CommandAktualisiert 14. November 2026
- Best GPUs for Local LLMs in 2026: VRAM Tiers, Speed and PricesAktualisiert 15. November 2026
- Local LLM Hardware: GPU vs Mini PC vs Mac ComparedAktualisiert 14. November 2026
- Open WebUI in 2026: The Self-Hosted ChatGPT Interface for Ollama and Any AI ModelAktualisiert 14. November 2026
- KoboldCpp Review: One File, No Install, Built for RoleplayAktualisiert 14. November 2026
- LM Studio Review: The GUI-First Local AI Desktop AppAktualisiert 14. November 2026
- Whisper.cpp Review: Local Speech-to-Text in Pure C/C++Aktualisiert 14. November 2026
- Best Local LLM Apps for Android in 2026: 6 Apps Compared on Real PhonesAktualisiert 13. November 2026
- Best Local AI Apps for iPhone in 2026 (Run LLMs Without WiFi)Aktualisiert 13. November 2026
- Best Local LLM Apps for Mac in 2026: LM Studio, Ollama, Jan and 5 MoreAktualisiert 13. November 2026
+182 weitere nicht angezeigt
Dieser Artikel hat Geschwindigkeit oder Ausgabequalität dieser Tools nicht selbst benchmarkt und behauptet nicht, dass eines technisch überlegen ist — der Vergleich oben deckt nur dokumentierte Architektur-, Setup- und Zugriffsmodell-Fakten ab. Für Durchsatzzahlen je Hardware siehe den Vergleich llama.cpp vs. Ollama vs. vLLM und den Leitfaden zu Enterprise-Inferenz-Servern.
Was deckt dieser Artikel nicht ab?
Dies ist ein Erklärartikel auf Basis von vLLMs öffentlicher Dokumentation und Repository, kein praktischer Benchmark-Bericht.
- Keine unabhängig gemessenen Durchsatz-, Latenz- oder Requests-pro-Sekunde-Zahlen — diese hängen stark von GPU, Modell, Batch-Zusammensetzung und vLLM-Version ab
- Keine unabhängig verifizierten Qualitätsverlust-Prozentwerte für bestimmte Quantisierungsformate — diese variieren je nach Modellarchitektur und Aufgabe
- Kein zeilenweises Sicherheitsaudit des vLLM-Codebase — er ist quelloffen und Apache-2.0-lizenziert, der Code selbst ist zur Überprüfung verfügbar
- Keine vollständige Abdeckung jedes unterstützten Hardware-Backends, Engine-Flags oder jeder Deployment-Orchestrierungsoption (Kubernetes, cloud-spezifische Setups) — dieser Artikel konzentriert sich auf die Konzepte und Flags, die die meisten Teams zuerst prüfen
- Keine Abdeckung kommerzieller Support-Vereinbarungen oder gemanagter vLLM-Hosting-Angebote, da vLLM selbst ein Community-Open-Source-Projekt ist und kein Anbieterprodukt mit Support-Vertrag
Häufige Fehler beim Ausprobieren von vLLM
Die meisten Reibungspunkte mit vLLM entstehen dadurch, es wie ein Einzelnutzer-Desktop-Tool statt wie Produktions-Server-Software zu behandeln.
Fehler 1: Der Versuch, es auf einem Laptop ohne dedizierte GPU auszuführen
vLLMs CPU-Backend existiert, ist aber nicht der Fokus, und Apple Silicon ist in vLLMs CPU-Installationsdokumentation nur ein experimentelles CPU-Ziel (zusätzlich gibt es ein Community-Metal-Plugin, vllm-metal), kein Hauptpfad wie bei llama.cpp oder Ollama. Der Versuch, es auf einem reinen CPU-Laptop oder einem Apple-Silicon-Mac auszuführen, führt typischerweise zu schlechter Performance oder Setup-Reibung, die ein dafür gebautes lokales Tool ganz vermeiden würde.
Fehler 2: Einen grafischen Installer oder ein Chat-Fenster erwarten
vLLM hat keinen Klick-Installer und keine eingebaute Chat-UI. Es wird mit pip installiert und über seine OpenAI-kompatible API angesprochen — für ein Chat-Fenster braucht es ein separates Frontend (selbst gebaut oder eine Drittanbieter-Chat-UI, die die OpenAI-API spricht).
Fehler 3: GPU-Speicher nur für das Modell selbst dimensionieren, nicht für gleichzeitige Anfragen
Eine GPU mit gerade genug Speicher für eine Kopie eines Modells hat wenig Spielraum für den KV-Cache mehrerer gleichzeitiger Anfragen. Die Dimensionierung an der erwarteten gleichzeitigen Last — nicht nur daran, dass die Modellgewichte in den VRAM passen — vermeidet Out-of-Memory-Fehler unter echtem Traffic.
Häufig gestellte Fragen
Was ist vLLM?
vLLM ist eine kostenlose, Apache-2.0-lizenzierte Bibliothek und ein Server für hochperformante LLM-Inferenz, entstanden im Sky Computing Lab der UC Berkeley. Es nutzt PagedAttention und Continuous Batching, um viele gleichzeitige Anfragen effizient von einer GPU zu bedienen.
Ist vLLM kostenlos?
Ja. vLLM ist kostenlose, quelloffene Software unter der Apache-2.0-Lizenz, ohne Abo oder Kontopflicht für den eigenen Betrieb.
Was ist PagedAttention?
PagedAttention ist vLLMs Technik zur Verwaltung des Attention-KV-Cache in kleinen, seitengroßen, nicht zusammenhängenden Blöcken statt einer großen zusammenhängenden Zuweisung pro Anfrage — das reduziert verschwendeten GPU-Speicher und erlaubt das Teilen von Speicher zwischen Anfragen mit gemeinsamem Präfix.
Braucht vLLM eine GPU?
Für jeden echten Workload: ja — vLLMs primäres und am besten unterstütztes Ziel sind NVIDIA-GPUs. Ein CPU-only-Backend existiert, ist aber nicht der Fokus des Projekts.
Welche Quantisierungsformate unterstützt vLLM?
vLLM unterstützt mehrere Formate, darunter AWQ, GPTQ, FP8 und INT8/INT4, mit vielen vorquantisierten Modellen in diesen Formaten auf Hugging Face.
Ist vLLM besser als Ollama?
„Besser" hängt von der Aufgabe ab: vLLM ist für hochparalleles Produktions-GPU-Serving gebaut, Ollama für den schnellsten Weg zu einem lokalen Einzelnutzer-Modell ohne GPU. Für die meisten Anwendungsfälle sind sie keine nahen Alternativen — siehe die Vergleichstabelle oben.
Kann vLLM Modelle über mehrere GPUs hinweg bedienen?
Ja. vLLM unterstützt Tensor-Parallel- und Pipeline-Parallel-Serving über mehrere GPUs, konfigurierbar mit Flags wie --tensor-parallel-size beim Serverstart.
Hat vLLM eine OpenAI-kompatible API?
Ja. Der Befehl vllm serve startet einen Server, der das OpenAI-API-Protokoll implementiert, sodass viele für die OpenAI-API gebaute Anwendungen nur mit geänderter Basis-URL und Modellname auf eine selbst gehostete vLLM-Instanz zeigen können.
Wie unterscheidet sich vLLM von TensorRT-LLM?
TensorRT-LLM ist NVIDIAs Inferenz-Bibliothek für NVIDIA-GPUs. Frühere Versionen kompilierten Modelle vorab in eine GPU-spezifische TensorRT-Engine; die aktuelle NVIDIA-Dokumentation beschreibt einen PyTorch-basierten Workflow, in dem dieses Engine-Backend entfernt wurde. Prüfen Sie daher die Version, die Sie einsetzen. vLLM lädt Hugging-Transformers-kompatible Modelle direkt und dokumentiert Backend-Unterstützung über NVIDIA-GPUs hinaus.
