Skip to main content
PromptQuorum
Startseite/Lokale LLMs Pro/KServe im Test: Kubernetes-natives Model Serving im großen Maßstab
Overview & Reference

KServe im Test: Kubernetes-natives Model Serving im großen Maßstab

·11 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum, Multi-Model-AI-Dispatch-Tool · PromptQuorum
Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

KServe ist eine kostenlose, quelloffene, Kubernetes-native Model-Serving-Plattform zur Bereitstellung generativer und prädiktiver KI-Modelle im großen Maßstab – es setzt einen bestehenden Kubernetes-Cluster voraus und richtet sich an Platform-/ML-Engineers, die produktive Inferenz-Infrastruktur betreiben, nicht an ein lokales Ein-Rechner-KI-Setup. Ursprünglich als KFServing im Rahmen des Kubeflow-Projekts (erstellt 2019), ist es heute ein eigenständiges, bei der CNCF inkubierendes Projekt unter Apache-2.0-Lizenz, das Multi-Framework-Serving für prädiktive Modelle (TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX) sowie LLM-orientiertes generatives Serving über vLLM unterstützt, mit Autoscaling, Canary-Rollouts und einem OpenAI-kompatiblen Inferenzprotokoll.

KServe (kserve.github.io/website, Quellcode auf github.com/kserve/kserve) ist eine kostenlose, quelloffene, Kubernetes-native Plattform zur Bereitstellung sowohl generativer als auch prädiktiver KI-Modelle im großen Maßstab auf dem eigenen Cluster. Ursprünglich 2019 als KFServing im Rahmen des Kubeflow-Projekts gestartet, ist es heute ein eigenständiges, bei der Cloud Native Computing Foundation (CNCF) inkubierendes Projekt. Dieser Test zeigt, was das Tool tatsächlich leistet, wie es installiert wird und für wen es geeignet ist – es handelt sich um ein produktionstaugliches Werkzeug für Cluster-Betreiber, nicht um eine Hobby-App für einen einzelnen Rechner, und dieser Test formuliert entsprechend vorsichtig.

Wichtigste Erkenntnisse

  • KServe (kserve.github.io/website) ist eine kostenlose, quelloffene, Kubernetes-native Model-Serving-Plattform – keine lokale KI-App für einen einzelnen Rechner
  • Ursprünglich als KFServing innerhalb des Kubeflow-Projekts gestartet; das GitHub-Repository wurde im März 2019 erstellt
  • Apache-2.0-lizenziert, bestätigt über die Lizenzmetadaten des GitHub-Repositorys
  • Ein bei der Cloud Native Computing Foundation (CNCF) inkubierendes Projekt, laut eigenem README und Website
  • Vereint generatives KI-Serving (vLLM-gestützte LLM-Inferenz mit OpenAI-kompatiblem Protokoll) und prädiktives KI-Serving (TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX) auf einer Plattform
  • Erfordert einen bestehenden Kubernetes-Cluster (Version 1.32 oder höher, laut eigenem Schnellstart-Leitfaden) – es ist keine eigenständige Anwendung
  • Über 5.900 GitHub-Stars, 1.600+ Forks und Hunderte Mitwirkende zum Zeitpunkt dieses Tests

📍 In einem Satz

KServe ist eine kostenlose, quelloffene (Apache 2.0), Kubernetes-native, bei der CNCF inkubierende Plattform, ursprünglich 2019 als KFServing unter Kubeflow gestartet, die sowohl generative (LLM/vLLM-gestützte) als auch prädiktive (Multi-Framework) KI-Modelle im großen Maßstab auf dem eigenen Cluster bereitstellt.

💬 In einfachen Worten

KServe ist nichts, was Sie auf einem Laptop installieren, um mit einem lokalen Modell zu chatten – es ist Infrastruktursoftware, die auf einem Kubernetes-Cluster läuft (eigene Server oder ein verwaltetes Kubernetes eines Cloud-Anbieters), um KI-Modelle produktiv, im großen Maßstab, an andere Anwendungen auszuliefern, mit Funktionen wie Autoscaling und schrittweisen Rollouts. Es ist kostenlos und quelloffen, setzt aber voraus, dass Sie bereits Kubernetes betreiben.

📌Hinweis: Dieser Test basiert auf dem eigenen GitHub-Repository, README und der öffentlichen Dokumentationsseite von KServe. Er behauptet nicht, dass PromptQuorum praktische Cluster-Deployments von KServe durchgeführt hat, und überhöht dies bewusst nicht als anfängerfreundliches Tool – es richtet sich an Platform-/ML-Engineers, die produktive Kubernetes-Infrastruktur betreiben.

Was ist KServe?

KServe ist eine standardisierte, verteilte Model-Serving-Plattform zur Bereitstellung generativer und prädiktiver KI-Modelle im großen Maßstab auf Kubernetes. Das eigene README beschreibt es als Vereinigung von „generativer und prädiktiver KI-Inferenz auf Kubernetes", einfach genug für schnelle Deployments, aber gebaut für Workloads im Unternehmensmaßstab.

  • Produkttyp: Kubernetes-native Infrastruktursoftware (Custom Resource Definitions, Controller und Laufzeitkomponenten) – keine Desktop-App, kein eigenständig ausführbares CLI-Tool und kein lokaler Inferenzserver für einen einzelnen Rechner
  • Kernabstraktion: die Custom Resource InferenceService (CRD), die einen bereitgestellten Modell-Endpunkt repräsentiert; eine InferenceGraph-Ressource verkettet mehrere Komponenten (Predictor, Transformer, Explainer) miteinander
  • Governance: ein bei der Cloud Native Computing Foundation (CNCF) inkubierendes Projekt, laut eigenem README und Website
  • Lizenz: Apache 2.0, bestätigt über die Lizenzmetadaten des GitHub-Repositorys
  • Repository: github.com/kserve/kserve, erstellt im März 2019 – eines der etablierteren Projekte dieser Kategorie, kein neuer Marktteilnehmer
  • Umfang: über 5.900 GitHub-Stars, 1.600+ Forks und mehrere Hundert Mitwirkende zum Zeitpunkt dieses Tests

Von KFServing zu KServe: Projektgeschichte

Das GitHub-Repository von KServe wurde im März 2019 unter dem Namen KFServing erstellt, als Serving-Komponente des Kubeflow-Projekts. Es wurde später in KServe umbenannt und als eigenständiges Projekt ausgegliedert und ist seither der CNCF als inkubierendes Projekt beigetreten. Aktuelle Releases zeigen eine Verschiebung hin zur Vereinigung LLM-fokussierten generativen KI-Servings mit den ursprünglichen prädiktiven ML-Serving-Fähigkeiten.

  1. 1
    v0.18.0 — 29. April 2026: Verfeinerungen beim prädiktiven Serving
    Why it matters: Teil der 0.18.x-Reihe, die sich laut Release Notes auf Stabilität und Konfigurationskorrekturen vor dem generativen KI-Funktionsschub von 0.19 konzentrierte.
  2. 2
    v0.18.1 — 15. Juli 2026: Korrekturen am Helm-Chart
    Why it matters: Ein Patch-Release, das laut offiziellem Changelog Helm-Chart-Probleme aus der 0.18.0-Reihe behebt.
  3. 3
    v0.19.0 — 14. Juni 2026: LocalModelCache und verteiltes Tracing
    Why it matters: Führte LocalModelCache-Unterstützung für LLMInferenceService, eine API für verteiltes Tracing und Dual-Protokoll-Routing (REST/gRPC) ein, plus Verbesserungen am HPA-/KEDA-Autoscaling-Status.
  4. 4
    v0.20.0 — 6. August 2026: vLLM-Runtime und vertrauliches Serving
    Why it matters: Fügte vLLM-Runtime-Unterstützung, AutoGluon-Server-Integration, vertrauliche Model-Serving-Fähigkeit und Verbesserungen am KV-Cache-Offloading hinzu – das laut Release Notes bislang am stärksten auf generatives/LLM-Serving fokussierte Release, mit über 35 Mitwirkenden.
  5. 5
    v0.21.0-rc0 — 10. September 2026: Verfeinerungen des LLM-Inferenzdienstes
    Why it matters: Ein Release Candidate mit weiteren LLMInferenceService-Verbesserungen, Canary-Deployment-Lebenszyklustests und direkter KEDA-Skalierungsunterstützung – das aktuellste getaggte Release, das dieser Test zum Zeitpunkt der Veröffentlichung bestätigen konnte.

Was können Sie mit KServe tun?

Der Funktionsumfang von KServe teilt sich in generatives KI-Serving (LLM-fokussiert) und prädiktives KI-Serving (klassisches ML), vereint auf einer Plattform. Hier ist, was jeder Teil laut KServes eigenem README und Dokumentation leistet.

  • Generatives KI-Serving — vLLM- und llm-d-gestützte LLM-Inferenz, ein OpenAI-kompatibles Inferenzprotokoll, GPU-beschleunigtes Serving mit optimiertem Speichermanagement, intelligentem Modell-Caching und KV-Cache-Offloading auf CPU/Festplatte für längere Sequenzen
  • Prädiktives KI-Serving — Multi-Framework-Modellbereitstellung für TensorFlow-, PyTorch-, scikit-learn-, XGBoost- und ONNX-Modelle, mit intelligentem Request-Routing zwischen Predictor-, Transformer- und Explainer-Komponenten
  • Fortgeschrittene Deployment-Muster — Canary-Rollouts, Inferenz-Pipelines und Ensembles über die Custom Resource InferenceGraph
  • Autoscaling — anfragebasiertes Autoscaling für generative und prädiktive Workloads, einschließlich Scale-to-Zero im Knative-/Serverless-Modus (nicht verfügbar im leichtgewichtigen RawDeployment-Modus)
  • Modellerklärbarkeit und Monitoring — integrierte Unterstützung für Feature-Attribution/Modellerklärungen, plus Payload-Logging, Ausreißererkennung, Erkennung adversarialer Eingaben und Drift-Erkennung für prädiktive Workloads
  • Deployment-Modi — Standard-Kubernetes (RawDeployment, leichtgewichtig, kein Canary/Scale-to-Zero), Knative/Serverless (fügt Canary und Scale-to-Zero hinzu) und ModelMesh (für hochskaliertes, dichtes, häufig wechselndes Model-Serving)
  • Kubeflow-Integration — KServe ist eine Addon-Komponente von Kubeflow und kann zusätzlich zur eigenständigen Installation als Teil eines Kubeflow-Deployments auf AWS oder OpenShift installiert werden

Anwendungsbeispiele: Drei Wege, KServe zu nutzen

Dies sind konkrete Workflows, die auf den oben dokumentierten Funktionen von KServe basieren – keine hypothetischen Anwendungsfälle. Alle erfordern einen bestehenden Kubernetes-Cluster.

KServe Preise: Wirklich kostenlos?

Ja – KServe selbst hat keinen Bezahltarif. Es ist Apache-2.0-lizenziert, kostenlos und quelloffen, ohne herstellergehostete SaaS-Version oder Abonnement, das an das Projekt selbst gebunden ist.

  • Kein Abonnement, kein Bezahltarif, keine von KServe selbst auferlegten Nutzungsgrenzen
  • Sie betreiben es auf Kubernetes-Infrastruktur, die Sie bereits verwalten oder separat bezahlen – Ihre tatsächlichen Kosten sind also die zugrunde liegende Rechenleistung (Knoten, GPUs, Speicher) plus etwaige Gebühren Ihres Cloud-Anbieters für verwaltetes Kubernetes, nicht KServe selbst
  • Apache-2.0-Lizenz: freizügig, erlaubt kommerzielle Nutzung, Veränderung und Weitergabe, ohne Copyleft-Verpflichtungen
  • Als bei der CNCF inkubierendes Projekt wird KServe von einer Community-/Stiftungsstruktur statt von einem einzelnen kommerziellen Anbieter geführt, auch wenn einige Organisationen kommerziellen Support dafür anbieten

KServe vs. NVIDIA Dynamo

KServe und NVIDIA Dynamo zielen beide auf großskaliges, produktives KI-Inferenz-Serving ab, kommen aber von unterschiedlichen Ausgangspunkten. KServe ist eine allgemeine, Kubernetes-native Plattform, die generatives und prädiktives Serving über viele Frameworks hinweg vereint und von der CNCF geführt wird. Dynamo ist NVIDIAs eigenes verteiltes Inferenz-Serving-Framework, enger auf NVIDIA-GPU-Hardware und Techniken für disaggregiertes Serving optimiert.

Governance

KServe:
Bei der CNCF inkubierendes Projekt, herstellerneutral
NVIDIA Dynamo:
NVIDIA-geführtes Projekt — Details im eigenen Test

Umfang

KServe:
Generatives + prädiktives KI-Serving, Multi-Framework
NVIDIA Dynamo:
Primär generatives/LLM-Inferenz-Serving

Plattform

KServe:
Kubernetes-nativ (jeder konforme Cluster/GPU-Anbieter)
NVIDIA Dynamo:
Speziell für NVIDIA-GPU-Infrastruktur optimiert

Hardwarebindung

KServe:
Keine, die KServe selbst auferlegt
NVIDIA Dynamo:
An NVIDIA-GPUs gebunden — Details im eigenen Test

Lizenz

KServe:
Apache 2.0
NVIDIA Dynamo:
Aktuelle Lizenzdetails im eigenen Dynamo-Test

Wenn Ihre Infrastruktur Multi-Vendor ist oder Sie eine CNCF-geführte, framework-agnostische Serving-Ebene wollen, ist KServe die breitere Wahl. Wenn Sie bereits auf NVIDIA-GPU-Infrastruktur standardisiert sind und speziell darauf abgestimmtes Serving wollen, prüfen Sie direkt NVIDIA Dynamo – Details finden Sie im eigenen Test, statt von vollständiger Funktionsüberschneidung auszugehen.

Für wen eignet sich KServe?

Ob KServe passt, hängt stark davon ab, ob Sie bereits Kubernetes-Infrastruktur betreiben und produktionstaugliches Model-Serving im großen Maßstab benötigen, oder ob Sie eine einfache lokale Chat-App oder einen Single-Model-API-Server wollen.

Wettbewerber und Alternativen

KServe ist in der Kategorie großskaliges, produktives Model-Serving angesiedelt, neben anderen auf Rechenzentrum/Enterprise ausgerichteten Inferenzplattformen. Es hebt sich dadurch ab, dass es Kubernetes-nativ und CNCF-geführt ist und ausdrücklich generatives und prädiktives KI-Serving auf einer Plattform vereint, statt sich auf nur eines zu konzentrieren.

NVIDIA Dynamo

Am bekanntesten für:
NVIDIA-optimiertes, verteiltes LLM-Inferenz-Serving-Framework
Link:
Dynamo-Test
Artikel über NVIDIA Dynamo (2)

Auch erwähnt in:

LMDeploy

Am bekanntesten für:
Toolkit zum Komprimieren, Bereitstellen und Servieren von LLMs (vom InternLM-/MMDeploy-Team)
Link:
LMDeploy-Test
Artikel über LMDeploy (1)

Auch erwähnt in:

vLLM

Am bekanntesten für:
Durchsatzstarke LLM-Inferenz- und Serving-Engine, die KServe selbst als Backend nutzen kann
Link:
vllm.ai
Artikel über vLLM (10)

+81 weitere nicht angezeigt

Seldon Core

Am bekanntesten für:
Eine weitere Kubernetes-native ML-Model-Serving-Plattform, näher am prädiktiven Serving-Umfang von KServe
Link:
seldon.io

Diese Liste spiegelt Tools wider, die im Bereich produktives/Enterprise-Model-Serving häufig zusammen mit KServe genannt werden, kein eigenständiges Ranking von PromptQuorum – prüfen Sie Umfang, Lizenzierung und Hardwareanforderungen jedes Tools vor der Wahl. Das vollständige Verzeichnis, das auch lokale Ein-Rechner-Tools außerhalb dieses Vergleichs abdeckt, finden Sie im Local LLM Software Directory.

Häufige Fehler bei der Bewertung von KServe

Die meiste Verwirrung um KServe entsteht durch seine Umbenennungshistorie, seine Kubernetes-Abhängigkeit oder die Annahme, es sei ein anfängerfreundliches lokales KI-Tool.

Häufig gestellte Fragen

Was ist KServe?

KServe (kserve.github.io/website, Quellcode auf github.com/kserve/kserve) ist eine kostenlose, quelloffene, Kubernetes-native Plattform zur Bereitstellung generativer und prädiktiver KI-Modelle im großen Maßstab auf dem eigenen Cluster.

Ist KServe kostenlos?

Ja. Es ist Apache-2.0-lizenziert, ohne Bezahltarif oder herstellergehostete SaaS-Version, die an das Projekt selbst gebunden ist. Ihre tatsächlichen Kosten sind die Kubernetes-Infrastruktur (Rechenleistung, GPUs, Speicher), auf der Sie es betreiben.

Benötige ich Kubernetes, um KServe zu nutzen?

Ja. KServe hat keinen eigenständigen Deployment-Weg ohne Kubernetes – es erfordert laut eigenem Schnellstart-Leitfaden Kubernetes Version 1.32 oder höher, sowie kubectl, Helm und git zur Installation.

Hieß KServe früher KFServing?

Ja. Es wurde ursprünglich als KFServing innerhalb des Kubeflow-Projekts gestartet (Repository erstellt im März 2019) und später in KServe umbenannt und als eigenständiges, bei der CNCF inkubierendes Projekt ausgegliedert.

Welche ML-Frameworks unterstützt KServe?

Für prädiktive KI: TensorFlow, PyTorch, scikit-learn, XGBoost und ONNX. Für generative KI: LLM-Inferenz über vLLM und llm-d, mit OpenAI-kompatiblem Protokoll und nativer Unterstützung für Hugging-Face-Modelle.

Unterstützt KServe Canary-Rollouts und Autoscaling?

Ja, im Knative-/Serverless-Deployment-Modus – dieser fügt Canary-Rollouts und anfragebasiertes Autoscaling mit Scale-to-Zero hinzu. Der leichtere Standard-Kubernetes-Modus (RawDeployment) unterstützt diese Funktionen nicht.

Eignet sich KServe für Anfänger, die lokale KI auf einem Rechner betreiben?

Nein. KServe ist produktive Kubernetes-Infrastruktursoftware für Platform-/ML-Engineers, die Cluster im großen Maßstab betreiben – keine lokale Chat-App für einen einzelnen Rechner. Für diesen Anwendungsfall siehe stattdessen Tools wie Ollama oder LM Studio.

Ist KServe ein CNCF-Projekt?

Ja, KServe ist ein bei der Cloud Native Computing Foundation (CNCF) inkubierendes Projekt, laut eigenem README und Dokumentationsseite.

Wie installiere ich KServe zum Experimentieren?

Führen Sie laut KServes eigenem Schnellstart-Leitfaden eines der Schnellinstallations-Skripte (Standard-Modus, Knative-Modus oder nur LLMInferenceService) gegen einen lokalen Kind- oder Minikube-Cluster aus, der die Anforderung Kubernetes 1.32+ erfüllt. Diese sind ausdrücklich für Experimente gedacht, nicht für die Produktion.

Hat PromptQuorum die Angaben zu KServe unabhängig getestet?

Dieser Test basiert auf dem eigenen GitHub-Repository, README, den Release Notes und der öffentlichen Dokumentationsseite von KServe, nicht auf praktischen Cluster-Deployment-Tests durch PromptQuorum.

Quellen

← Zurück zu Lokale LLMs Pro