Was ist OpenLLM?
OpenLLM ist ein Python-basierter Inferenzserver, der ein quelloffenes LLM mit einem einzigen Befehl in einen OpenAI-kompatiblen API-Endpunkt verwandelt, entwickelt und gepflegt von BentoML. Die eigene GitHub-Beschreibung formuliert es unverblümt: "Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud." Trotz der Formulierung "in the cloud" in diesem Slogan läuft der Server selbst überall dort, wo Python läuft — auf einem Laptop, einer eigenen GPU-Maschine oder einer von Ihnen kontrollierten Cloud-VM; Self-Hosting ist der Standardfall, kein nachträglicher Zusatz.
- Produktart: ein CLI-Tool und eine Python-Bibliothek, keine herunterladbare Endnutzer-App — Installation per
pip install openllm - Entwickler: BentoML, das Unternehmen hinter dem BentoML-Model-Serving-Framework und dem verwalteten Hosting-Produkt BentoCloud
- Repository: github.com/bentoml/OpenLLM, erstellt am 19. April 2023
- Lizenz: Apache-2.0, bestätigt über die Lizenz-Metadaten des Repositorys
- Größenordnung: rund 12.535 GitHub-Sterne und 842 Forks Stand September 2026
- Begleitprojekt: bentoml/openllm-models, ein separates Repository mit den Modell-Repository-Definitionen, auf die OpenLLMs CLI zugreift
OpenLLMs Projektgeschichte und Versions-Meilensteine
OpenLLMs GitHub-Repository wurde am 19. April 2023 erstellt, und das Projekt durchlief Mitte 2024 eine selbst als Breaking Change bezeichnete Neuausrichtung, die es von einem stark anpassbaren Serving-Toolkit hin zu einer einfacheren, cloud-deployment-fokussierten CLI umgestaltete — die Form des Tools, wie es heute existiert.
- 1v0.1.0 — 12. Juni 2023: Erstes getaggtes Release
Why it matters: Die CLI drehte sich in dieser Phase um `openllm start <model-name>`, eine ältere Befehlssyntax, die das Projekt inzwischen durch `openllm serve` und `openllm run` ersetzt hat. - 2v0.5.0 — 27. Mai 2024: Architektur vor der Neuausrichtung
Why it matters: Laut eigener Release-Historie das letzte Minor-Release vor OpenLLMs größter struktureller Änderung. - 3v0.6.0 — 11. Juli 2024: Erklärte Breaking-Change-Neuausrichtung
Why it matters: OpenLLMs eigene Release Notes beschreiben diese Version als "a significant shift in our project's philosophy" — eine Abkehr von umfangreicher Deployment-Anpassung, die laut den Maintainern zu Scope Creep geführt hatte, hin zu einem einfacheren, auf Cloud-Deployment fokussierten Tool. Die heutige CLI (`openllm serve`, `openllm deploy`) baut auf dieser Architektur auf. - 4Begleit-Repository openllm-models erstellt — 18. Mai 2024
Why it matters: BentoML lagerte die Modell-Definitionen in ein separates Repository aus ([bentoml/openllm-models](https://github.com/bentoml/openllm-models)), auf das OpenLLMs CLI zur Auflösung von Modellnamen wie `llama3.2:1b` zugreift und das benutzerdefinierte, selbst gehostete Repositories unterstützt. - 5v0.6.30 — 21. April 2025: Aktuellstes getaggtes Release
Why it matters: Die Version, die Stand dieser Review auf [PyPI](https://pypi.org/project/openllm/) als aktuellste geführt wird.
Was können Sie mit OpenLLM tun?
OpenLLMs Funktionsumfang dreht sich darum, ein gewähltes quelloffenes Modell in einen laufenden, OpenAI-kompatiblen API-Server zu verwandeln, ergänzt um eine Verwaltungsebene für Modelle, Repositories und Cloud-Deployment. Hier ist, was jeder Teil tatsächlich tut, laut OpenLLMs eigener GitHub-README.
- OpenAI-kompatible API — jedes von OpenLLM bereitgestellte Modell ist über dasselbe Anfrage-/Antwortformat wie die OpenAI-API erreichbar, sodass bestehender OpenAI-Client-Code stattdessen auf OpenLLM zeigen kann
- Eingebaute Chat-Oberfläche — eine webbasierte Chat-Oberfläche steht unter dem
/chat-Endpunkt des lokalen Servers (Standardhttp://localhost:3000) bereit, um ein Modell ohne Client-Code zu testen - Breite Modellunterstützung — laut eigener README 15+ quelloffene Modellfamilien, darunter Llama (3.1, 3.2, 3.3, 4), Mistral (8B und Large 123B), Qwen (2.5 und 2.5-Coder), Gemma (2 und 3), Phi (4), DeepSeek (R1), Pixtral, Jamba und QwQ
- vLLM-Inferenz-Backend — OpenLLM integriert vLLM laut eigener Dokumentation als verfügbares Inferenz-Backend, statt ausschließlich eine eigene Inferenz-Implementierung von Grund auf mitzuliefern
- Modell-Repository-System — die CLI löst Modellnamen standardmäßig gegen bentoml/openllm-models auf, mit Unterstützung für benutzerdefinierte, selbst gehostete Modell-Repositories über
openllm repo update - CLI-Modellverwaltung —
openllm model listundopenllm model get <name>zeigen verfügbare Modelle und ihre Details, ohne das Terminal zu verlassen - Docker- und Kubernetes-Deployment — OpenLLMs eigene Dokumentation deckt containerisierte und Kubernetes-Deployment-Wege für Self-Hosting ab, zusätzlich zur BentoCloud-Option
- Optionales BentoCloud-Deployment —
openllm deploy <model> --env HF_TOKENüberträgt ein Modell auf BentoCloud, BentoMLs separat kostenpflichtiges, verwaltetes Hosting-Produkt, für automatisch skalierendes Produktions-Hosting
Anwendungsbeispiele: Drei Wege, OpenLLM zu nutzen
Dies sind konkrete Workflows auf Basis der oben dokumentierten CLI-Befehle von OpenLLM — keine hypothetischen Anwendungsfälle.
Ein Modell lokal als OpenAI-kompatible API bereitstellen
Installieren Sie OpenLLM mit pip install openllm und führen Sie dann openllm serve llama3.2:1b aus, um dieses Modell (bei Bedarf herunterzuladen und) hinter einem lokalen, OpenAI-kompatiblen Server zu starten, standardmäßig unter http://localhost:3000. Richten Sie eine beliebige OpenAI-Client-Bibliothek mit einer beliebigen Platzhalter-Zeichenkette als API-Schlüssel auf diese Adresse — Anfragen an /v1/chat/completions werden vom gestarteten Modell beantwortet.
Direkt im Terminal mit einem Modell chatten
Führen Sie openllm run llama3:8b aus, um eine interaktive Terminal-Chat-Sitzung mit einem Modell zu starten — ohne Client-Code zu schreiben oder einen Browser zu öffnen. Nützlich, um das Verhalten eines Modells schnell zu testen, bevor Sie es in eine Anwendung einbinden.
Ein Modell für automatisch skalierendes Hosting auf BentoCloud bereitstellen
Sobald Sie ein BentoCloud-Konto und für zugangsbeschränkte Modelle einen Hugging-Face-Token haben, überträgt openllm deploy llama3.2:1b --env HF_TOKEN das Modell auf BentoMLs verwaltetes Cloud-Produkt, statt den Server selbst zu betreiben — nützlich, sobald lokale Hardware den Produktionstraffic nicht mehr bewältigt, auf Kosten des Wechsels vom kostenlosen Self-Hosting zu BentoClouds kostenpflichtiger Nutzung.
OpenLLM installieren
OpenLLM lässt sich kostenlos per pip installieren, der Quellcode liegt auf GitHub. Als CLI-Tool und Python-Bibliothek — keine herunterladbare Endnutzer-App — gibt es keinen betriebssystemspezifischen Installer; die Tabelle unten enthält den Installationsbefehl und Referenzlinks, das Muster, das diese Seite für Framework-/CLI-Themen verwendet.
Installationsbefehl (pip)
- Link:
pip install openllm
Schnellstart-Befehl
- Link:
openllm hello
GitHub-Repository (Quellcode, Apache-2.0)
PyPI-Paket
Modell-Repository (bentoml/openllm-models)
Offizielle Dokumentation und BentoCloud
- Link:
- bentoml.com
OpenLLM benötigt ein Terminal und eine Python-Umgebung (via pip) — es gibt keinen grafischen Installer. Zugangsbeschränkte Modelle auf Hugging Face benötigen zum Herunterladen eine Umgebungsvariable HF_TOKEN.
Ist OpenLLM kostenlos? OpenLLM vs. BentoCloud-Preise
Ja — die OpenLLM-Software selbst ist kostenlos. Sie ist Apache-2.0-lizenziert, hat keine eigene kostenpflichtige Stufe und keine Nutzungsgrenzen; das GitHub-Repository ist öffentlich und per pip ohne Konto installierbar.
- Kein Abonnement, keine kostenpflichtige Stufe, keine Nutzungsgrenzen durch das OpenLLM-Open-Source-Projekt selbst
- Kein Konto oder Registrierung erforderlich, um OpenLLM lokal zu installieren oder auszuführen
- Der Betrieb von OpenLLM auf eigener Hardware (Laptop, eigener GPU-Server oder selbst verwaltete Cloud-VM) kostet nur das, was diese Hardware oder Cloud-Rechenleistung selbst kostet
- BentoCloud, BentoMLs separates verwaltetes Hosting-Produkt, ist kostenpflichtig — die Marketing-Website veröffentlicht keine Selbstbedienungs-Preisangaben und verweist Interessenten stattdessen auf eine Demo-Buchung; klären Sie konkrete BentoCloud-Kosten daher direkt mit BentoML statt sich auf eine Drittquelle zu verlassen
- Die Wahl von BentoCloud ist optional: Nur
openllm deployberührt es, jeder andere OpenLLM-Befehl (serve,run,model list) funktioniert vollständig auf von Ihnen kontrollierter Infrastruktur
OpenLLM vs. vLLM
OpenLLM und vLLM werden oft gemeinsam genannt, sitzen aber auf unterschiedlichen Ebenen desselben Stacks — OpenLLM kann vLLM als Inferenz-Backend nutzen, statt dass beide reine Alternativen wären. vLLM ist eine Hochdurchsatz-Inferenz-Engine/-Bibliothek mit Fokus auf Serving-Geschwindigkeit und Speichereffizienz; OpenLLM ist ein höherstufiges Serving-Framework, das ein Inferenz-Backend (darunter vLLM) mit Modellverwaltung, einer OpenAI-kompatiblen API, einer eingebauten Chat-Oberfläche und einem optionalen Weg zu verwaltetem Cloud-Deployment umhüllt.
Primäre Rolle
- OpenLLM:
- Höherstufiges Serving-Framework: Modellverwaltung + OpenAI-API + optionales Cloud-Deployment
- vLLM:
- Hochdurchsatz-Inferenz-Engine/-Bibliothek, eigenständig oder in andere Server eingebettet
Inferenz-Backend
- OpenLLM:
- Integriert vLLM laut eigener Dokumentation als eines von mehreren Backends
- vLLM:
- Ist selbst die Inferenz-Engine, aufgebaut auf PagedAttention-Speicherverwaltung
CLI-Modellverwaltung
- OpenLLM:
openllm model list,openllm repo update, benannte Modell-Kurzformen- vLLM:
- Primär ein Serving-Befehl (
vllm serve <model>), weniger eingebautes Katalog-Tooling
Eingebaute Chat-Oberfläche
- OpenLLM:
- Ja, unter dem
/chat-Endpunkt - vLLM:
- Keine eingebaute Chat-Oberfläche; meist mit separatem Frontend kombiniert
Verwalteter Cloud-Weg
- OpenLLM:
- Optionales
openllm deployzu BentoCloud (BentoML, kostenpflichtig) - vLLM:
- Kein eigenes, herstellereigenes verwaltetes Cloud-Produkt
Maintainer
- OpenLLM:
- BentoML
- vLLM:
- Das quelloffene vLLM-Projekt — Details im vLLM-Explainer
Wenn Ihre Priorität der höchstmögliche rohe Inferenzdurchsatz als Baustein im eigenen Stack ist, prüfen Sie vLLM direkt. Wenn Ihre Priorität ein höherstufiger, OpenAI-kompatibler Server mit Modellverwaltung und optionalem verwaltetem Cloud-Deployment-Weg ist, ist OpenLLMs Funktionsumfang der breitere der beiden — und beide schließen sich nicht gegenseitig aus, da OpenLLM auf vLLM als Backend aufsetzen kann.
Für wen eignet sich OpenLLM?
Ob OpenLLM passt, hängt davon ab, ob Sie eine kostenlose, selbst hostbare, OpenAI-kompatible Serving-Schicht mit optionalem verwaltetem Cloud-Ausweg wollen, statt einer reinen Inferenz-Bibliothek oder einer herunterladbaren Chat-App.
Nutzen Sie OpenLLM, wenn Sie
- einen kostenlosen, quelloffenen (Apache-2.0), selbst hostbaren Inferenzserver für quelloffene Modelle hinter einer OpenAI-kompatiblen API wollen
- mit einem einzigen CLI-Befehl vom Modellnamen zum laufenden API-Server gelangen wollen, statt einen eigenen Serving-Stack zusammenzubauen
- später ohne Wechsel des Serving-Frameworks zu BentoMLs verwalteter Cloud skalieren möchten
- sich im Terminal und in einer Python-Umgebung wohlfühlen, statt eine grafische Desktop-App zu suchen
- eine eingebaute Chat-Oberfläche wollen, um ein Modell schnell zu testen, ohne zuerst Client-Code zu schreiben
Sehen Sie sich woanders um, wenn Sie
- eine herunterladbare, grafische Point-and-Click-Chat-Anwendung wollen — OpenLLM ist eine CLI/Bibliothek, keine Endnutzer-App; siehe die Chat-Client-Reviews im Abschnitt Wettbewerber unten
- den höchstmöglichen rohen Inferenzdurchsatz als Baustein im eigenen Stack benötigen — prüfen Sie direkt vLLM statt über OpenLLMs Wrapper
- offiziellen Enterprise-Support und ein SLA direkt im kostenlosen, quelloffenen Tool statt über eine separate kostenpflichtige BentoCloud-Beziehung benötigen
- sich an der in dieser Review festgestellten Lücke zwischen OpenLLMs jüngstem getaggtem Release (April 2025) und der späteren GitHub-Commit-Aktivität stören — prüfen Sie den aktuellen Release-Status vor einer Zusage für einen Produktionszeitplan
- eingebaute, mandantenfähige Teamverwaltung oder SSO im quelloffenen Projekt selbst benötigen, statt über BentoClouds verwaltetes Angebot
Wettbewerber und Alternativen
OpenLLM ist eines von mehreren Tools, die die Inferenz quelloffener Modelle hinter einer OpenAI-kompatiblen API kapseln. So ordnet es sich neben anderen Optionen im Inferenzserver-Segment ein — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog und den dedizierten OpenLLM-vs.-vLLM-Vergleich oben für den direktesten Vergleich.
- vLLM — die Hochdurchsatz-Inferenz-Engine, die OpenLLM als Backend nutzen kann; direkt evaluieren, wenn roher Serving-Durchsatz Ihr Hauptanliegen ist. Siehe den dedizierten Vergleichsabschnitt oben.
- SGLang — eine weitere Hochleistungs-Inferenz-Engine und Serving-Framework, oft mit vLLM bei Durchsatz und Funktionen für strukturierte Generierung verglichen.
- LocalAI — ein kostenloser, quelloffener, OpenAI-kompatibler lokaler Inferenzserver mit breiterem Fokus auf mehrere Modelltypen (Text, Bild, Audio) hinter einer API.
- LiteLLM — ein Proxy/SDK, das über viele verschiedene LLM-Anbieter und selbst gehostete Backends, einschließlich OpenLLM selbst, eine einheitliche OpenAI-kompatible Schnittstelle bereitstellt.
Häufige Fehler bei der Bewertung von OpenLLM
Die meiste Verwirrung um OpenLLM entsteht durch sein Verhältnis zu BentoCloud, sein Verhältnis zu vLLM oder die Annahme, das jüngste getaggte Release spiegele den neuesten Code wider.
Fehler 1: Annehmen, OpenLLM erfordere BentoCloud
OpenLLMs Kernbefehle (openllm serve, openllm run, openllm model list) laufen vollständig auf von Ihnen kontrollierter Infrastruktur. BentoCloud kommt nur ins Spiel, wenn Sie gezielt openllm deploy ausführen — ein optionales, separat kostenpflichtiges Deployment-Ziel, keine Voraussetzung für die Nutzung des quelloffenen Servers.
Fehler 2: OpenLLM und vLLM als reine Alternativen behandeln
OpenLLM ist ein höherstufiges Serving-Framework, das laut eigener Dokumentation vLLM als Inferenz-Backend nutzen kann — beide operieren auf unterschiedlichen Ebenen desselben Stacks, statt austauschbare Alternativen zu sein. Siehe den dedizierten OpenLLM-vs.-vLLM-Vergleich oben.
Fehler 3: Annehmen, der jüngste PyPI-Tag spiegele den neuesten Code wider
Diese Review fand eine Lücke zwischen OpenLLMs jüngstem getaggtem Release (v0.6.30, 21. April 2025) und dem jüngsten GitHub-Push (14. September 2026, laut GitHub-API). Prüfen Sie den aktuellen Release-Status direkt auf GitHub oder PyPI, bevor Sie Feature-Parität mit den neuesten Commits annehmen.
Fehler 4: OpenLLM, BentoML und BentoCloud als ein Produkt verwechseln
OpenLLM ist das kostenlose, quelloffene Projekt; BentoML ist das Unternehmen, das es entwickelt und pflegt; BentoCloud ist BentoMLs separates, kostenpflichtiges verwaltetes Hosting-Produkt. Sie sind verwandt, aber unterschiedlich — die Nutzung von OpenLLM erfordert kein BentoCloud, und BentoCloud selbst ist nicht quelloffen.
Häufig gestellte Fragen
Was ist OpenLLM?
OpenLLM (github.com/bentoml/OpenLLM) ist ein kostenloser, quelloffener Inferenzserver von BentoML unter Apache-2.0-Lizenz, der ein quelloffenes LLM mit einem einzigen CLI-Befehl in einen OpenAI-kompatiblen API-Endpunkt verwandelt.
Ist OpenLLM kostenlos?
Ja. Die OpenLLM-Software ist kostenlos und quelloffen, ohne eigene kostenpflichtige Stufe. BentoCloud, BentoMLs separates verwaltetes Hosting-Produkt, ist kostenpflichtig, seine Nutzung jedoch optional — jeder Kernbefehl von OpenLLM läuft auf von Ihnen kontrollierter Infrastruktur.
Welche Lizenz verwendet OpenLLM?
Apache-2.0, bestätigt über die Lizenz-Metadaten des GitHub-Repositorys.
Erfordert OpenLLM BentoCloud?
Nein. openllm serve, openllm run und openllm model list laufen vollständig auf Ihrer eigenen Hardware. BentoCloud kommt nur ins Spiel, wenn Sie openllm deploy ausführen — ein optionaler, separat kostenpflichtiger Deployment-Weg.
Welche Modelle unterstützt OpenLLM?
Laut eigener README unterstützt OpenLLM 15+ quelloffene Modellfamilien, darunter Llama (3.1, 3.2, 3.3, 4), Mistral (8B und Large 123B), Qwen (2.5 und 2.5-Coder), Gemma (2 und 3), Phi (4), DeepSeek (R1), Pixtral, Jamba und QwQ, aufgelöst über das begleitende Repository openllm-models.
Wie installiere ich OpenLLM?
Führen Sie pip install openllm aus und probieren Sie dann openllm hello für einen schnellen interaktiven Start oder openllm serve <model-name>, um einen lokalen OpenAI-kompatiblen Server zu starten.
Nutzt OpenLLM vLLM?
Es kann. OpenLLM integriert laut eigener Dokumentation vLLM als verfügbares Inferenz-Backend, statt ausschließlich eine eigene Inferenz-Implementierung von Grund auf mitzuliefern.
Was ist der Unterschied zwischen OpenLLM und vLLM?
vLLM ist eine Hochdurchsatz-Inferenz-Engine/-Bibliothek; OpenLLM ist ein höherstufiges Serving-Framework, das ein Inferenz-Backend (darunter vLLM) mit Modellverwaltung, einer OpenAI-kompatiblen API, einer eingebauten Chat-Oberfläche und einem optionalen verwalteten Cloud-Deployment-Weg umhüllt. Siehe den dedizierten OpenLLM-vs.-vLLM-Vergleich oben.
Wer entwickelt OpenLLM?
BentoML, das Unternehmen, das auch das BentoML-Model-Serving-Framework und das verwaltete Hosting-Produkt BentoCloud entwickelt. Die GitHub-Organisation, die OpenLLMs Code hostet, ist bentoml.
Wird OpenLLM aktiv gepflegt?
Das Repository wurde am 19. April 2023 erstellt, und laut GitHub-API war der jüngste Push am 14. September 2026 — ein Hinweis auf laufende Entwicklung. Das jüngste getaggte Release ist v0.6.30 (21. April 2025) — eine Lücke, die diese Review anmerkt; prüfen Sie den aktuellen Release-Status direkt auf GitHub oder PyPI.