Wichtigste Erkenntnisse
- LoRAX (github.com/predibase/lorax) ist ein kostenloser, quelloffener, selbst gehosteter Multi-LoRA-Inferenzserver
- Entwickelt von Predibase, einem 2021 von Google- und Uber-Alumni gegründeten ML-Plattform-Unternehmen; Rubrik kündigte die Übernahme von Predibase am 25. Juni 2025 an
- Unter Apache 2.0 lizenziert, vom Projekt als kostenlos für die kommerzielle Nutzung beschrieben
- Fork von Hugging Faces text-generation-inference (ab v0.9.4), anschließend um dynamisches Laden mehrerer LoRA-Adapter erweitert
- Benötigt eine NVIDIA-GPU, Ampere-Generation oder neuer, CUDA 11.8+, unter Linux
- Unterstützt mit PEFT oder Ludwig trainierte Adapter; lädt sie von HuggingFace Hub, Predibase oder einem lokalen Dateisystempfad
- Über 3.800 GitHub-Stars und 324+ Forks zum Zeitpunkt dieser Review
📍 In einem Satz
LoRAX ist ein kostenloser, quelloffener (Apache 2.0), selbst gehosteter Inferenzserver, ein Fork von Hugging Faces text-generation-inference, entwickelt von Predibase (2025 von Rubrik übernommen), der Tausende fein abgestimmte LoRA-Adapter auf einem gemeinsam genutzten Basismodell auf einer einzigen GPU bereitstellt, mit über 3.800 GitHub-Stars.
💬 In einfachen Worten
Statt für jede fein abgestimmte Variante Ihres Basismodells eine eigene GPU-gehostete Instanz zu betreiben, lädt LoRAX eine gemeinsame Kopie des Basismodells und tauscht pro Anfrage dynamisch kleine LoRA-Adapter-Gewichte ein — sodass eine GPU viele unterschiedliche fein abgestimmte "Persönlichkeiten" desselben Modells gleichzeitig bedienen kann, zu einem Bruchteil der Kosten einer GPU pro Modell.
📌Hinweis: Diese Review basiert auf LoRAXs eigenem GitHub-Repository, README und Release Notes. Sie behauptet nicht, dass PromptQuorum den Durchsatz oder die Latenz unabhängig gegen andere Inferenzserver benchmarkt hat — prüfen Sie die eigene Dokumentation des Projekts für aktuelle Leistungswerte, bevor Sie eine Produktions-Dimensionierungsentscheidung treffen.
Was ist LoRAX?
LoRAX ("LoRA eXchange") ist ein selbst gehosteter Inferenzserver, der speziell dafür entwickelt wurde, viele fein abgestimmte LoRA-Adapter auf einem gemeinsam genutzten Basismodell bereitzustellen, statt pro Fine-Tune eine eigene Modellbereitstellung zu benötigen. Laut eigener Positionierung ist es "das quelloffene Framework, um Hunderte fein abgestimmter LLMs in Produktion zum Preis von einem bereitzustellen."
- Produkttyp: ein selbst gehosteter Inferenzserver (CLI + Bibliothek), keine gehostete API und keine Desktop-App
- Entwickler: Predibase, 2021 von Google- und Uber-Alumni als ML-Plattform-Unternehmen gegründet
- Unternehmensstatus: Rubrik, ein Datensicherheitsunternehmen, kündigte am 25. Juni 2025 die Vereinbarung zur Übernahme von Predibase an; Predibases kommerzielle Plattform ist mittlerweile unter Rubrik positioniert, während das quelloffene LoRAX-Projekt weiterhin unter der Predibase-Organisation auf GitHub veröffentlicht wird
- Grundlage: Fork von Hugging Faces text-generation-inference (ab v0.9.4), anschließend speziell für dynamisches Multi-Adapter-Serving erweitert
- Lizenz: Apache 2.0, bestätigt über das GitHub-Repository
- Umfang: über 3.800 GitHub-Stars und 324+ Forks zum Zeitpunkt dieser Review
Projektgeschichte und Versionsmeilensteine
LoRAX wird seit seinen ersten Releases Anfang 2024 kontinuierlich weiterentwickelt und hat mit jeder Version breitere Modellunterstützung, Quantisierungsoptionen und Serving-Funktionen ergänzt. Versionsnummern und Daten unten stammen aus den eigenen GitHub-Release-Notes des Projekts; prüfen Sie die Releases-Seite direkt für alles, was nach dem Veröffentlichungsdatum dieser Review erschienen ist.
- 1v0.6.0 — 10. Januar 2024: OpenAI-kompatible API
Why it matters: Ergänzte OpenAI-kompatible Completions- und Chat-Completions-Endpunkte, sodass bestehender OpenAI-Client-Code auf einen selbst gehosteten LoRAX-Server verweisen kann. - 2v0.7.0 — 1. Februar 2024: Multi-Adapter-Merging, EETQ/HQQ-Quantisierung
Why it matters: Ermöglichte das Zusammenführen mehrerer LoRA-Adapter pro Anfrage über lineare, TIES- und DARE-Methoden und ergänzte zwei weitere Quantisierungsformate. - 3v0.8.0–v0.8.1 — Februar 2024: Strukturierte Ausgabe und Gemma-Unterstützung
Why it matters: Ergänzte JSON-Schema-gesteuerte strukturierte Ausgabe über die Outlines-Bibliothek sowie Unterstützung für Googles Gemma-Modellfamilie. - 4v0.9.0 — 23. März 2024: Dedizierter Adapter-Speicher, Qwen2-Unterstützung
Why it matters: Reservierte laut Release Notes dedizierten GPU-Speicher für Adapter und ergänzte Unterstützung für Qwen2-Modelle. - 5v0.10.0 — 23. Mai 2024: Medusa Speculative Decoding
Why it matters: Ergänzte Medusa-Speculative-Decoding-Adapter sowie Unterstützung für Phi-3-, Command-R- und DBRX-Modelle, mit dem Ziel schnellerer Generierung. - 6v0.11.0 — 18. September 2024: Prefix-Caching, Vision-Language-Unterstützung
Why it matters: Ergänzte Prefix-Caching für wiederholte Prompts, Unterstützung für das Vision-Language-Modell Llava-Next sowie FP8-Quantisierung für Mistral- und Llama-Modelle. - 7v0.12.0 — 6. November 2024: Multi-LoRA-Prefix-Caching, Function Calling
Why it matters: Erweiterte Prefix-Caching auf gleichzeitig mehrere Adapter, ergänzte FP8-KV-Cache-Unterstützung und Function Calling mit Schema-Erzwingung laut Changelog — der jüngste Meilenstein, den diese Review anhand der öffentlichen Release Notes bestätigen konnte.
Was macht LoRAX tatsächlich?
LoRAX lädt ein gemeinsam genutztes Basismodell in den GPU-Speicher und lädt und tauscht dann pro eingehender Anfrage dynamisch kleine LoRA-Adapter-Gewichte ein, sodass viele fein abgestimmte Modellvarianten aus einer einzigen Bereitstellung bedient werden können.
- Dynamisches Adapter-Laden — LoRA-Adapter werden bedarfsgerecht pro Anfrage geladen, statt jeden Adapter vorab laden zu müssen, mit asynchronem Prefetching und Auslagern zwischen GPU- und CPU-Speicher, um zu steuern, welche Adapter "hot" bleiben
- Heterogenes kontinuierliches Batching — bündelt laut eigener Architekturbeschreibung Anfragen für unterschiedliche Adapter im selben Batch, statt einen eigenen Batch pro Adapter zu benötigen
- Unterstützung für Basismodelle — laut Release Notes kompatibel mit Llama, CodeLlama, Mistral, Zephyr, Qwen, Gemma, Phi-3, Command-R, DBRX sowie den Vision-Language-Modellen Mllama/Llava-Next
- Quantisierungsoptionen — fp16 oder quantisiert mit bitsandbytes, GPT-Q, AWQ, EETQ oder HQQ, dazu FP8-KV-Cache-Unterstützung in späteren Releases
- Adapter-Kompatibilität — funktioniert mit über PEFT oder Ludwig trainierten Adaptern, geladen von HuggingFace Hub, Predibase oder einem lokalen Dateisystempfad
- OpenAI-kompatible API — stellt Chat-Completions- und Completions-Endpunkte im OpenAI-Anfrage-/Antwortformat bereit, sodass bestehender OpenAI-Client-Code auf einen selbst gehosteten LoRAX-Server verweisen kann
- Serving-Infrastrukturfunktionen — laut Dokumentation Tensor-Parallelismus, Flash Attention, Paged Attention, Token-Streaming, Prometheus-Metriken und OpenTelemetry-Tracing
- Strukturierte Ausgabe — JSON-Schema-gesteuerte Generierung über die Outlines-Bibliothek sowie Function Calling mit Schema-Erzwingung in späteren Releases
Anwendungsbeispiele: Drei Wege, LoRAX zu nutzen
Dies sind konkrete Workflows, die auf LoRAXs eigenen dokumentierten Funktionen basieren, keine hypothetischen Anwendungsfälle.
Plattform, Preise und Lizenzierung
Plattform
- Was LoRAX angibt:
- Selbst gehostet, nur Linux; benötigt eine NVIDIA-GPU, Ampere-Generation oder neuer, mit CUDA 11.8+.
Kosten
- Was LoRAX angibt:
- Kostenlos und quelloffen, laut Projekt kostenlos für kommerzielle Nutzung. Sie zahlen nur für Ihre eigene GPU-Infrastruktur — es gibt keine separate kostenpflichtige LoRAX-Stufe.
Lizenzierung
- Was LoRAX angibt:
- Apache 2.0, bestätigt über das GitHub-Repository.
Installationsmethode
- Was LoRAX angibt:
- Docker-Image (
ghcr.io/predibase/lorax:main), plus dokumentierte Kubernetes- und SkyPilot-Bereitstellungswege; der Python-Client wird separat via pip installiert.
Predibase (Entwickler von LoRAX, mittlerweile nach der Übernahme 2025 unter Rubrik positioniert) verkauft zusätzlich eine separate, verwaltete kommerzielle Plattform auf verwandter Technologie — prüfen Sie aktuelle kommerzielle Preise direkt bei Predibase/Rubrik, falls Sie ein verwaltetes Angebot statt Self-Hosting benötigen.
LoRAX installieren
LoRAX läuft als selbst gehosteter Server via Docker, Kubernetes oder SkyPilot, mit einem separaten, via pip installierbaren Python-Client.
Source | Link |
|---|---|
| GitHub-Repository (Quellcode, Apache 2.0) | github.com/predibase/lorax |
| Docker-Image | docker pull ghcr.io/predibase/lorax:main |
| Python-Client | pip install lorax-client |
| Dokumentation | loraexchange.ai |
LoRAX benötigt unter Linux eine NVIDIA-GPU (Ampere-Generation oder neuer) mit CUDA 11.8+ — es gibt keinen CPU-only-Modus und keinen nativen macOS-/Windows-Installationsweg. Prüfen Sie immer die GitHub-README für die aktuell empfohlene Bereitstellungsmethode, bevor Sie einen Befehl ausführen.
LoRAX vs. eine allgemeine Inferenz-Engine
LoRAX und eine allgemeine Inferenz-Engine wie LMDeploy oder NVIDIA Dynamo bedienen beide LLMs im großen Maßstab, aber LoRAX ist gezielt auf ein bestimmtes Problem ausgerichtet: viele LoRA-Adapter auf einem Basismodell kostengünstig bereitzustellen.
Aspekt | LoRAX | Allgemeine Inferenz-Engine |
|---|---|---|
| Kernaufgabe | Bedient viele LoRA-Adapter auf einem Basismodell | Bedient ein oder mehrere vollständige Modelle mit hohem Durchsatz |
| Multi-Adapter-Batching | Integriertes heterogenes kontinuierliches Batching | Meist kein Kernfokus |
| Basis | Fork von Hugging Faces text-generation-inference | Variiert je nach Projekt |
| OpenAI-kompatible API | Ja | Häufig ja |
| Beste Eignung | Viele fein abgestimmte Varianten eines Basismodells | Wenige Modelle, maximaler Rohdurchsatz |
Wenn Ihre Workload viele fein abgestimmte Varianten desselben Basismodells bedient (Adapter pro Kunde oder pro Aufgabe), ist LoRAXs adapterfokussiertes Batching genau dafür entwickelt. Bedienen Sie eine kleine Zahl unterschiedlicher vollständiger Modelle mit maximalem Rohdurchsatz ohne Adapter-Wechselbedarf, kann eine allgemeine Engine besser passen — prüfen Sie aktuelle Benchmarks auf den eigenen Websites beider Projekte, bevor Sie sich entscheiden, da beide häufig Leistungsverbesserungen ausliefern.
Für wen eignet sich LoRAX?
LoRAX passt zu Teams, die viele fein abgestimmte LoRA-Adapter desselben Basismodells haben oder planen und diese kosteneffizient aus gemeinsam genutzter GPU-Kapazität bedienen möchten.
Wofür LoRAX nicht gut geeignet ist
LoRAX ist keine gute Wahl, wenn Sie CPU-only- oder Nicht-Linux-Bereitstellung, Adapter-Training statt -Serving oder eine vollständig verwaltete gehostete Plattform benötigen.
- Nicht CPU-only — benötigt eine NVIDIA-GPU, Ampere-Generation oder neuer, mit CUDA 11.8+; es gibt keinen CPU-Fallback-Modus
- Nicht plattformübergreifend für den Server selbst — LoRAXs Server läuft laut eigener Dokumentation nur unter Linux
- Kein Trainings-Tool — LoRAX bedient LoRA-Adapter, die bereits anderswo trainiert wurden (über PEFT, Ludwig oder Ähnliches); es fine-tuned Modelle nicht selbst
- Kein verwalteter gehosteter Dienst aus sich selbst heraus — es ist selbst gehostete Open-Source-Software; Predibases separate kommerzielle Plattform (mittlerweile nach der Übernahme 2025 unter Rubrik positioniert) ist die verwaltete Option, falls gewünscht
- Nicht unabhängig von PromptQuorum auf Durchsatz oder Latenz getestet — diese Review basiert auf LoRAXs eigener Dokumentation und Release Notes, nicht auf praktischem Testen
Häufige Fehler bei der Bewertung von LoRAX
Die meiste Verwirrung um LoRAX entsteht, weil erwartet wird, dass es Adapter trainiert, ohne GPU läuft, oder weil angenommen wird, die unternehmerische Trägerschaft sei nach Predibases Übernahme unverändert.
Wettbewerber und Alternativen
LoRAX wird am häufigsten mit anderen selbst gehosteten Inferenz- und Fine-Tuning-Tools verglichen, da es an der Schnittstelle zwischen Inferenz-Serving und LoRA-Fine-Tuning liegt. Ergänzend zu LoRAXs eigenem Eintrag im Local LLM Software Directory.
Tool | Best known for | Link |
|---|---|---|
| LMDeploy | Quelloffene Inferenz-Engine mit Quantisierungs- und Serving-Toolkit | LMDeploy Review |
| NVIDIA Dynamo | Inferenz-Serving-Framework mit hohem Durchsatz und API-Server-Funktionen | NVIDIA Dynamo Review |
| Unsloth | Schnelle, speichereffiziente LoRA-/QLoRA-Fine-Tuning-Bibliothek | Unsloth Review |
| LLaMA-Factory | Einheitliches Fine-Tuning-Framework mit Unterstützung für LoRA und andere PEFT-Methoden | LLaMA-Factory Review |
Diese Liste spiegelt Tools im selben Inferenz-Serving- und LoRA-Fine-Tuning-Segment wie LoRAX wider, nicht ein unabhängiges PromptQuorum-Ranking — prüfen Sie den aktuellen Funktionsumfang jedes Tools, bevor Sie sich entscheiden, da LoRAXs Fokus auf Multi-Adapter-Serving nicht identisch mit einer allgemeinen Inferenz-Engine oder einem reinen Trainings-Tool ist.
Häufig gestellte Fragen
Was ist LoRAX?
LoRAX ("LoRA eXchange", github.com/predibase/lorax) ist ein kostenloser, quelloffener, selbst gehosteter Inferenzserver, der viele fein abgestimmte LoRA-Adapter auf einem gemeinsam genutzten Basismodell auf einer einzigen GPU bereitstellt.
Ist LoRAX kostenlos?
Ja, LoRAX selbst ist kostenlos, quelloffen (Apache 2.0) und wird vom Projekt als kostenlos für kommerzielle Nutzung beschrieben. Sie zahlen nur für Ihre eigene GPU-Infrastruktur, um es zu betreiben.
Wer hat LoRAX entwickelt?
LoRAX wurde von Predibase entwickelt, einem 2021 von Google- und Uber-Alumni gegründeten ML-Plattform-Unternehmen. Rubrik, ein Datensicherheitsunternehmen, kündigte am 25. Juni 2025 die Vereinbarung zur Übernahme von Predibase an.
Welche GPU benötigt LoRAX?
Eine NVIDIA-GPU, Ampere-Generation oder neuer, mit CUDA 11.8+, unter Linux. Es gibt keinen CPU-only-Modus und keine native macOS-/Windows-Serverbereitstellung.
Wie installiere ich LoRAX?
Als selbst gehosteter Server über das Docker-Image (ghcr.io/predibase/lorax:main), wobei auch Kubernetes- und SkyPilot-Bereitstellungswege dokumentiert sind. Der Python-Client wird separat via pip install lorax-client installiert.
Welche Basismodelle unterstützt LoRAX?
Laut Release Notes: Llama, CodeLlama, Mistral, Zephyr, Qwen, Gemma, Phi-3, Command-R, DBRX sowie die Vision-Language-Modelle Mllama/Llava-Next, unter anderem — prüfen Sie die aktuelle Dokumentation für die vollständige, aktuelle Liste.
Trainiert LoRAX LoRA-Adapter?
Nein. LoRAX ist ein Inferenzserver, der bereits anderswo über PEFT, Ludwig oder ähnliche Tools trainierte Adapter bedient. Kombinieren Sie es mit einem dedizierten Fine-Tuning-Tool wie Unsloth oder LLaMA-Factory, falls Sie die Adapter zuerst erzeugen müssen.
Hat LoRAX eine OpenAI-kompatible API?
Ja. LoRAX stellt Chat-Completions- und Completions-Endpunkte im OpenAI-Anfrage-/Antwortformat bereit, sodass bestehender OpenAI-Client-Code auf einen selbst gehosteten LoRAX-Server verweisen kann.
Welche Quantisierungsformate unterstützt LoRAX?
fp16, plus Quantisierung via bitsandbytes, GPT-Q, AWQ, EETQ oder HQQ, sowie FP8-KV-Cache-Unterstützung, die in späteren Releases ergänzt wurde, laut Release Notes.
Hat PromptQuorum LoRAXs Leistungsangaben unabhängig getestet?
Diese Review basiert auf LoRAXs eigenem GitHub-Repository, README und Release Notes, nicht auf praktischem Benchmarking durch PromptQuorum. Prüfen Sie aktuelle Durchsatz- und Latenzwerte direkt in der eigenen Dokumentation des Projekts, bevor Sie eine Produktions-Dimensionierungsentscheidung treffen.