Wichtigste Erkenntnisse
- Kostenlos und MIT-lizenziert, erstellt von Ettore Di Giacinto ("mudler"), gepflegt unter github.com/mudler/LocalAI
- Drop-in OpenAI-kompatible API, plus Anthropic- und ElevenLabs-kompatible Endpunkte
- Ein leichtgewichtiger Kern leitet Anfragen an unabhängig geladene Backends weiter, statt eine feste Inferenz-Engine mitzubringen
- Vom Projekt dokumentierte Backends umfassen llama.cpp und vLLM für Text, diffusers-basierte Backends für Bildgenerierung und whisper.cpp-basierte Backends für Speech-to-Text
- Deckt Textgenerierung, Bildgenerierung, Transkription, Text-to-Speech und Embeddings aus einer laufenden Instanz ab
- Läuft rein auf der CPU ohne GPU-Pflicht oder mit NVIDIA-CUDA-, AMD-ROCm-, Intel- oder Vulkan-Beschleunigung
- Wird als Docker-Images (CPU- und GPU-Varianten), macOS-Installer und CLI-Binary ausgeliefert; Kubernetes-Deployment ist dokumentiert
- Keine konkurrierende Roh-Inferenz-Engine — lädt Engines wie llama.cpp und vLLM als Backends, statt sie zu ersetzen
📍 In einem Satz
LocalAI ist eine kostenlose, MIT-lizenzierte, selbstgehostete Engine, die eine OpenAI-kompatible API vor austauschbaren Backends — darunter llama.cpp, vLLM, diffusers und whisper.cpp — bereitstellt und Text, Bild und Audio aus einer Instanz abdeckt.
💬 In einfachen Worten
Statt einer App fürs Chatten, einer für Bildgenerierung und einer fürs Transkribieren ist LocalAI ein einziger selbstgehosteter Server, der dieselbe API spricht wie OpenAI, sodass bestehender OpenAI-Client-Code darauf zeigen kann, während er jede Anfrage im Hintergrund an die passende Engine weiterreicht.
📌Hinweis: Dieser Artikel basiert auf dem offiziellen GitHub-Repository von LocalAI und der öffentlichen Dokumentation, nicht auf eigenen Benchmarks. Versionsspezifische Feature-Behauptungen und Leistungswerte werden vermieden, da LocalAI häufig neue Releases veröffentlicht und beides für diesen Artikel nicht unabhängig gemessen wurde.
Was ist LocalAI?
LocalAI ist eine kostenlose, MIT-lizenzierte, selbstgehostete KI-Engine, mit der sich OpenAI-API-kompatible Text-, Bild- und Audiomodelle auf eigener Hardware betreiben lassen. Erstellt wurde sie von Ettore Di Giacinto, der auf GitHub als "mudler" firmiert, und wird heute von einer Open-Source-Community gepflegt. Das Projekt beschreibt sein Ziel als das Ausführen von Modellen über mehrere Modalitäten hinweg auf beliebiger Hardware, wobei eine GPU nicht zwingend erforderlich ist.
- Erstellt von Ettore Di Giacinto ("mudler"); Quellcode und Doku unter github.com/mudler/LocalAI
- MIT-lizenziert: kostenlos nutzbar, veränderbar und selbst hostbar, auch kommerziell, im Rahmen der Lizenzbedingungen
- Stellt einen OpenAI-API-kompatiblen Server bereit, plus dokumentierte Anthropic- und ElevenLabs-kompatible Endpunkte, sodass bestehender Client-Code für diese APIs oft direkt auf eine selbstgehostete LocalAI-Instanz zeigen kann
- Positioniert sich über die Breite der Modalitäten statt über die höchste Geschwindigkeit in einer einzelnen — Text, Bild und Audio aus einem Deployment
- Anders als eine einzelne Inferenz-Engine: Der eigene Kern übernimmt Request-Routing und API-Kompatibilität, während die eigentliche Modellausführung in separaten Backend-Prozessen läuft
Wie funktioniert die Backend-Architektur von LocalAI?
Der Kern von LocalAI ist ein leichtgewichtiger Router, keine monolithische Inferenz-Engine — er empfängt eine OpenAI-kompatible Anfrage, ermittelt Modell und Backend, auf das sie abgebildet wird, und kommuniziert mit einem separaten Backend-Prozess, der die eigentliche Inferenz ausführt.
- Der Kernprozess übernimmt API-Kompatibilität, Request-Routing und Modellkonfiguration und spricht dann über gRPC mit Backend-Prozessen
- Vom Projekt dokumentierte Backends umfassen llama.cpp und vLLM für Textgenerierung,
diffusers-basierte Backends für Bildgenerierung undwhisper.cpp-basierte Backends für Speech-to-Text - Backends lassen sich aus einer Modell-/Backend-Gallery installieren oder manuell über eine YAML-Datei konfigurieren, die auf ein bestimmtes Backend und Modell verweist
- Da Backends separate, installierbare Komponenten sind, muss ein Deployment nur die tatsächlich benötigten Backends laden, statt standardmäßig jede mögliche Engine mitzuliefern
- Das Projekt entwickelt zusätzlich zu bestehenden Engines auch eigene native Backends
Was kann LocalAI außer Textgenerierung?
Der dokumentierte Funktionsumfang von LocalAI deckt mehr Modalitäten ab als reine Text-Engines wie llama.cpp oder vLLM — das ist das Hauptunterscheidungsmerkmal zu diesen Tools.
Textgenerierung
- Beispiel-Backend:
- llama.cpp, vLLM — Chat/Completions-Endpunkte
Bildgenerierung
- Beispiel-Backend:
- diffusers-basierte Backends (Stable-Diffusion-artig)
Speech-to-Text
- Beispiel-Backend:
- whisper.cpp-basierte Backends
Text-to-Speech
- Beispiel-Backend:
- Dedizierte, vom Projekt dokumentierte TTS-Backends
Embeddings
- Beispiel-Backend:
- Dedizierte Embedding-Modell-Backends
Jede Zeile oben ist ein separates Backend, das für diese Modalität installiert werden muss — die Installation von LocalAI allein aktiviert nicht automatisch jede Modalität. Genaue Backend-Namen und Abdeckung ändern sich je nach Release, daher gilt die projekteigene Gallery als aktuelle Quelle statt einer fixen Liste.
Welche Hardware braucht LocalAI?
LocalAI positioniert sich dokumentiert so, dass es auf beliebiger Hardware läuft, ohne dass zwingend eine GPU nötig ist — dieselbe Instanz kann rein auf der CPU für leichtere Workloads laufen oder bei Bedarf GPU-Beschleunigung für größere Modelle nutzen.
Nur CPU
- Details:
- Dokumentiert als vollständig unterstützt ohne GPU-Pflicht, mit CPU-optimierten Backends wie llama.cpp für Text.
NVIDIA-GPUs (CUDA)
- Details:
- Dedizierte CUDA-Docker-Images werden veröffentlicht; Beschleunigung wird von kompatiblen Backends bei vorhandener GPU genutzt.
AMD-GPUs (ROCm)
- Details:
- Ein ROCm/hipBLAS-Docker-Image ist als dokumentierter AMD-Beschleunigungspfad verfügbar.
Intel-GPUs (oneAPI)
- Details:
- Ein dediziertes Intel-Docker-Image wird für Intel-GPU-Beschleunigung veröffentlicht.
Vulkan
- Details:
- Ein Vulkan-Docker-Image ist als herstellerübergreifende GPU-Beschleunigungsoption verfügbar.
Apple Silicon (Mac)
- Details:
- Ein nativer macOS-Installer wird veröffentlicht; Metal-beschleunigte Backends sind für Apple-Silicon-Macs dokumentiert.
Tatsächlich nutzbare Modellgröße und Geschwindigkeit hängen weiterhin von verfügbarem RAM/VRAM und dem genutzten Backend ab, genau wie bei llama.cpp oder vLLM direkt — die "keine GPU nötig"-Positionierung von LocalAI beschreibt, dass der reine CPU-Pfad vollständig unterstützt wird, nicht dass jedes Modell oder Backend ohne GPU gleich gut läuft.
Wie installiert und startet man LocalAI?
Der von LocalAI dokumentierte schnellste Weg ist Docker, mit einem reinen CPU-Image und separaten GPU-beschleunigten Image-Tags für unterschiedliche Hardware.
- 1Docker installieren, falls noch nicht vorhanden, dann ein reines CPU- oder ein GPU-Image-Tag für die eigene Hardware wählen.
- 2Für reine CPU-Nutzung ausführen:
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest. - 3Für NVIDIA-GPUs stattdessen ein CUDA-Image nutzen, z. B.
localai/localai:latest-gpu-nvidia-cuda-12, mit--gpus allim Docker-Befehl. - 4Für AMD-, Intel- oder Vulkan-GPUs den passenden, vom Projekt dokumentierten
-gpu-hipblas-,-gpu-intel- oder-gpu-vulkan-Image-Tag verwenden. - 5Sobald der Container läuft, hört LocalAI standardmäßig auf Port 8080.
- 6Ein Modell über die CLI installieren (
local-ai models install <name>) oder über die Model-Gallery der Web-UI, oder direkt starten mitlocal-ai run <name>, das es bei Bedarf zuerst herunterlädt. - 7Die erste Anfrage an den OpenAI-kompatiblen Endpunkt senden: `curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "<installierter-modellname>", "messages": [{"role": "user", "content": "Hallo!"}]}'`.
- 8Bestehenden OpenAI-API-Client-Code auf die eigene selbstgehostete Instanz umstellen, indem nur Basis-URL und Modellname geändert werden.
Braucht man eine GPU für LocalAI?
Nein — LocalAI ist dokumentiert als rein CPU-lauffähig ohne GPU-Pflicht und veröffentlicht separat GPU-beschleunigte Docker-Image-Tags für NVIDIA-, AMD-, Intel- und Vulkan-Hardware für Setups, die eine besitzen.
Woher kommen LocalAI-Modelle?
Das Projekt dokumentiert mehrere Quellen: die eigene Model-Gallery (installierbar über CLI oder Web-UI), Hugging-Face-Repositories, Ollama-Format-Referenzen, direkte YAML-Konfigurations-URLs und OCI-Images.
Wie schneidet LocalAI im Vergleich zu Ollama ab?
LocalAI und Ollama machen es beide leicht, Modelle hinter einer einfachen API selbst zu hosten, zielen aber auf unterschiedliche Umfänge: Ollama ist auf einen schnellen, minimalen Einzelnutzer-Pfad für Text- (und teils Vision-)Modelle ausgelegt, während LocalAI auf breitere Modalitätsabdeckung und OpenAI-/Anthropic-/ElevenLabs-API-Kompatibilität über Text, Bild und Audio hinweg setzt.
- Ollama fokussiert sich vor allem auf Text- (und teils Vision-)Modelle mit einem sehr einfachen Ein-Befehl-Installations- und Pull-Workflow, gezielt auf schnelles Einzelnutzer-Setup ausgerichtet
- LocalAI dokumentiert breitere Modalitätsabdeckung in einem Deployment — Text, Bildgenerierung, Transkription und Text-to-Speech — durch das Laden unterschiedlicher Backends je Modalität
- LocalAI dokumentiert Drop-in-Kompatibilität mit drei API-Formaten (OpenAI, Anthropic, ElevenLabs); Ollamas primäre Schnittstelle ist die eigene API, mit einer separaten OpenAI-Kompatibilitätsschicht
- LocalAI kann Ollama-Format-Modellreferenzen (
ollama://) als eine von mehreren unterstützten Modellquellen laden, neben eigener Gallery, Hugging Face und YAML-Configs - Ollamas Setup-Fläche ist bewusst minimal; LocalAI bietet dafür mehr Konfiguration (Backend-Auswahl, YAML-Modellconfigs, mehrere Deployment-Ziele) im Austausch für den breiteren Umfang
Wie schneidet LocalAI im Vergleich zu llama.cpp und vLLM ab?
LocalAI ist keine konkurrierende Roh-Inferenz-Engine gegenüber llama.cpp oder vLLM — die dokumentierte Architektur lädt beide als austauschbare Backends für Textgenerierung, neben separaten Backends für Bild und Audio.
llama.cpp
- Rolle:
- Eine CPU-/GPU-freundliche Text-Inferenz-Engine; eines der Text-Backends, die LocalAI laden kann.
vLLM
- Rolle:
- Eine Hochdurchsatz-GPU-Serving-Engine; dokumentiert als weiteres Text-Backend, das LocalAI laden kann.
LocalAI
- Rolle:
- Die Routing- und API-Kompatibilitätsschicht über solchen Backends, ergänzt um Bild-, Audio- und Embedding-Backends neben Text.
Artikel über LocalAI (3)
- Jan Review 2026: The Open-Source, Offline ChatGPT AlternativeAktualisiert 6. September 2026
- LocalAI Explained: The Self-Hosted OpenAI API Alternative (2026)Aktualisiert 6. September 2026
- Bodega One Code Review (2026): A Local-First BYOLLM Coding IDEAktualisiert 3. September 2026
Auch erwähnt in:
- AI Note-Taking Plugins for Obsidian and Logseq, ComparedAktualisiert 5. September 2026
- LibreChat Review 2026: Self-Hosted ChatGPT Alternative for Local LLMsAktualisiert 3. September 2026
- AnythingLLM vs PrivateGPT vs Open WebUI: Best Local RAG in 2026Aktualisiert 27. August 2026
Die Wahl zwischen diesen Projekten ist meist kein Entweder-oder — ein LocalAI-Deployment kann für seine Textanfragen intern llama.cpp oder vLLM nutzen. Die Entscheidung ist, ob man diese Engine direkt ansprechen will (llama.cpp, vLLM) oder über eine breitere multimodale API-Schicht, die auch Bild- und Audioanfragen routen kann (LocalAI).
Für wen eignet sich LocalAI?
LocalAI passt zu Menschen, die eine einzige selbstgehostete API-Fläche über mehrere Modalitäten hinweg wollen, nicht zu Menschen, die nur den schnellsten Weg zu einem einzelnen Textmodell auf dem eigenen Rechner suchen.
LocalAI vs. Alternativen im Überblick
Diese Tools überschneiden sich in Teilen, unterscheiden sich aber in Umfang und Setup-Aufwand.
LocalAI
- Umfang:
- Text, Bild, Audio, Embeddings über austauschbare Backends. Docker, macOS-Installer oder CLI-Binary.
- Am besten für:
- Eine selbstgehostete, multimodale, OpenAI-/Anthropic-/ElevenLabs-kompatible API.
Ollama
- Umfang:
- Vor allem Text- (und teils Vision-)Modelle. Ein-Befehl-Installation und Modell-Pull.
- Am besten für:
- Der schnellste Weg zu einem lokalen Textmodell für einen Nutzer.
llama.cpp
- Umfang:
- Text-Inferenz-Engine für CPU und GPU. CLI, Web-UI und OpenAI-kompatibler Server.
- Am besten für:
- Direkte Kontrolle auf Engine-Ebene über Text-Inferenz — oft das Backend unter Ollama und LocalAI.
vLLM
- Umfang:
- Hochdurchsatz-GPU-Text-Serving-Bibliothek. Python-Paket, OpenAI-kompatibler Server.
- Am besten für:
- Maximaler gleichzeitiger GPU-Durchsatz für Text allein.
Dieser Artikel hat diese Tools nicht selbst gegeneinander benchmarkt und behauptet nicht, dass eines technisch überlegen ist — der Vergleich deckt nur dokumentierte Fakten zu Umfang, Setup und Architektur ab.
Was deckt dieser Artikel nicht ab?
Dies ist ein Erklärartikel auf Basis der öffentlichen Dokumentation und des Repositorys von LocalAI, kein eigener Benchmark- oder Sicherheitsaudit.
- Keine selbst gemessenen Durchsatz-, Latenz- oder Ausgabequalitätsvergleiche gegenüber Ollama, llama.cpp oder vLLM — diese hängen davon ab, welches Backend und Modell LocalAI konfiguriert nutzt, plus der Hardware
- Keine erschöpfende Liste jedes vom Projekt unterstützten Backends — das Backend-Ökosystem ändert sich mit der Zeit; die projekteigene Gallery und Dokumentation sind die maßgebliche Quelle für die aktuelle Backend-Abdeckung
- Kein zeilenweises Sicherheitsaudit des Codes — er ist quelloffen und MIT-lizenziert, der Quellcode steht also für eine unabhängige Prüfung zur Verfügung
- Keine Abdeckung jedes Deployment-Ziels (Kubernetes-Manifeste, cloud-spezifische Setups) — dieser Artikel fokussiert auf die Docker- und CLI-Pfade, die die meisten Self-Hoster zuerst ausprobieren
- Keine unabhängig geprüften Aussagen zu Multi-User- oder Enterprise-Funktionen (API-Keys, Quoten, Authentifizierung) über das hinaus, was das Projekt dokumentiert — aktuelle Fähigkeiten vor produktivem Einsatz für Zugriffskontrolle gegen die offizielle Doku prüfen
Häufige Fehler beim Ausprobieren von LocalAI
Die meiste Reibung mit LocalAI entsteht, wenn man es wie eine einzelne feste Engine behandelt statt wie einen Router vor separaten Backends.
Häufig gestellte Fragen
Was ist LocalAI?
LocalAI ist eine kostenlose, MIT-lizenzierte, selbstgehostete KI-Engine von Ettore Di Giacinto ("mudler"), die eine OpenAI-kompatible API vor austauschbaren Backends für Text-, Bild- und Audiomodelle bereitstellt.
Ist LocalAI kostenlos?
Ja. LocalAI ist kostenlose, quelloffene Software unter der MIT-Lizenz, ohne Abo oder Konto-Pflicht für den Eigenbetrieb.
Braucht LocalAI eine GPU?
Nein — LocalAI ist dokumentiert als rein CPU-lauffähig ohne GPU-Pflicht. Separate GPU-beschleunigte Docker-Images werden zudem für NVIDIA-CUDA-, AMD-ROCm-, Intel- und Vulkan-Hardware veröffentlicht.
Ist LocalAI dasselbe wie llama.cpp?
Nein. llama.cpp ist eine Text-Inferenz-Engine; LocalAI ist eine Routing- und API-Kompatibilitätsschicht, die llama.cpp (oder vLLM oder andere Engines) als eines von mehreren Backends laden kann, und ergänzt zusätzlich Bild- und Audio-Backends.
Ist LocalAI besser als Ollama?
"Besser" hängt vom Umfang ab: Ollama ist ein einfacheres, schmaleres Tool, das sich vor allem auf Textmodelle mit minimalem Setup konzentriert, während LocalAI eine breitere Menge an Modalitäten (Text, Bild, Audio) hinter einer API abdeckt, im Austausch für mehr Konfiguration.
Welche APIs unterstützt LocalAI?
LocalAI dokumentiert Drop-in-Kompatibilität mit der OpenAI-API, plus Anthropic- und ElevenLabs-kompatible Endpunkte, sodass bestehender Client-Code für diese APIs oft mit nur einer Basis-URL-Änderung gegen eine selbstgehostete LocalAI-Instanz funktioniert.
Kann LocalAI Bilder generieren und Audio transkribieren, nicht nur chatten?
Ja. Die dokumentierten Backends von LocalAI umfassen diffusers-basierte Backends für Bildgenerierung und whisper.cpp-basierte Backends für Speech-to-Text, neben Text-to-Speech- und Embedding-Backends.
Hat LocalAI etwas mit der mobilen App "Loci" zu tun?
Nein. Loci ist eine separate, nicht verwandte mobile App für Offline-Chat auf dem Gerät. LocalAI ist das selbstgehostete Serverprojekt unter github.com/mudler/LocalAI, ohne gemeinsamen Code, Unternehmen oder sonstige Verbindung zu Loci.
Welchen Port nutzt LocalAI standardmäßig?
LocalAI hört standardmäßig auf Port 8080, wenn es über die dokumentierten Docker-Images gestartet wird.
Woher kann LocalAI Modelle beziehen?
Das Projekt dokumentiert mehrere Modellquellen: die eigene installierbare Gallery, Hugging-Face-Repositories, Ollama-Format-Referenzen, direkte YAML-Konfigurations-URLs und OCI-Images.