Wichtigste Erkenntnisse
- Kostenlos und quelloffen; die offizielle GitHub-LICENSE ist die MIT-Lizenz ohne kostenpflichtige Stufe für Desktop-App oder selbst gehostetes Docker-Deployment
- Desktop-App verfügbar für macOS, Windows und Linux; auch per Docker für selbst gehostete Multi-User-Setups einsetzbar
- Dokumente werden in isolierten "Workspaces" organisiert, jeweils mit eigenem Chatverlauf, verbundenem LLM und Dokumentenbestand
- Unterstützt viele LLM-Anbieter — darunter Ollama, LM Studio, LocalAI, OpenAI, Anthropic, Azure OpenAI und Google Gemini — läuft also vollständig offline oder mit Cloud-API-Schlüssel
- Unterstützt mehrere Vektordatenbanken; standardmäßig ist ein eingebetteter LanceDB-Speicher aktiv, Pinecone, Chroma, Weaviate, Milvus und Qdrant sind als Alternativen verfügbar
- Enthält einen No-Code-Builder für benutzerdefinierte KI-Agenten, aufgerufen im Chat per
@agent-Befehl, für mehrstufige, werkzeugnutzende Workflows - Entwickelt von Mintplex Labs, einem Y-Combinator-Unternehmen (Sommer 2022), gegründet von Timothy Carambat
- Eine separate, MIT-lizenzierte AnythingLLM-Mobile-Android-App kann sich mit einer selbst gehosteten AnythingLLM-Instanz koppeln oder ein kleines Modell auf dem Gerät ausführen
📍 In einem Satz
AnythingLLM ist eine kostenlose, quelloffene (MIT-lizenzierte) Anwendung, mit der Sie über eine lokale oder selbst gehostete Retrieval-Augmented-Generation-Pipeline mit Ihren eigenen Dokumenten chatten — verfügbar als Desktop-App oder Docker-Deployment, mit einer optionalen kostenpflichtigen gehosteten Variante namens AnythingLLM Cloud.
💬 In einfachen Worten
Statt Dateien zu einem Cloud-Chatbot hochzuladen und zu hoffen, dass er verantwortungsvoll damit umgeht, behält AnythingLLM Ihre Dokumente auf Ihrem eigenen Rechner oder Server, organisiert sie in separaten "Workspaces" und beantwortet Fragen ausschließlich anhand dessen, was es in diesen Dateien findet, plus dem KI-Modell Ihrer Wahl — kostenlose Optionen inklusive.
📌Hinweis: Diese Review ist das vertiefende Begleitstück zu AnythingLLMs Eintrag im lokalen KI-Software-Verzeichnis — dort finden Sie einen schnellen Überblick, wie AnythingLLM im Vergleich zu Dutzenden anderer lokaler KI-Tools abschneidet.
Was ist AnythingLLM?
AnythingLLM ist eine Anwendung zum Chatten mit den eigenen Dokumenten über ein großes Sprachmodell, aufgebaut auf einer Retrieval-Augmented-Generation-(RAG)-Pipeline, die vollständig auf Ihrer eigenen Hardware laufen kann. Das eigene GitHub-Repository beschreibt es als All-in-one-KI-Anwendung, die Dokumenten-Import, eine Vektordatenbank, eine LLM-Anbindung und eine Chat-Oberfläche in einem Werkzeug vereint, statt separate, von Hand verdrahtete Tools zu erfordern.
- Kernfunktion: Dokumente in einen "Workspace" hochladen — AnythingLLM zerlegt sie in Abschnitte, embedded sie und speichert sie in einer Vektordatenbank, sodass das verbundene LLM Fragen nur anhand relevanter Passagen aus diesen Dateien beantworten kann
- Deployment-Optionen: eine signierte Desktop-App (auf Electron-Basis) für macOS, Windows und Linux, oder ein Docker-Image für selbst gehostete Server-Deployments mit Multi-User-Unterstützung
- LLM-Anbindungen: lokale Anbieter wie Ollama, LM Studio und LocalAI, oder Cloud-Anbieter wie OpenAI, Anthropic, Azure OpenAI und Google Gemini, konfiguriert mit Ihrem eigenen API-Schlüssel
- Entwickler: Mintplex Labs, ein Unternehmen mit Sitz in Irvine, Kalifornien; GitHub führt Mintplex Labs, Inc. als Urheberrechtsinhaber in der LICENSE-Datei
- Kanonisches Repository: github.com/Mintplex-Labs/anything-llm
Wer hat AnythingLLM entwickelt?
AnythingLLM wird von Mintplex Labs entwickelt, dem Unternehmen, das Timothy Carambat 2022 in Irvine, Kalifornien, gegründet hat. Mintplex Labs durchlief Y Combinators Sommer-2022-Batch und erhielt Pre-Seed-Finanzierung von Y Combinator, Goodwater Capital, UpHonest Capital und Orange DAO, laut PromptQuorums AnythingLLM-Mobile-Review, die den Hintergrund des Unternehmens ausführlicher behandelt.
- Unternehmen: Mintplex Labs, gegründet 2022 in Irvine, Kalifornien, von Timothy Carambat
- Y Combinator Sommer-2022-Batch; Pre-Seed-Geldgeber sind unter anderem Y Combinator, Goodwater Capital, UpHonest Capital und Orange DAO
- Entwickelt außerdem: AnythingLLM Mobile, die begleitende Android-App, sowie VectorAdmin, ein Open-Source-Tool zur Verwaltung von Vektordatenbanken
- Das quelloffene AnythingLLM-Repository befindet sich laut GitHub-Commit-Historie seit 2023 in kontinuierlicher öffentlicher Entwicklung
Was können Sie mit AnythingLLM tun?
AnythingLLMs Funktionsumfang dreht sich darum, einen Ordner voller Dokumente in eine durchsuchbare, chattbare Wissensdatenbank zu verwandeln, ergänzt um Multi-User- und Agenten-Funktionen. Hier ist, was jeder Teil tatsächlich tut, laut AnythingLLMs eigener GitHub-README und Dokumentation.
- Workspaces — isolieren Dokumente, Chatverlauf und LLM-/Vektordatenbank-Einstellungen je Thema oder Projekt, sodass ein Workspace für Rechtsverträge und einer für interne Wiki-Seiten keinen Kontext teilen
- Dokumenten-Import — laden Sie PDFs, Word-Dokumente, Textdateien, Webseiten und andere Formate hoch; laut PromptQuorums eigenem praktischen Test im Vergleich AnythingLLM vs. PrivateGPT vs. Open WebUI RAG werden Dokumente mit LangChain.js-Loadern geparst und in einen Vektorspeicher eingebettet
- Mehrere LLM-Anbieter — verbinden Sie Ollama, LM Studio oder LocalAI für vollständig lokale Inferenz, oder nutzen Sie Ihren eigenen API-Schlüssel für OpenAI, Anthropic, Azure OpenAI oder Google Gemini
- Mehrere Vektordatenbanken — ein eingebetteter LanceDB-Speicher ist standardmäßig aktiv, ohne separate Einrichtung; Pinecone, Chroma, Weaviate, Milvus und Qdrant sind konfigurierbare Alternativen für größere oder gemeinsam genutzte Deployments
- Benutzerdefinierte KI-Agenten — ein No-Code-Agenten-Builder zum Verketten von Werkzeugen und mehrstufigen Aufgaben, aufgerufen im Chat per
@agent-Befehl - Multi-User-Modus — selbst gehostete Docker-Deployments unterstützen mehrere Benutzerkonten mit rollenbasierten Berechtigungen, sodass ein Team Workspaces teilen kann, ohne einen einzigen Login zu teilen
- Einbettbares Chat-Widget — betten Sie ein von einem Workspace gespeistes Chat-Widget direkt auf einer externen Website ein
- Entwickler-API — eine REST-API, um AnythingLLMs Dokumenten-Chat in andere Anwendungen zu integrieren
AnythingLLM herunterladen oder selbst hosten
AnythingLLM ist als kostenlose Desktop-App für macOS, Windows und Linux, als Docker-Image für selbst gehostete Deployments und als gehosteter Dienst namens AnythingLLM Cloud verfügbar. Die Links unten stammen von der offiziellen Seite anythingllm.com und dem GitHub-Repository — prüfen Sie diese Seiten immer direkt, da sich Build-Links zwischen Releases ändern können.
Option | So bekommen Sie es |
|---|---|
| Desktop-App (macOS/Windows/Linux) | anythingllm.com — offizielle Download-Seite, Betriebssystem wird automatisch erkannt |
| Direkte Release-Binärdateien | GitHub Releases |
| Selbst gehostet / Multi-User (Docker) | GitHub-Repository — README beschreibt die Docker-Deployment-Schritte |
| Gehostet, keine Installation (AnythingLLM Cloud) | anythingllm.com/pricing |
Der Desktop-Installer ist ein signierter Build (~430 MB, laut PromptQuorums eigenem praktischen Test im Vergleich AnythingLLM vs. PrivateGPT vs. Open WebUI RAG). AnythingLLM selbst hat keine feste Hardware-Mindestanforderung über den Betrieb seines Host-Betriebssystems hinaus — die tatsächliche Nutzbarkeit hängt davon ab, welches LLM und welche Vektordatenbank Sie verbinden und ob die Inferenz lokal oder über eine Cloud-API läuft.
AnythingLLM Preise: Kostenlose Desktop-App vs. AnythingLLM Cloud
Die AnythingLLM-Desktop-App und das selbst gehostete Docker-Deployment sind beide kostenlos, ohne kostenpflichtige Stufe. Die GitHub-LICENSE-Datei — die MIT-Lizenz — gilt für die gesamte quelloffene Anwendung. Ein separates, optionales gehostetes Produkt, AnythingLLM Cloud, berechnet dafür, dass Mintplex Labs den Server für Sie betreibt, statt dass Sie ihn selbst hosten.
Option | Kosten | Was enthalten ist |
|---|---|---|
| Desktop-App | Kostenlos | Einzelbenutzer, läuft auf Ihrem eigenen Rechner, MIT-lizenziert |
| Selbst gehostet (Docker) | Kostenlos | Multi-User, Ihr eigener Server, MIT-lizenziert |
| AnythingLLM Cloud — Basic | 50 $/Monat | Private gehostete Instanz, benutzerdefinierte Subdomain |
| AnythingLLM Cloud — Pro | 99 $/Monat | Fügt ein 72-Stunden-Support-SLA hinzu, für größere Teams |
| AnythingLLM Cloud — Enterprise | Individueller Preis | On-Premise-Deployment, SSO, rollenbasierte Zugriffskontrolle |
Beide kostenpflichtigen AnythingLLM-Cloud-Pläne erfordern, dass Sie Ihren eigenen LLM-API-Schlüssel bereitstellen — die Kosten für die Modellnutzung sind separat und nicht im Abo-Preis enthalten. Die Preise werden von Mintplex Labs in US-Dollar festgelegt und können sich ändern; prüfen Sie aktuelle Pläne direkt auf anythingllm.com/pricing, bevor Sie abonnieren.
Anwendungsbeispiele: Drei Wege, AnythingLLM zu nutzen
Dies sind konkrete Workflows, die auf AnythingLLMs oben dokumentierten Funktionen basieren — keine hypothetischen Anwendungsfälle.
Vollständig offline mit einem Ordner voller PDFs chatten
Installieren Sie die Desktop-App, verbinden Sie ein lokales Modell über Ollama oder LM Studio, erstellen Sie einen Workspace und laden Sie einen Ordner voller PDFs hoch. AnythingLLM zerlegt und embedded die Dokumente in den eingebauten LanceDB-Vektorspeicher, sodass Sie anschließend Fragen stellen können, die ausschließlich anhand dieser Dateien beantwortet werden — keine Daten verlassen Ihren Rechner.
Eine Wissensdatenbank mit einem kleinen Team teilen
Stellen Sie AnythingLLM per Docker auf einem gemeinsam genutzten Server bereit, aktivieren Sie den Multi-User-Modus und erstellen Sie für jedes Teammitglied Konten mit rollenbasierten Berechtigungen. Alle teilen sich dieselben Workspaces und denselben Dokumentenbestand, statt dass jede Person eine eigene separate Kopie betreibt.
Eine mehrstufige Aufgabe mit einem benutzerdefinierten Agenten automatisieren
Rufen Sie in einem Workspace den eingebauten Agenten mit @agent auf und beschreiben Sie eine mehrstufige Aufgabe — der No-Code-Agenten-Builder kann Werkzeuge verketten, statt nur mit einer einzelnen retrieval-basierten Antwort zu reagieren.
Für wen eignet sich AnythingLLM?
Ob AnythingLLM passt, hängt davon ab, ob dokumentenbasierter Chat Ihr Hauptbedürfnis ist und ob Sie eine einzige kostenlose App wollen, die sowohl Solo-Desktop-Nutzung als auch gemeinsam genutztes Multi-User-Deployment abdeckt.
Nutzen Sie AnythingLLM, wenn
- Sie mit Ihren eigenen Dokumenten (PDFs, Verträge, Wikis) über Retrieval-Augmented Generation chatten möchten, nicht nur mit einem allgemeinen Chatbot
- Sie die Option wünschen, vollständig lokal mit einem offenen Modell zu arbeiten oder Ihren eigenen Cloud-API-Schlüssel in derselben App einzusetzen
- Sie ein kostenloses, quelloffenes (MIT-lizenziertes) Werkzeug ohne Anbieterbindung auf der Desktop- oder selbst gehosteten Stufe wollen
- Sie ein Multi-User-Deployment möchten, das Ihr ganzes Team teilen kann, ohne für einen gehosteten Dienst zu bezahlen, indem Sie es selbst per Docker betreiben
- Sie eine No-Code-Möglichkeit suchen, einfache mehrstufige Agenten auf Basis Ihres Dokumenten-Workspaces zu bauen
Warten Sie, oder schauen Sie sich anderswo um, wenn
- Sie ein strikt luftgekapptes (air-gapped) Deployment mit möglichst kleiner Codebasis und ganz ohne optionale Cloud-Anbieter-Integrationen benötigen — siehe die PrivateGPT-Review
- Dokumentenzitate und Retrieval-Genauigkeit für große, gemischte Dokumentenbestände oberste Priorität haben — siehe die RAGFlow-Review
- Sie eine Chat-App wollen, die sich zuerst auf allgemeine Konversation und lokale/Cloud-Modellverwaltung konzentriert, mit RAG als Nebenfunktion — siehe Jan oder GPT4All
- Sie offizielle Support-Garantien des Anbieters auf den kostenlosen Stufen benötigen statt Community-Support — AnythingLLMs kostenlose Desktop- und selbst gehostete Stufen stützen sich auf GitHub Issues und Community-Kanäle; nur die kostenpflichtigen AnythingLLM-Cloud-Pro-/Enterprise-Pläne enthalten ein Support-SLA
AnythingLLM vs. andere RAG- und Dokumenten-Chat-Tools
AnythingLLM ist eines von mehreren Tools, die speziell um Retrieval-Augmented Generation und Dokumenten-Chat herum gebaut sind. So schneidet es im Vergleich zu anderen Optionen in diesem Segment ab — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog, und PromptQuorums praxisnahen Vergleich AnythingLLM vs. PrivateGPT vs. Open WebUI RAG für einen direkten, getesteten Dreier-Vergleich.
- PrivateGPT — ein Python-basierter, von Grund auf offline konzipierter RAG-Server für strikt luftgekappte Deployments; siehe die eigene PrivateGPT-Review für Installationsschritte und Trade-offs gegenüber AnythingLLM.
- Quivr — ein selbst gehosteter, quelloffener "zweites Gehirn"-Wissensassistent mit einem ähnlichen Workspace-Dokumentenmodell; siehe die Quivr-Review.
- RAGFlow — eine auf Dokumentenverständnis fokussierte RAG-Engine mit Fokus auf zitiergenaue Extraktion aus komplexen Dokumenten (Tabellen, Layouts); siehe die RAGFlow-Review, falls Retrieval-Präzision bei gemischten Dokumentenbeständen wichtiger ist als eine polierte Chat-Oberfläche.
- Khoj — ein selbst gehosteter persönlicher Wissensassistent, der Notizen, PDFs und andere Dateien indiziert, mit ähnlicher "Chat mit den eigenen Daten"-Positionierung; siehe die Khoj-Review.
Häufige Fehler bei der Bewertung von AnythingLLM
Die meiste Verwirrung um AnythingLLM entsteht durch die Vermischung der kostenlosen Desktop-/selbst gehosteten Stufen mit dem kostenpflichtigen AnythingLLM-Cloud-Produkt oder durch die Verwechslung der Desktop-App mit der separaten Mobile-App.
Fehler 1: Annahme, AnythingLLM selbst koste Geld
Die Desktop-App und das selbst gehostete Docker-Deployment sind beide unter der MIT-Lizenz kostenlos. Nur AnythingLLM Cloud, das optionale gehostete Produkt ab 50 $/Monat, ist kostenpflichtig — und existiert speziell für Menschen, die keinen eigenen Server betreiben möchten.
Fehler 2: Verwechslung von AnythingLLM Desktop mit AnythingLLM Mobile
AnythingLLM Mobile ist eine separate, MIT-lizenzierte Android-App mit eigener Codebasis, behandelt in einer eigenen Review. Sie kann ein kleines Modell vollständig auf dem Gerät ausführen oder sich mit einer selbst gehosteten AnythingLLM-Desktop-/Docker-Instanz verbinden — sie ist nicht einfach eine Telefonversion der Desktop-App.
Fehler 3: Erwartung eines kostenpflichtigen Support-SLA auf den kostenlosen Stufen
AnythingLLMs kostenlose Desktop- und selbst gehostete Stufen werden über GitHub Issues und Community-Kanäle unterstützt, typisch für ein Open-Source-Projekt. Ein Support-SLA (72 Stunden) ist nur im kostenpflichtigen AnythingLLM-Cloud-Pro-Plan enthalten.
Fehler 4: Annahme, eine einzige Vektordatenbank sei zwingend erforderlich
AnythingLLM wird mit einem eingebetteten, standardmäßig aktiven LanceDB-Vektorspeicher ausgeliefert und erfordert für die Grundnutzung keine separate Datenbank — Pinecone, Chroma, Weaviate, Milvus und Qdrant sind optionale Alternativen für größere oder gemeinsam genutzte Deployments, keine Voraussetzungen.
Häufig gestellte Fragen
Was ist AnythingLLM?
AnythingLLM (anythingllm.com, Quellcode unter github.com/Mintplex-Labs/anything-llm) ist eine kostenlose, quelloffene Anwendung, mit der Sie über eine Retrieval-Augmented-Generation-Pipeline mit Ihren eigenen Dokumenten chatten — verfügbar als Desktop-App, selbst gehostetes Docker-Deployment oder kostenpflichtiger gehosteter Dienst AnythingLLM Cloud.
Ist AnythingLLM kostenlos?
Ja, die Desktop-App und das selbst gehostete Docker-Deployment sind beide unter der MIT-Lizenz kostenlos, ohne kostenpflichtige Stufe. AnythingLLM Cloud, ein separater gehosteter Dienst, kostet ab 50 $/Monat für alle, die keinen eigenen Server betreiben möchten.
Ist AnythingLLM quelloffen? Welche Lizenz wird verwendet?
Ja. AnythingLLMs GitHub-LICENSE-Datei ist die MIT-Lizenz, eine der freizügigsten Open-Source-Lizenzen, ohne Copyleft-Verpflichtungen.
Funktioniert AnythingLLM offline?
Ja, wenn es mit einem lokalen LLM-Anbieter wie Ollama, LM Studio oder LocalAI verbunden ist und den standardmäßig eingebetteten LanceDB-Vektorspeicher nutzt, kann AnythingLLM nach dem initialen Modell-Download ohne Internetverbindung laufen.
Welche LLM-Anbieter unterstützt AnythingLLM?
Lokale Anbieter wie Ollama, LM Studio und LocalAI sowie Cloud-Anbieter wie OpenAI, Anthropic, Azure OpenAI und Google Gemini, konfiguriert mit Ihrem eigenen API-Schlüssel.
Was ist ein "Workspace" in AnythingLLM?
Ein Workspace ist ein isolierter Container für eine Reihe von Dokumenten, Chatverlauf sowie LLM-/Vektordatenbank-Einstellungen. Separate Workspaces für separate Themen halten deren Kontext getrennt.
Unterstützt AnythingLLM mehrere Nutzer?
Ja, in selbst gehosteten Docker-Deployments unterstützt AnythingLLM mehrere Benutzerkonten mit rollenbasierten Berechtigungen. Die Desktop-App ist für Einzelbenutzer.
Was ist AnythingLLM Cloud, und wie unterscheidet es sich von der kostenlosen Version?
AnythingLLM Cloud ist ein separater, kostenpflichtiger gehosteter Dienst von Mintplex Labs, der eine AnythingLLM-Instanz für Sie betreibt, ab 50 $/Monat für den Basic-Plan, mit einem Pro-Plan für 99 $/Monat, der ein 72-Stunden-Support-SLA hinzufügt, sowie individuell bepreistem Enterprise-Plan. Die zugrunde liegende Anwendung ist dieselbe quelloffene Software, die kostenlos als Desktop-App oder selbst gehostetes Docker-Deployment verfügbar ist.
Hat AnythingLLM eine Mobile-App?
Ja, eine separate, MIT-lizenzierte Android-App namens AnythingLLM Mobile, behandelt in einer eigenen Review. Sie kann ein kleines Modell auf dem Gerät ausführen oder sich mit einer selbst gehosteten AnythingLLM-Instanz verbinden. Zum Zeitpunkt dieser Review existiert keine iOS-App.
Wer entwickelt AnythingLLM?
AnythingLLM wird von Mintplex Labs entwickelt, einem 2022 in Irvine, Kalifornien, von Timothy Carambat gegründeten Unternehmen, das Y Combinators Sommer-2022-Batch durchlief.