Skip to main content
PromptQuorum
Startseite/Lokale LLMs Pro/AnythingLLM Mobile im Test (2026): Chat + RAG auf dem Gerät
Mobile & Edge LLMs

AnythingLLM Mobile im Test (2026): Chat + RAG auf dem Gerät

·11 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum, Multi-Model-AI-Dispatch-Tool · PromptQuorum
Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

**AnythingLLM Mobile ist eine kostenlose, unter der MIT-Lizenz stehende Android-App, die auf zwei Arten funktioniert: eigenständig, mit einem kleinen, ausgewählten Sprachmodell samt lokaler Vektordatenbank vollständig auf dem Gerät für Offline-Dokumentenchat und RAG, oder verbunden, indem Chats, Workspaces und Dokumente per QR-Code-Kopplung im lokalen Netzwerk mit einer selbst gehosteten AnythingLLM-Desktop- oder AnythingLLM-Cloud-Instanz synchronisiert werden.** Entwickelt wird sie von Mintplex Labs, dem Unternehmen hinter dem Open-Source-Projekt AnythingLLM für Desktop und Server, veröffentlicht auf GitHub unter der MIT-Lizenz. Zum Zeitpunkt dieses Tests ist die App ausschließlich über Google Play für Android erhältlich; eine iOS-Version im App Store gibt es noch nicht.

AnythingLLM Mobile ist eine kostenlose, unter der MIT-Lizenz veröffentlichte Android-App von Mintplex Labs, die ein kleines Sprachmodell und eine lokale Vektordatenbank direkt auf dem Smartphone ausführt, um Dokumente offline durchsuchbar zu machen. Optional lässt sich die App per Kopplung mit einer selbst gehosteten AnythingLLM-Desktop- oder AnythingLLM-Cloud-Instanz im lokalen Netzwerk verbinden, um den vollen Funktionsumfang der Desktop-Version zu nutzen. Dieser Test erklärt genau, wie sich der eigenständige On-Device-Modus vom verbundenen Modus unterscheidet, welche Plattformen wirklich unterstützt werden (Android ist verfügbar, iOS noch nicht), was die App im Vergleich zum separat bepreisten AnythingLLM-Cloud-Dienst kostet, und für wen sie sich eignet — und für wen nicht.

AnythingLLM Mobile im Test (2026): Chat + RAG auf dem Gerät

Wichtigste Erkenntnisse

  • Kostenlos und quelloffen (MIT-Lizenz); der Quellcode der mobilen App ist auf GitHub öffentlich.
  • Zwei Modi: eigenständige On-Device-Inferenz (Cactus-Compute-Engine, mitgeliefertes GGUF-Modell, lokale Vektordatenbank) oder verbundener Modus mit Kopplung an eine selbst gehostete Desktop-/Cloud-Instanz per QR-Code.
  • Zum Zeitpunkt dieses Tests nur Android — verfügbar über Google Play und als direkte APK; noch keine iOS-App-Store-Version.
  • Entwickelt von Mintplex Labs, einem Y-Combinator-Unternehmen, das auch für das Desktop-/Server-Projekt AnythingLLM verantwortlich ist.
  • Die mobile App selbst hat kein Abo; AnythingLLM Cloud, der separate gehostete Serverdienst, mit dem sich manche Nutzer koppeln, startet bei 50 $/Monat.

📍 In einem Satz

AnythingLLM Mobile ist eine kostenlose, unter der MIT-Lizenz stehende Android-App von Mintplex Labs, die ein kleines Sprachmodell für den Offline-Dokumentenchat auf dem Gerät ausführt und sich zusätzlich mit einer selbst gehosteten AnythingLLM-Desktop- oder Cloud-Instanz verbinden lässt.

💬 In einfachen Worten

Es ist weder nur eine Fernbedienungs-App für einen Server noch ein vollständig eigenständiger Ersatz für die Desktop-App — es ist beides zugleich: eine eigenständige Offline-KI auf dem Smartphone und ein optionaler mobiler Bildschirm für eine Desktop- oder Cloud-Instanz, die bereits läuft. Welcher Modus zum jeweiligen Zweck passt, entscheiden Sie selbst.

📌Hinweis: Dieser Test basiert auf dem öffentlichen AnythingLLM-Mobile-GitHub-Repository, der offiziellen Mobile-Dokumentation, dem Google-Play-Eintrag und anythingllm.com, Stand September 2026. PromptQuorum hat für diesen Test kein eigenes Hands-on-Benchmarking von AnythingLLM Mobile durchgeführt — die unten genannten Leistungswerte sind allgemeine Hardware-Richtwerte für lokale LLMs, keine app-spezifischen Messungen.

Was ist AnythingLLM Mobile?

**AnythingLLM Mobile ist eine Android-App unter der MIT-Lizenz, mit der ein Smartphone mit einem Sprachmodell und mit hochgeladenen Dokumenten chatten kann, ohne auf eine Cloud-API angewiesen zu sein.** Die App ist eine eigenständige Codebasis, getrennt vom Desktop-/Server-Projekt AnythingLLM, speziell für React Native entwickelt — beide Projekte stammen jedoch vom selben Unternehmen und teilen sich den Namen AnythingLLM sowie das Workspace-Konzept.

Am besten versteht man die App als zwei Produkte in einem: einen eigenständigen On-Device-KI-Assistenten, der ohne Einrichtung und ohne Konto funktioniert, und ein mobiles Frontend für eine selbst gehostete AnythingLLM-Instanz — für Nutzer, die bereits die Desktop-App, einen Docker-Container oder ein AnythingLLM-Cloud-Abo betreiben und dieselben Workspaces, Chatverläufe und Dokumente auch auf dem Smartphone nutzen möchten.

Wer entwickelt AnythingLLM Mobile?

**AnythingLLM Mobile wird von Mintplex Labs entwickelt, dem von Timothy Carambat gegründeten Unternehmen, das auch die ursprünglichen Desktop- und Server-Versionen von AnythingLLM geschaffen hat.** Mintplex Labs wurde 2022 gegründet, hat seinen Sitz in Irvine, Kalifornien, und durchlief den Sommer-2022-Jahrgang von Y Combinator, mit Pre-Seed-Finanzierung von Y Combinator, Goodwater Capital, UpHonest Capital und Orange DAO.

Das Flaggschiff-Projekt AnythingLLM für Desktop und Server — eine Open-Source-, selbst hostbare "All-in-One-KI-Anwendung" für den Dokumentenchat und den Aufbau eigener Agenten — existiert bereits seit mehreren Jahren vor der mobilen App und hat eine eigene, große GitHub-Community, ausführlich behandelt im PromptQuorum-Vergleich AnythingLLM vs. PrivateGPT vs. Open WebUI. AnythingLLM Mobile ist eine neuere, separate React-Native-Codebasis, die dieselben Workspace- und RAG-Konzepte auf das Smartphone überträgt.

Läuft AnythingLLM Mobile On-Device oder verbindet es sich mit einem Server?

AnythingLLM Mobile unterstützt sowohl einen eigenständigen On-Device-Modus als auch einen verbundenen Modus, der sich mit einer separat gehosteten AnythingLLM-Instanz koppelt — es ist also nicht ausschließlich das eine oder das andere, und der aktive Modus bestimmt, was die App leisten kann. Diese beiden Modi zu verwechseln ist relevant: Wer vollständig offline arbeitende KI ohne Einrichtung erwartet, bekommt das im eigenständigen Modus, während wer den vollen Desktop-Funktionsumfang (benutzerdefinierte Agenten-Tools, größere Dokument-Workspaces) erwartet, den verbundenen Modus samt laufender Desktop-, Docker- oder Cloud-Instanz benötigt.

Im eigenständigen Modus lädt das Smartphone laut Mintplex Labs' eigener Mobile-Dokumentation und dem GitHub-Repository der App ein kleines, ausgewähltes GGUF-Sprachmodell herunter und führt es lokal über Cactus Compute aus, eine llama.cpp-basierte Inferenz-Engine für React Native. Ebenfalls auf dem Gerät laufen ein kleines Embedding-Modell und eine lokale Vektordatenbank, sodass hochgeladene Dokumente vollständig offline in Abschnitte zerlegt, eingebettet und für RAG durchsucht werden können. Nach dem Herunterladen des Modells sind weder Konto noch API-Schlüssel noch Internetverbindung für den Chat erforderlich.

Im verbundenen Modus führt das Smartphone die Inferenz für diesen Workspace nicht selbst aus — es koppelt sich per QR-Code, der unter Settings > Tools > AnythingLLM Mobile der jeweiligen Instanz angezeigt wird, mit einer AnythingLLM-Desktop-App, einer selbst gehosteten Docker-Instanz oder einem AnythingLLM-Cloud-Abo im lokalen Netzwerk (bzw. über das Internet bei Cloud). Damit die Kopplung im lokalen Netzwerk funktioniert, muss die Desktop-Instanz unter Settings > Admin > General die Option "Netzwerkerkennung aktivieren" eingeschaltet haben. Nach der Kopplung synchronisieren sich Chats, Workspaces, Threads und benutzerdefinierte Agenten-Tools zwischen Smartphone und verbundener Instanz — die Arbeit von LLM, Embedding und RAG findet dort statt, wo die Instanz läuft, nicht auf dem Smartphone.

Welcher Modus passt zu Ihnen?

Lokales LLM nutzen, wenn:

  • •Sie möchten KI-Chat und Dokumenten-RAG, das offline funktioniert — ohne Konto, ohne Server, ohne Einrichtung.
  • •Sie testen, ob On-Device-KI auf Ihrem konkreten Android-Gerät schnell genug ist, bevor Sie sich auf mehr einlassen.
  • •Sie betreiben keine Desktop- oder Server-Instanz von AnythingLLM und möchten das auch nicht.

Cloud-Modell nutzen, wenn:

  • •Sie betreiben bereits AnythingLLM Desktop, Docker oder AnythingLLM Cloud und möchten dieselben Workspaces und Chatverläufe auf dem Smartphone.
  • •Sie benötigen benutzerdefinierte Agenten-Tools, größere Dokumentbibliotheken oder ein leistungsfähigeres Modell, als ein Smartphone praktisch ausführen kann.
  • •Mehrere Geräte (Smartphone und Desktop) sollen mit einem gemeinsamen Workspace synchron bleiben.

Schnelle Entscheidung:

  • →Im Zweifel mit dem eigenständigen Modus beginnen — er benötigt sonst nichts, das läuft.
  • →Erst dann zum verbundenen Modus wechseln, wenn bereits eine Desktop-, Docker- oder Cloud-Instanz zur Kopplung vorhanden ist.

Erste Schritte mit AnythingLLM Mobile

**Die Einrichtung unterscheidet sich je nach gewünschtem Modus, laut der Mobile-Dokumentation der App.** Der eigenständige Modus benötigt außer der Installation nichts weiter; der verbundene Modus benötigt eine bereits vorhandene AnythingLLM-Desktop-, Docker- oder Cloud-Instanz zur Kopplung.

  1. 1
    App installieren
    Why it matters: Laden Sie AnythingLLM Mobile über [Google Play](https://play.google.com/store/apps/details?id=com.anythingllm) herunter oder als direkte APK von [anythingllm.com/mobile](https://anythingllm.com/mobile). Für das Öffnen der App ist kein Konto und keine E-Mail-Registrierung erforderlich.
  2. 2
    Eigenständigen Modus für die Offline-Nutzung wählen
    Why it matters: Beim ersten Start bietet die App ausgewählte On-Device-Modelle zum Herunterladen an. Wählen Sie ein Modell passend zum RAM Ihres Geräts (siehe Hardware-Abschnitt unten) und beginnen Sie zu chatten — für grundlegenden Chat und Dokumenten-Upload ist keine weitere Einrichtung nötig.
  3. 3
    Oder mit einer selbst gehosteten Instanz für den verbundenen Modus koppeln
    Why it matters: Wenn Sie bereits AnythingLLM Desktop, Docker oder Cloud betreiben, aktivieren Sie unter Settings > Admin > General dieser Instanz die "Netzwerkerkennung" und öffnen Sie dann in der Desktop-Oberfläche Settings > Tools > AnythingLLM Mobile, um einen Kopplungs-QR-Code anzuzeigen.
  4. 4
    QR-Code über die mobile App scannen
    Why it matters: Nutzen Sie in AnythingLLM Mobile die Kopplungs-/Scan-Funktion, um sich mit der Desktop- oder Cloud-Instanz zu verbinden. Nach der Kopplung stehen die Workspaces, Chats und Threads dieser Instanz in der mobilen App zur Verfügung, und Änderungen synchronisieren sich zwischen den Geräten.

Wie funktionieren Dokumentenchat und RAG auf dem Handy?

Eigenständig (On-Device)

Ort der Inferenz:
Auf dem Smartphone, über Cactus Compute (llama.cpp-basierte Engine für React Native)
RAG / Dokumentenverarbeitung:
Lokales Embedding-Modell + Vektordatenbank auf dem Gerät; Dokumente werden vollständig offline zerlegt, eingebettet und durchsucht

Verbunden (gekoppelte Instanz)

Ort der Inferenz:
Auf der gekoppelten AnythingLLM-Desktop-App, dem Docker-Host oder der Cloud-Instanz
RAG / Dokumentenverarbeitung:
Nutzt die konfigurierte Vektordatenbank und das Embedding-Modell dieser Instanz — dieselbe RAG-Pipeline wie in der Desktop-App, synchronisiert auf das Smartphone

Ein in einem Modus erstellter Workspace wird nicht automatisch zum anderen Modus — ein Dokument, das in einem eigenständigen On-Device-Workspace hochgeladen wurde, bleibt lokal auf diesem Smartphone, solange Sie nicht zu einem verbundenen, mit einer Desktop-/Cloud-Instanz gekoppelten Workspace wechseln.

Ist AnythingLLM Mobile für iPhone verfügbar?

Android

Verfügbarkeit:
Verfügbar über Google Play und als direkter APK-Download
Anmerkungen:
Dies ist zum Zeitpunkt dieses Tests die einzige verfügbare mobile Plattform.

iPhone / iPad (iOS)

Verfügbarkeit:
Nicht veröffentlicht — zum Zeitpunkt dieses Tests kein App-Store-Eintrag für AnythingLLM Mobile gefunden
Anmerkungen:
iOS-Unterstützung wurde öffentlich im GitHub-Issue-Tracker des Projekts diskutiert, PromptQuorum fand jedoch keine offizielle App-Store-Veröffentlichung oder Ankündigung von Mintplex Labs mit einem konkreten Termin. Verlassen Sie sich nicht auf iOS-Verfügbarkeit aus Berichten anderer Seiten — prüfen Sie direkt im App Store, bevor Sie sie erwarten.

Mac / Windows / Linux

Verfügbarkeit:
Nicht zutreffend — diese Plattformen nutzen die separate AnythingLLM-Desktop-App oder den Docker-Container, nicht die mobile App
Anmerkungen:
iPhone-Nutzer, die AnythingLLM schon heute nutzen möchten, sollten die Desktop-App auf einem Mac verwenden oder auf eine andere mobile App wie PocketPal AI oder Private LLM ausweichen.

Was kostet AnythingLLM Mobile?

AnythingLLM Mobile selbst ist im eigenständigen On-Device-Modus kostenlos herunterzuladen und zu nutzen — ohne Abo und ohne In-App-Kauf, soweit dies aus der öffentlichen Dokumentation und dem Play-Store-Eintrag der App hervorgeht. Der Quellcode der mobilen App ist unter der MIT-Lizenz öffentlich auf GitHub verfügbar.

Kosten entstehen erst dadurch, womit Sie den verbundenen Modus koppeln. Eine eigene AnythingLLM-Desktop-App oder einen Docker-Container zur Kopplung selbst zu betreiben, ist kostenlos und quelloffen — genau wie die mobile App. Wer nicht selbst hosten möchte, kann bei Mintplex Labs AnythingLLM Cloud als separat gehosteten Dienst beziehen: einen Basic-Tarif für 50 $/Monat mit privater Instanz und eigener Subdomain, einen Pro-Tarif für 99 $/Monat mit zusätzlichem 72-Stunden-Support-SLA für größere Teams sowie einen individuell bepreisten Enterprise-Tarif mit On-Premise-Bereitstellung, SSO und RBAC. Bei beiden kostenpflichtigen Cloud-Tarifen müssen Sie Ihren eigenen LLM-API-Schlüssel mitbringen; Modellkosten sind nicht inbegriffen.

  • Mobile App (eigenständiger Modus): Kostenlos, unter der MIT-Lizenz quelloffen, kein Abo gefunden.
  • Mobile App (verbundener Modus): Die Kopplungsfunktion selbst ist kostenlos; die Kosten hängen vollständig davon ab, womit gekoppelt wird.
  • Selbst gehostete Desktop-/Docker-Instanz zur Kopplung: Kostenlos und quelloffen, genau wie die mobile App.
  • AnythingLLM Cloud Basic: 50 $/Monat — private Instanz, eigene Subdomain, eigener LLM-API-Schlüssel erforderlich.
  • AnythingLLM Cloud Pro: 99 $/Monat — zusätzlich 72-Stunden-Support-SLA, ausgerichtet auf größere Teams.
  • AnythingLLM Cloud Enterprise: Individuelle Preisgestaltung — On-Premise-Bereitstellung, SSO, RBAC, individuelle Integrationen.

Welche Funktionen bietet AnythingLLM Mobile?

Welche Funktionen verfügbar sind, hängt vom aktiven Modus ab — manche Fähigkeiten gibt es laut der eigenen Mobile-Dokumentation des Projekts ausschließlich im verbundenen Modus. Dazu zählen:

  • Chat auf dem Gerät. Chatten mit einem lokal heruntergeladenen Modell — nach dem anfänglichen Download ist keine Internetverbindung mehr nötig.
  • Offline-Dokumenten-RAG. Dokumente in einen eigenständigen Workspace hochladen und Antworten mit Quellenangaben erhalten, mithilfe des On-Device-Embedding-Modells und der lokalen Vektordatenbank.
  • Workspace-Synchronisierung (nur verbundener Modus). Chats, Threads und Workspaces, die auf einer gekoppelten Desktop-, Docker- oder Cloud-Instanz erstellt wurden, synchronisieren sich mit dem Smartphone und zurück.
  • Benutzerdefinierte Agenten-Tools (nur verbundener Modus). Auf der Desktop-Instanz konfigurierte Tool-Calling-Fähigkeiten von Agenten übertragen sich nach der Kopplung auf mobil; der eigenständige On-Device-Modus unterstützt keine benutzerdefinierte Tool-Konfiguration.
  • Kopplung per QR-Code. Die Verbindung mit einer selbst gehosteten Instanz erfolgt über einen QR-Code aus deren Einstellungen, statt Serveradressen und Zugangsdaten manuell einzugeben.
  • Keine Kontopflicht für den eigenständigen Modus. Chat und Dokumenten-RAG im eigenständigen Modus erfordern kein Konto bei Mintplex Labs.

Welche Hardware benötigt AnythingLLM Mobile?

Der eigenständige On-Device-Modus hängt vom RAM und der CPU/NPU des Smartphones ab, genau wie bei jeder anderen GGUF-basierten mobilen Chat-App — Mintplex Labs hat keine genauen RAM-Anforderungen pro Modell für die ausgewählten On-Device-Modelle veröffentlicht, weshalb allgemeine Richtwerte für lokale LLMs gelten. Als Faustregel für quantisierte GGUF-Modelle auf Smartphones benötigt ein kleines Modell im Bereich von 1–3 Milliarden Parametern etwa 2–3 GB freien RAM; größere Modelle benötigen entsprechend mehr.

Der verbundene Modus stellt praktisch keine Hardware-Anforderung an das Smartphone für die Inferenz, da das Sprachmodell auf der gekoppelten Desktop-, Docker- oder Cloud-Instanz läuft — das Smartphone benötigt lediglich genug Ressourcen für die App-Oberfläche und die Datensynchronisierung; die eigentlichen Hardware-Anforderungen verschieben sich auf das Gerät, das die verbundene AnythingLLM-Instanz hostet.

  • Eigenständiger Modus: mindestens 2–3 GB freien RAM für die kleinsten mitgelieferten Modelle einplanen; größere On-Device-Modelle benötigen mehr.
  • Speicherplatz: einige hundert Megabyte bis wenige Gigabyte freier Gerätespeicher pro heruntergeladenem On-Device-Modell.
  • Verbundener Modus: Die Hardware des Smartphones ist nicht der Flaschenhals — maßgeblich sind die Hardware-Anforderungen des Geräts, das Ihre Desktop-, Docker- oder Cloud-Instanz betreibt.
  • Netzwerk: Der eigenständige Modus funktioniert nach dem Modell-Download vollständig offline; der verbundene Modus benötigt ein gemeinsames lokales Netzwerk (bzw. eine Internetverbindung bei Cloud), um die gekoppelte Instanz zu erreichen.

Für wen eignet sich AnythingLLM Mobile

  • Android-Nutzer, die eine wirklich kostenlose, offline funktionierende KI-Chat- und Dokumenten-RAG-App möchten. Der eigenständige Modus benötigt weder Konto noch Server noch Abo — passend für Nutzer, die private On-Device-KI mit minimalem Einrichtungsaufwand wollen.
  • Bestehende Nutzer von AnythingLLM Desktop, Docker oder Cloud, die dieselben Workspaces auf dem Smartphone möchten. Die Synchronisierung im verbundenen Modus ist der klare Vorteil für alle, die bereits in das Desktop-/Server-Ökosystem von AnythingLLM investiert haben.
  • Nutzer, die mit der Wahl zwischen zwei unterschiedlichen Modi zurechtkommen. Den vollen Nutzen aus der App zu ziehen bedeutet zu verstehen, wann eigenständiger und wann verbundener Modus sinnvoll ist — das passt eher zu technisch interessierten Nutzern als zu jemandem, der ein einziges, fest definiertes Verhalten erwartet.
  • Teams, die ein mobiles Frontend ohne eigenes Hosting möchten. Die Kopplung eines Android-Smartphones mit einer kostenpflichtigen AnythingLLM-Cloud-Instanz ermöglicht mobilen Zugriff auf gemeinsame Workspaces, ohne selbst Infrastruktur zu betreiben.

Für wen eignet sich AnythingLLM Mobile nicht

  • iPhone- und iPad-Nutzer. Zum Zeitpunkt dieses Tests gibt es keine iOS-Version; für Apple-Geräte eignen sich stattdessen Private LLM oder PocketPal AI.
  • Nutzer, die einen einzigen einfachen Modus ohne Entscheidungen möchten. Die Trennung zwischen eigenständig und verbunden ist eine echte Design-Entscheidung, die Nutzer verstehen müssen; wer ein einziges, geführtes Erlebnis mit kuratierter Modellliste ohne Server-Kopplungskonzept möchte, ist bei PocketPal AI oder Loci besser aufgehoben.
  • Nutzer, die vollständige benutzerdefinierte Agenten-Tools ohne jeden Server möchten. Die Konfiguration benutzerdefinierter Agenten-Tools ist im aktuellen Design dieser App an den verbundenen Modus gebunden — wer diese Fähigkeit vollständig On-Device haben möchte, sollte sich heute anderswo umsehen.
  • Nutzer, die kostenlosen Enterprise-Support benötigen. Community-Support ist kostenlos, ein Support-SLA erfordert jedoch ein kostenpflichtiges AnythingLLM-Cloud-Pro- oder -Enterprise-Abo, nicht allein die mobile App.
  • Nutzer, die möglichst große On-Device-Modelle möchten. Der eigenständige Modus ist auf kleine, ausgewählte Modelle ausgelegt, die zum RAM eines Smartphones passen; wer größere Modelle benötigt, sollte entweder den verbundenen Modus mit einer leistungsfähigen Desktop-Instanz nutzen oder direkt auf Desktop-/Workstation-Hardware setzen.

AnythingLLM Mobile im Vergleich zu Alternativen

AnythingLLM Mobile

On-Device vs. Client:
Beides — eigenständige On-Device-Inferenz oder verbundener Client zu einer selbst gehosteten Instanz
Plattformen:
Nur Android
Lizenz / Kosten:
Kostenlos, quelloffen (MIT); gekoppelter Cloud-Dienst ab 50 $/Monat
Artikel über AnythingLLM Mobile (1)

Auch erwähnt in:

AnythingLLM Desktop/Server

On-Device vs. Client:
Führt LLM und RAG-Pipeline selbst aus, lokal oder per API
Plattformen:
Mac, Windows, Linux, Docker
Lizenz / Kosten:
Kostenlos, quelloffen (MIT); Cloud-Hosting ab 50 $/Monat

PocketPal AI

On-Device vs. Client:
Nur On-Device — kein Server-/Client-Modus
Plattformen:
iPhone/iPad, Android
Lizenz / Kosten:
Kostenlos, quelloffen (MIT)

Private LLM

On-Device vs. Client:
Nur On-Device — kein Server-/Client-Modus
Plattformen:
iPhone/iPad/Mac (nur Apple)
Lizenz / Kosten:
Kostenpflichtig, Einmalkauf; Closed Source

LLM Farm

On-Device vs. Client:
Nur On-Device, über llama.cpp
Plattformen:
iPhone/iPad
Lizenz / Kosten:
Kostenlos, quelloffen; die Verfügbarkeit im App Store hat sich Berichten zufolge im Lauf der Zeit geändert — aktuellen Eintrag vor der Installation prüfen
Artikel über LLM Farm (4)

Auch erwähnt in:

Layla

On-Device vs. Client:
Nur On-Device, plus optionale externe API-Anbieter
Plattformen:
Android, iPhone/iPad
Lizenz / Kosten:
Kostenlose Basisversion plus kostenpflichtige Tarife; Closed Source
Artikel über Layla (3)

Auch erwähnt in:

Maid

On-Device vs. Client:
Nur On-Device, über llama.cpp; unterstützt zusätzlich entfernte Ollama-/OpenAI-kompatible Endpunkte
Plattformen:
Android, iPhone/iPad
Lizenz / Kosten:
Kostenlos, quelloffen (MIT)
Artikel über Maid (4)

Auch erwähnt in:

RikkaHub

On-Device vs. Client:
Beides — lokale On-Device-Inferenz über einen LiteRT-Provider, plus Multi-Provider-Cloud-Client
Plattformen:
Android
Lizenz / Kosten:
Kostenlos, quelloffen
Artikel über RikkaHub (1)

Auch erwähnt in:

AnythingLLM Mobile und RikkaHub sind die beiden Apps in dieser Tabelle mit einem echten dualen On-Device-/Client-Design; alle anderen Zeilen laufen entweder strikt On-Device oder strikt als Client — dieser Unterschied ist vor der Installation wichtiger als eine einzelne Feature-Liste. Prüfen Sie aktuelle App-Store-/Play-Store-Einträge direkt, bevor Sie eine der aufgeführten Apps installieren, da sich die Verfügbarkeit ändern kann.

Häufig gestellte Fragen

Führt AnythingLLM Mobile KI-Modelle direkt auf dem Smartphone aus?

Ja, im eigenständigen Modus. Die App lädt ein kleines, ausgewähltes GGUF-Sprachmodell herunter und führt es über Cactus Compute, eine llama.cpp-basierte Inferenz-Engine für React Native, direkt auf dem Gerät aus — zusammen mit einem lokalen Embedding-Modell und einer Vektordatenbank für Offline-Dokumenten-RAG. Zusätzlich unterstützt die App einen verbundenen Modus, der sich mit einer selbst gehosteten AnythingLLM-Desktop- oder Cloud-Instanz koppelt; dort findet die Inferenz auf der gekoppelten Instanz statt, nicht auf dem Smartphone.

Gibt es AnythingLLM Mobile für iPhone?

Nein. Zum Zeitpunkt dieses Tests hat AnythingLLM Mobile keinen App-Store-Eintrag und ist ausschließlich für Android über Google Play oder als direkten APK-Download verfügbar. iOS-Unterstützung wurde im GitHub-Issue-Tracker des Projekts diskutiert, es gibt jedoch keine offizielle Ankündigung von Mintplex Labs zu einem Veröffentlichungstermin.

Ist AnythingLLM Mobile kostenlos?

Ja, die mobile App selbst ist kostenlos und unter der MIT-Lizenz quelloffen, ohne Abo für die eigenständige On-Device-Nutzung. Wer den verbundenen Modus nutzt, um sich mit einer gehosteten AnythingLLM-Cloud-Instanz statt Self-Hosting zu koppeln, zahlt für diesen separaten Cloud-Dienst ab 50 $/Monat — die mobile App und die Self-Hosting-Optionen für Desktop/Docker bleiben jedoch kostenlos.

Wer entwickelt AnythingLLM Mobile?

AnythingLLM Mobile wird von Mintplex Labs entwickelt, einem 2022 von Timothy Carambat gegründeten Unternehmen mit Sitz in Irvine, Kalifornien. Mintplex Labs durchlief den Sommer-2022-Jahrgang von Y Combinator und entwickelt auch die Desktop-/Server-Anwendung AnythingLLM.

Unter welcher Lizenz steht AnythingLLM Mobile?

AnythingLLM Mobile steht unter der MIT-Lizenz, einer permissiven Open-Source-Lizenz, und der Quellcode ist öffentlich auf GitHub verfügbar. Auch das Desktop-/Server-Projekt AnythingLLM, mit dem sich die App verbinden lässt, steht unter der MIT-Lizenz.

Wie verbinde ich AnythingLLM Mobile mit meiner Desktop-Instanz?

Aktivieren Sie unter Settings > Admin > General Ihrer AnythingLLM-Desktop-, Docker- oder Cloud-Instanz die "Netzwerkerkennung", öffnen Sie dann Settings > Tools > AnythingLLM Mobile, um einen Kopplungs-QR-Code anzuzeigen. Scannen Sie diesen Code in der App AnythingLLM Mobile, um die Verbindung herzustellen. Nach der Kopplung synchronisieren sich Workspaces, Chats und Threads zwischen Smartphone und verbundener Instanz.

Benötigt AnythingLLM Mobile eine Internetverbindung?

Für den eigenständigen Modus nicht, sobald das Modell einmal heruntergeladen wurde — Inferenz und Dokumenten-RAG laufen vollständig auf dem Gerät. Der verbundene Modus benötigt ein gemeinsames lokales Netzwerk, um eine selbst gehostete Desktop- oder Docker-Instanz zu erreichen, beziehungsweise eine Internetverbindung für eine gehostete AnythingLLM-Cloud-Instanz.

Kann AnythingLLM Mobile mit meinen Dokumenten chatten?

Ja, in beiden Modi. Im eigenständigen Modus werden Dokumente vollständig offline mit einem On-Device-Embedding-Modell und einer lokalen Vektordatenbank zerlegt, eingebettet und durchsucht. Im verbundenen Modus übernimmt die gekoppelte Desktop-, Docker- oder Cloud-Instanz das Dokumenten-RAG mit ihrer eigenen konfigurierten Vektordatenbank und ihrem Embedding-Modell — genau wie in der Desktop-App.

Was unterscheidet AnythingLLM Mobile von der Desktop-Version von AnythingLLM?

AnythingLLM Mobile ist eine eigenständige Android-App für Smartphones mit einem eigenen eigenständigen On-Device-Inferenzmodus zusätzlich zur Möglichkeit, sich mit einer Desktop-Instanz zu verbinden. Die im PromptQuorum-Vergleich AnythingLLM vs. PrivateGPT vs. Open WebUI behandelte Desktop-/Server-Anwendung AnythingLLM läuft auf Mac, Windows, Linux oder Docker und unterstützt eine größere Auswahl an LLM-Anbietern, Vektordatenbanken und Agenten-Konfigurationen als der eigenständige Modus der mobilen App.

Wie schneidet AnythingLLM Mobile im Vergleich zu PocketPal AI oder Private LLM ab?

PocketPal AI und Private LLM sind reine On-Device-Chat-Apps ohne Server-Verbindungsmodus; AnythingLLM Mobile ist in diesem Vergleich die einzige App mit einem echten dualen Design — eigenständige On-Device-Inferenz plus optionalem verbundenem Modus zu einer selbst gehosteten oder Cloud-AnythingLLM-Instanz. Wählen Sie AnythingLLM Mobile, wenn Sie diese Flexibilität möchten oder bereits AnythingLLM auf dem Desktop nutzen; wählen Sie PocketPal AI (kostenlos, iPhone/Android) oder Private LLM (kostenpflichtig, nur Apple), wenn Sie speziell eine iPhone-App suchen, da AnythingLLM Mobile nur für Android verfügbar ist.

Muss ich bei der Verwendung von AnythingLLM Mobile die DSGVO beachten?

Im eigenständigen On-Device-Modus verlassen Chatverläufe und Dokumente das Gerät nicht, was die datenschutzrechtliche Bewertung erleichtert, da keine Übermittlung an einen externen Verarbeiter im Sinne der DSGVO stattfindet. Im verbundenen Modus mit einer selbst gehosteten Desktop- oder Docker-Instanz im eigenen Netzwerk bleiben Daten unter eigener Kontrolle, was die Anforderungen aus Art. 28 DSGVO an Auftragsverarbeiter typischerweise vereinfacht. Wird stattdessen die gehostete AnythingLLM-Cloud-Instanz von Mintplex Labs (einem US-Unternehmen) genutzt, ist zu prüfen, ob ein Auftragsverarbeitungsvertrag angeboten wird und wie Mintplex Labs internationale Datenübermittlungen handhabt — diese Prüfung sollte vor dem produktiven Einsatz mit personenbezogenen Daten erfolgen, nicht danach. Diese Einschätzung ersetzt keine Rechtsberatung.

Ist AnythingLLM Mobile für den deutschen Mittelstand geeignet?

Der kostenlose, selbst hostbare Ansatz — Desktop- oder Docker-Instanz plus mobiler Kopplung — passt zu Mittelstandsunternehmen, die Dokumente und Chatverläufe innerhalb der eigenen IT-Infrastruktur halten möchten, ohne für eine gehostete Cloud-Lösung zu bezahlen. Der Nachteil ist, dass Betrieb, Absicherung und Backups einer selbst gehosteten Instanz in Eigenregie erfolgen müssen; Unternehmen ohne eigene IT-Administration sollten die kostenpflichtige AnythingLLM-Cloud-Option oder eine Lösung mit dediziertem Support in Betracht ziehen. Vor einem produktiven Einsatz mit sensiblen Geschäftsdaten empfiehlt sich eine Prüfung nach BSI-Grundschutz-Kriterien für die selbst gehostete Instanz.

Fazit

Das duale Design von AnythingLLM Mobile — ein echter eigenständiger On-Device-Modus neben einem optionalen verbundenen Modus — ist in dieser Kategorie ungewöhnlich, da sich die meisten mobilen KI-Apps vollständig für eine der beiden Architekturen entscheiden. Diese Flexibilität ist zugleich der größte Stolperstein für Erstnutzer: zu verstehen, welcher Modus gerade aktiv ist und was jeder Modus kann und nicht kann, erfordert mehr anfängliche Aufmerksamkeit als eine Einzelzweck-App wie PocketPal AI oder Private LLM. Die größere Einschränkung im Moment ist die Plattform: AnythingLLM Mobile ist nur für Android verfügbar, ohne App-Store-Veröffentlichung und ohne bestätigten Termin für iOS. Wählen Sie AnythingLLM Mobile, wenn Sie Android nutzen und entweder kostenlose Offline-KI ohne Einrichtungsaufwand möchten oder bereits AnythingLLM Desktop, Docker oder Cloud betreiben und dieselben Workspaces auf dem Smartphone möchten. Greifen Sie stattdessen zu Private LLM oder PocketPal AI, wenn Sie eine iPhone-App benötigen, und nutzen Sie die Desktop-Anwendung von AnythingLLM direkt, wenn Sie überhaupt keinen mobilen Client benötigen.

Quellen

← Zurück zu Lokale LLMs Pro