Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.
Startseite/Lokale LLMs Pro
Mobile & Edge LLMs

Lokale KI auf Android 2026: Was möglich ist, was nicht, und die Apps, die wir behandeln

·45 Min. LesezeitVon · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Ja: Ein aktuelles Android-Telefon kann offline eine nützliche lokale KI ausführen, aber nur kleine Modelle. Rechnen Sie mit 1 bis 4 Milliarden Parametern bei 6 bis 8 GB RAM und 7 bis 8 Milliarden bei niedriger Bit-Quantisierung auf 12 bis 16 GB. Chat, Kamerafragen, Diktat, Dokumentenfragen und Übersetzung funktionieren; die Qualität von Spitzenmodellen, lange Kontexte, anhaltende Geschwindigkeit und ein dauerhaft aktiver Hintergrundassistent funktionieren nicht. Android bietet zusätzliche Möglichkeiten, die breiter oder einfacher sind als auf dem iPhone: Apps außerhalb des Stores installieren, Termux und das Telefon als lokalen API-Server betreiben.

Wichtigste Erkenntnisse

  • Lokale KI auf Android ist real und offline-fähig, und sie ist KI mit kleinen Modellen. Telefone mit 6 bis 8 GB RAM bewältigen Modelle mit 1 bis 4 Milliarden Parametern; Telefone mit 12 bis 16 GB können 7 bis 8 Milliarden bei niedriger Bit-Quantisierung aufnehmen. Antworten auf Cloud-Niveau, lange Dokumente und schnelle lange Antworten sind außer Reichweite.
  • Der RAM entscheidet, was passt; Speicherbandbreite, Hitze und der Chip entscheiden, wie schnell es läuft. Ein Modell muss neben Android selbst in den freien RAM passen, und die Erzeugungsgeschwindigkeit wird dadurch begrenzt, wie schnell das Telefon das Modell bei jedem Token aus dem Speicher lesen kann.
  • Hinter fast jeder App stehen vier Engines: llama.cpp (GGUF-Dateien, CPU und manchmal GPU), Google LiteRT-LM (Gemma und andere Modelle, GPU und zunehmend NPU), MLC (kompilierte Modelle, OpenCL-GPU) und Google AICore mit Gemini Nano (Systemmodell, nur auf unterstützten Telefonen, Apps greifen über ML Kit darauf zu).
  • Die NPU ist der am schwersten erreichbare Teil des Telefons. Google, Qualcomm und MediaTek veröffentlichen NPU-Wege über LiteRT und Qualcomm GenieX, aber sie erfordern pro Chip kompilierte Modelle. Eine generische per Sideloading installierte GGUF-App läuft in der Regel auf CPU oder GPU.
  • Android bietet in mehrfacher Hinsicht mehr Spielraum als das iPhone: Apps lassen sich außerhalb von Google Play installieren, Termux liefert ein Linux-Terminal auf dem Telefon, Telefone können eine OpenAI-kompatible API für Ihren Laptop bereitstellen, und der GGUF-Modellimport ist eine normale Funktion. Der Preis ist Fragmentierung: Die Ergebnisse unterscheiden sich je nach Marke, Chip und Akku-Einstellungen.
  • Die meisten Android-Apps in unserem Verzeichnis sind in diesem Leitfaden einer Aufgabe zugeordnet: Chat, Vision, Sprache, Dokumente, Übersetzung, Bilderzeugung, Fotos, Notizen, Smart Home und Agenten, Entwicklerwerkzeuge sowie Remote-Clients für Ihren eigenen Server.
  • „Zero Telemetry“ ist eine Behauptung, keine Garantie. Inferenz auf dem Gerät hält Prompts von Servern fern, aber die App kann dennoch Analysen, Werbung oder Absturzberichte versenden. Lesen Sie die Datensicherheits-Angaben (Data safety) und die Datenschutzerklärung zusammen; sie widersprechen sich häufiger, als man erwarten würde.
  • Heute nicht möglich: die Qualität von Spitzenmodellen offline, Modelle mit 70 Milliarden Parametern, Kontexte mit Millionen Token, ein dauerhaft aktiver Hintergrundassistent, den Android nicht beendet, und Zugriff auf Gemini Nano für jede App auf jedem Telefon.
Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Android-Telefone können 2026 lokale KI offline ausführen: Chat, Kamerafragen, Diktat, Dokumentenfragen und Übersetzung funktionieren mit Modellen von etwa 1 bis 4 Milliarden Parametern, auf Telefonen mit 12 bis 16 GB sind es 7 bis 8 Milliarden. Dieser Leitfaden zeigt die wichtigsten Fähigkeiten, die harten Grenzen, die Realität bei Chips und RAM und ordnet die Android-Apps in unserem Verzeichnis der Aufgabe zu, die sie am besten erledigen.

Lokale KI auf Android 2026: Was möglich ist, was nicht, und die Apps, die wir behandeln

Hier starten: Drei Apps zum Installieren

Wenig Zeit? Installieren Sie eine dieser drei Apps, laden Sie ein Modell herunter, das zum RAM Ihres Telefons passt, und testen Sie es einmal im Flugmodus. Die Empfehlungen stammen aus den Kapiteln und Testberichten dieses Leitfadens, nicht aus Benchmarks; der Rest des Leitfadens erklärt jede Wahl.

Weitere gute Einstiegspunkte: Auf einem Telefon, auf dem AICore Gemini Nano unterstützt, etwa einem Pixel 9 oder 10, probieren Sie PAIOS, das das Systemmodell von Google ohne Download nutzt; für Kamerafragen und Gemma-Modelle verwenden Sie Google AI Edge Gallery; um größere Modelle von Ihrem Telefon aus zu betreiben, verbinden Sie es mit Ollama oder LM Studio auf Ihrem eigenen Computer über LocalMind.

📍 In einem Satz

Einsteiger können mit PocketPal AI beginnen, Fortgeschrittene mit Maid und einem größeren GGUF-Modell, Entwickler mit der ML Kit Prompt API oder LiteRT-LM; in jedem Fall richtet sich die Modellgröße nach dem RAM des Telefons.

💬 In einfachen Worten

Eine App, ein auf Ihren RAM abgestimmtes Modell, ein Flugmodus-Test.

Einsteiger

Installieren oder nutzen:
PocketPal AI
Erstes Modell:
1 bis 2B bei 4 bis 6 GB RAM; 3 bis 4B bei 8 GB
Warum diese Wahl:
Kostenlos, MIT-lizenziert und ohne Konto. Sie wählen das Modell selbst, und ein zu großes Modell lässt sich schlicht nicht laden; gehen Sie dann eine Größe nach unten.

Fortgeschrittene

Installieren oder nutzen:
Maid
Erstes Modell:
4 bis 8B bei 12 GB; 7 bis 8B bei 16 GB, mit kurzem Kontext
Warum diese Wahl:
Ein GGUF-Runner für das größte Modell, das Ihr Telefon aufnehmen kann. Rechnen Sie mit einem langsameren, heißeren Telefon und halten Sie den Kontext kurz.

Entwickler

Installieren oder nutzen:
ML Kit Prompt API oder LiteRT-LM
Erstes Modell:
Systemmodell von Google oder eigenes Modell
Warum diese Wahl:
Die Prompt API deckt kleine Textaufgaben mit dem Systemmodell ab; LiteRT-LM ist für Ihr eigenes Modell. Das Kapitel „Wege für Entwickler“ vergleicht die übrigen Routen.

Sechs schnelle Antworten vor der Installation

Das sind die sechs Fragen, die Leser zuerst stellen; jede Antwort verweist auf das Kapitel, das sie erklärt.

📍 In einem Satz

RAM bestimmt die Modellgröße, 3 bis 6 GB freier Speicherplatz fassen ein erstes Modell, und ein Flugmodus-Test zeigt, ob die App offline funktioniert.

💬 In einfachen Worten

RAM wählt das Modell, Speicher fasst es, und der Flugmodus beweist es.

  • Welches Modell soll ich herunterladen? Richten Sie sich nach Ihrem RAM: 1 bis 2B bei 4 bis 6 GB, 3 bis 4B bei 8 GB und 4 bis 8B bei 12 bis 16 GB, wobei 7 bis 8B nur mit kurzem Kontext passt. Im Zweifel nehmen Sie das kleinere. Siehe unten „RAM-Stufen“.
  • Wie viel Speicherplatz brauche ich? Halten Sie 3 bis 6 GB für ein erstes Modell frei, denn Modelldateien werden in Gigabyte gemessen. Siehe „Erster Start in 15 Minuten“.
  • Wie schnell läuft es? PromptQuorum hat für diesen Leitfaden keine neuen Geschwindigkeitstests durchgeführt. Die Geschwindigkeit wird durch die Speicherbandbreite begrenzt, deshalb antwortet ein kleineres Modell schneller; achten Sie darauf, wie schnell bei Ihrem ersten Prompt die Wörter erscheinen, und betrachten Sie das als Ihre Ausgangsbasis. Siehe das Kapitel „Chips“.
  • Welche App ist privat? Keine App darf als privat vorausgesetzt werden. Inferenz auf dem Gerät hält Ihre Prompts von den Inferenz-Servern eines Anbieters fern, aber eine App kann dennoch Analysen senden. Prüfen Sie die Datensicherheits-Angaben (Data safety), die Datenschutzerklärung und die Berechtigungen und führen Sie den Flugmodus-Test durch; Open-Source-Apps wie PocketPal AI lassen sich prüfen, während Aussagen von Closed-Source-Apps auf Vertrauen beruhen. Siehe „Datenschutz und Telemetrie in der Realität“.
  • Was geht ohne Internet? Laut der Fähigkeitenübersicht dieses Leitfadens können Chat, Kamerafragen, Diktat, Dokumentfragen und Übersetzung nach dem Download mit geeigneten Modellen offline funktionieren; Bilderzeugung und große Modelle sind langsam oder brauchen einen Server. Siehe „Die Fähigkeitenübersicht“.
  • Was lese ich als Nächstes? Folgen Sie „Erster Start in 15 Minuten“, nutzen Sie „Übersicht: Telefonklasse, App, Modellgröße“ als Ein-Tabellen-Spickzettel und öffnen Sie den „Entscheidungspfad“, wenn Sie eine bestimmte Aufgabe im Sinn haben.

Schnelle Fakten

  • Praktische Modellgrößen: 1 bis 2 Milliarden Parameter bei 4 bis 6 GB RAM; 3 bis 4 Milliarden bei 8 GB; 7 bis 8 Milliarden bei niedriger Bit-Quantisierung auf 12 bis 16 GB. Das sind Faustregeln aus Rechnungen zur Dateigröße, keine Benchmark-Ergebnisse.
  • Gemini Nano über ML Kit GenAI: Die Prompt API nimmt Text und bis zu 10 Bilder entgegen, mit einer Eingabe von unter etwa 4.000 Token, und funktioniert nur, solange die aufrufende App im Vordergrund ist (Google).
  • Gemma 4 E2B und E4B: Google nennt sie die Grundlage von Gemini Nano 4 und sagt, E2B sei bis zu dreimal schneller als E4B; die AICore Developer Preview wurde am 2. April 2026 geöffnet (Android Developers Blog).
  • NPU-Wege: LiteRT hat Beschleuniger für Qualcomm- und MediaTek-NPUs; Google berichtet für Gemma 3n E2B auf einer Dimensity-9500-NPU (Vivo X300 Pro, Google-Angaben, 4K-Kontext) über 1.600 Token/Sek. beim Prefill und 28 Token/Sek. beim Decode.
  • Pixel-TPU für Entwickler: Das Tensor SDK erreichte am 19. Mai 2026 den Beta-Status und listet Pixel 10, 10 Pro, 10 Pro XL und 10 Pro Fold.
  • Android-Versionen: Google AI Edge Gallery benötigt Android 12 oder neuer; die NPU-Dokumentation für LiteRT verlangt API-Level 31 oder höher; AppFunctions benötigt Android 16 oder neuer.
  • Termux: Installieren Sie es über F-Droid oder GitHub; die Google-Play-Version ist von den Termux-Betreuern als experimentell markiert, und das Mischen von Quellen bricht Updates.
  • Behandelte Apps: die Android-Apps im PromptQuorum-Verzeichnis, die wir anhand öffentlicher Quellen geprüft haben, jeweils einmal mit ihrer eigenen Review verlinkt, wo es passt; die vollständige Liste finden Sie im Verzeichnis.
  • iPhone-Leser? Siehe den Schwesterleitfaden Lokale KI auf dem iPhone.

Die Fähigkeitenübersicht: Was funktioniert, was teilweise, was nicht

Die meisten alltäglichen KI-Aufgaben funktionieren auf einem Android-Telefon ohne Verbindung; Aufgaben, die Größe oder ständige Hintergrundaktivität erfordern, funktionieren nicht. Die Tabelle nennt pro Fähigkeit das Urteil, eine App für den Einstieg und die harte Grenze. Jedes Kapitel unten listet die von uns behandelten Apps für diese Aufgabe.

„Funktioniert“ heißt, dass kleine Modelle auf dem Gerät die Aufgabe heute akzeptabel erledigen. „Teilweise“ heißt, dass es mit einem Server in der Schleife, nur mit einer App oder mit deutlichen Qualitätsgrenzen funktioniert. „Nein“ heißt, dass die Grenze physikalisch oder eine Plattformregel ist, nicht eine fehlende App.

📍 In einem Satz

Auf Android laufen 2026 Chat, Kamerafragen, Diktat, Übersetzung und Fragen zu kurzen Dokumenten offline auf kleinen Modellen, während große Modelle, lange Kontexte und dauerhaft aktive Assistenten nicht laufen.

💬 In einfachen Worten

Stellen Sie sich ein Modell auf dem Gerät wie einen fähigen Praktikanten mit einem kleinen Schreibtisch vor: schnell, privat und offline, aber nicht in der Lage, eine ganze Bibliothek zu halten oder bei schweren Fragen mit einem Cloud-Modell mitzuhalten.

Fähigkeit
Auf dem Telefon?
Einstieg mit
Harte Grenze
Offline-ChatFunktioniertPocketPal AINur kleine Modelle
Kamera- und BildfragenFunktioniertGoogle AI Edge GalleryBraucht ein Modell mit Vision-Fähigkeit
Diktat (Sprache zu Text)FunktioniertPrivate MindGenauigkeit je nach Sprache unterschiedlich
Antworten vorlesenFunktioniertToolNeuronStimmqualität je nach App unterschiedlich
Offline-SprachassistentTeilweiseHome Assistant AssistAndroid kann Hintergrund-Listener beenden
Fragen zu Dokumenten und PDFsFunktioniertAnythingLLM MobileKontextfenster kleiner Modelle
ÜbersetzungFunktioniertLLM HubSchwächer bei seltenen Sprachen
BilderzeugungTeilweiseTokForgeLangsamer als eine Desktop-GPU
FotosucheTeilweiseEnte PhotosLäuft oft auf einem Server oder Desktop
KI in Notizen und LesezeichenTeilweiseKarakeepKI läuft meist auf Ihrem Server
Smart-Home-ZentraleTeilweiseScryptedDas Telefon ist Client, nicht das Gehirn
Agenten, die das Telefon steuernFrühes StadiumKai 9000Systemschnittstellen noch in der Vorschau
Telefon als schlanker ClientFunktioniertLocalMindIhr Server muss eingeschaltet sein
KI in die eigene App einbauenFunktioniertRunAnywhereNPU braucht Builds pro Chip
Modelle mit 70 Milliarden ParameternNeinStattdessen einen Server nutzenRAM
Antworten auf Cloud-Niveau offlineNeinStattdessen einen Server nutzenModellgröße

💡Tipp: Steht bei einer Aufgabe „Teilweise“, ist die übliche Lösung das Remote-Muster: Das Telefon ist Bildschirm und Mikrofon, und ein Computer oder Heimserver führt das größere Modell aus. Siehe das Kapitel zum Remote-Modus.

Wie dieser Leitfaden entstanden ist

Dies ist eine Schreibtisch-Recherche-Übersicht, kein Benchmark-Bericht. Sie wurde von Hans Kuepper aus der im November 2026 gelesenen Dokumentation von Google, Qualcomm, MediaTek und Termux sowie aus den einzelnen PromptQuorum-Reviews geschrieben, die in jedem Kapitel verlinkt sind. PromptQuorum hat für diesen Leitfaden keine neuen Geschwindigkeitstests durchgeführt.

Viele der verlinkten Reviews geben an, dass sie auf Store-Einträgen, Datenschutzerklärungen und Hersteller-Dokumentation beruhen und dass PromptQuorum die App nicht ausgeführt hat. Wo eine Aussage vom Hersteller oder von Google stammt, steht das im Text. Wo wir etwas nicht an einer Primärquelle bestätigen konnten, steht im Text „unsicher“, oder es wird weggelassen.

Geschwindigkeitswerte erscheinen nur, wenn eine genannte Quelle sie veröffentlicht hat, mit Nennung des Geräts. Modellgrößen, RAM-Stufen und die „Obergrenze der Token pro Sekunde“ sind Rechnungen und als solche gekennzeichnet.

📍 In einem Satz

Dieser Leitfaden kombiniert offizielle Plattform-Dokumentation mit PromptQuorum-App-Reviews und führt keine neuen Benchmarks durch, sodass jede Zahl entweder belegt oder als Rechnung gekennzeichnet ist.

💬 In einfachen Worten

Nennt ein Satz eine Geschwindigkeit, ein Gerät und eine Quelle, wurde er von dieser Quelle veröffentlicht; hat er keine Quelle, ist er eine Faustregel.

RAM-Stufen: Welche Modellgröße Ihr Telefon aufnehmen kann

Der RAM ist der erste Filter: Das Modell muss neben Android und Ihren anderen Apps in den freien Speicher passen. Ein 4-Bit-quantisiertes Modell braucht für die Gewichte grob 0,5 bis 0,6 GB pro Milliarde Parameter, plus Arbeitsspeicher, der mit der Kontextlänge wächst. Android, der Launcher und Hintergrunddienste belegen typischerweise mehrere Gigabyte des Telefon-RAMs, ein Telefon mit 12 GB gibt einer App also keine 12 GB.

Die Geschwindigkeit folgt der Speicherbandbreite. Für ein Token muss der größte Teil des Modells aus dem Speicher gelesen werden, die Obergrenze liegt also bei etwa Bandbreite geteilt durch Modellgröße. Unser Leitfaden zur On-Device-KI des Galaxy S26 wendet das an: 85,6 GB/s über einem 3,5 GB großen 4-Bit-Modell ergeben eine theoretische Obergrenze von nahe 24 Token pro Sekunde. Reale Apps liegen unter der Obergrenze, und ein heißes Telefon liegt noch tiefer.

Betrachten Sie die Tabelle als Ausgangspunkt. Mehrere geprüfte Apps veröffentlichen keine feste RAM-Untergrenze und sagen, der Bedarf hänge vom geladenen Modell ab; andere setzen eigene Grenzen. Ensu deaktiviert den Chat auf Telefonen mit weniger als 4 GB RAM, und der Google-Play-Eintrag von Private Mind empfiehlt für größere Modelle ein Telefon mit 4 GB oder mehr.

📍 In einem Satz

Ein Telefon mit 6 bis 8 GB RAM nimmt Modelle von etwa 1 bis 4 Milliarden Parametern bei 4-Bit-Quantisierung auf, und Telefone mit 12 bis 16 GB können 7 bis 8 Milliarden halten.

💬 In einfachen Worten

Quantisierung verkleinert ein Modell, indem jedes Gewicht in weniger Bit gespeichert wird; ein 4-Bit-Modell ist grob ein Viertel so groß wie ein 16-Bit-Modell, bei geringem Qualitätsverlust.

Telefon-RAM
Modellgröße (4-Bit)
Beispielmodelle
Was Sie erwarten können
4 GB0,5 bis 1BQwen3 0.6B, Gemma 3 1BKurze Antworten, einfache Aufgaben
6 GB1 bis 2BQwen3 1.7B, SmolLM2 1.7BBrauchbarer Chat, einfache Zusammenfassungen
8 GB3 bis 4BPhi-4 Mini, Qwen3 4BBeste Balance auf den meisten Telefonen
12 GB4 bis 8B (knapp)Gemma 4 E4B, Llama 3.2 3B7 bis 8B nur mit kleinem Kontext
16 GB und mehr7 bis 8B7- bis 8B-Instruct-ModelleLangsamer, heißer, längere Wartezeiten

⚠️Warnung: Googles eigene Seiten nennen in den von uns gelesenen Quellen keine RAM-Untergrenze für Gemma 4 E2B oder E4B. Behandeln Sie den RAM-Bedarf als unsicher und prüfen Sie die Modellliste der App auf Ihrem Telefon.

💡Tipp: Lässt sich ein Modell nicht laden, liegt die Ursache meist am freien RAM, nicht am gesamten RAM. Schließen Sie andere Apps, starten Sie das Telefon neu und wählen Sie das nächstkleinere Modell, bevor Sie der App die Schuld geben.

Chips: Snapdragon, Tensor, Dimensity, Exynos

Aktuelle Flaggschiff-Chips enthalten eine NPU, aber eine per Sideloading installierte Chat-App darf sie selten nutzen. Die vorhandenen NPU-Wege werden von den Chipherstellern und von Google veröffentlicht und erfordern Modelle, die für den jeweiligen Chip vorbereitet wurden. Apps auf Basis generischer llama.cpp-Builds laufen meist auf der CPU, manchmal auf der GPU.

Snapdragon. Qualcomms GenieX unterstützt Android auf dem Snapdragon 8 Elite und 8 Elite Gen 5, führt GGUF-Modelle über llama.cpp mit einem Hexagon-Backend aus und empfiehlt Q4_0-Quantisierung für den NPU-Weg; die Seite nennt keinen Veröffentlichungsstatus. Googles LiteRT-Qualcomm-Beschleuniger berichtet für FastVLM-0.5B auf der NPU des Snapdragon 8 Elite Gen 5 0,12 Sekunden bis zum ersten Token und über 100 Token pro Sekunde beim Decode (Xiaomi 17 Pro Max, Google-Angaben). Das sind heute Entwicklerwege, keine Schaltflächen in einer Chat-App.

Google Tensor. Das Pixel 9 führt Gemini Nano über AICore und ML Kit aus; das Pixel 10 mit Tensor G5 ist für die Unterstützung von Gemini Nano 4 gelistet. Für eigene Modelle erreichte Googles Tensor SDK am 19. Mai 2026 den Beta-Status für die Pixel-10-Familie und führt Modelle über LiteRT auf der TPU aus. Ob eine bestimmte Chat-App eines Drittanbieters sie bereits nutzt, sollten Sie pro App prüfen.

MediaTek Dimensity. Google und MediaTek haben einen LiteRT-NeuroPilot-Beschleuniger mit vorkompilierten Modellen veröffentlicht (Qwen3 0.6B, Gemma 3 270M, Gemma 3 1B, Gemma 3n E2B, EmbeddingGemma 300M). Der Benchmark-Chip ist der Dimensity 9500 in einem Vivo X300 Pro, wo Google für Gemma 3n E2B über 1.600 Token pro Sekunde beim Prefill und 28 Token pro Sekunde beim Decode mit 4K-Kontext berichtet. Die Konvertierung eines eigenen Gemma-Modells für die MediaTek-NPU war als „bald“ angekündigt.

Samsung Exynos. In unserem Galaxy-S26-Artikel nutzen S26 und S26+ in Europa, Korea und den meisten anderen Märkten den Exynos 2600 und in den USA, China und Japan einen Snapdragon, während der S26 Ultra überall den Snapdragon 8 Elite Gen 5 verwendet. Wir haben keine Primärdokumentation eines offenen NPU-Wegs für Sprachmodell-Apps von Drittanbietern auf Exynos gefunden; gehen Sie bei per Sideloading installierten Apps daher von CPU oder GPU aus. Samsungs eigene Bilderzeugung EdgeFusion auf der Exynos-2600-NPU ist eine Pipeline von Samsung und Nota AI, nichts, was eine generische App erbt.

📍 In einem Satz

Snapdragon, Tensor und Dimensity haben alle veröffentlichte NPU- oder TPU-Wege über LiteRT oder Hersteller-SDKs, aber eine generische per Sideloading installierte GGUF-App läuft meist auf CPU oder GPU, und für Exynos gibt es keinen dokumentierten offenen Weg für Sprachmodelle von Drittanbietern.

💬 In einfachen Worten

Die NPU ist eine Überholspur, für die ein Modell pro Chip neu gebaut werden muss; Apps, die eine universelle Modelldatei ausliefern, können sie nicht nutzen.

Chipfamilie
Offener NPU- oder TPU-Weg
Wo dokumentiert
Status
Snapdragon 8 Elite / Gen 5Ja, Builds pro ChipLiteRT, Qualcomm GenieXEntwicklerwege
Tensor G5 (Pixel 10)Ja, über Tensor SDKGoogle Developers BlogBeta (Mai 2026)
Tensor G4 (Pixel 9)Gemini Nano über ML KitML Kit GenAIUnterstütztes Gerät
Dimensity 9500Ja, NeuroPilotGoogle Developers BlogVorkompilierte Modelle
Exynos 2600Für LLMs nicht dokumentiertNichts gefundenVon CPU oder GPU ausgehen
Ältere oder Mittelklasse-ChipsSeltenUnterschiedlichCPU, kleine Modelle

⚠️Warnung: Wählen Sie ein Telefon für lokale KI nicht anhand einer NPU-„TOPS“-Zahl aus. Der NPU-Spitzendurchsatz sagt wenig über eine Chat-App aus, die die NPU nie nutzt. RAM-Größe, Speicherbandbreite und Kühlung entscheiden die meisten realen Ergebnisse.

Die vier wichtigsten Engines hinter Android-KI-Apps

Nahezu jede App in diesem Leitfaden ist ein Frontend für eine von vier Engines, und die Engine erklärt Stärken und Grenzen der App besser als deren Marketing. Wer die Engine kennt, weiß, welche Modelldateien funktionieren, ob die NPU genutzt werden kann und wohin Ihre Daten gehen.

📍 In einem Satz

Die meisten On-Device-KI-Apps auf Android laufen auf einer von vier Haupt-Engines: llama.cpp für GGUF-Dateien, LiteRT-LM für Modelle der Gemma-Klasse, MLC für kompilierte Modelle oder Google AICore für das System-Modell Gemini Nano.

💬 In einfachen Worten

Die Engine entscheidet, welche Modelldateien Sie laden können und wie viel vom Chip genutzt wird; die App entscheidet, wie angenehm sie zu bedienen ist.

llama.cpp

Führt aus:
GGUF-Dateien von Hugging Face; die breiteste Modellauswahl, und die meisten Apps lassen Sie eine eigene Datei importieren.
Beschleunigung:
Standardmäßig CPU; einige Apps ergänzen die GPU. In Qualcomm GenieX gibt es ein Hexagon-Backend.
Beispiel-Apps:
PocketPal AI, Maid, LM Playground, KernelAI
Artikel über llama.cpp (9)

+180 weitere nicht angezeigt

LiteRT-LM

Führt aus:
Googles Edge-Laufzeit für Gemma und andere Modelle in .litertlm-Dateien, mit Vision- und Audio-Eingabe und Funktionsaufrufen. Google listet die Familien Gemma 4, Gemma 3n, Llama, Phi-4 und Qwen.
Beschleunigung:
GPU- und NPU-Wege; die APIs für Python, Kotlin und C++ sind als stabil markiert.
Beispiel-Apps:
Google AI Edge Gallery, OlliteRT, MemoryAI

MLC LLM

Führt aus:
Im Voraus für ein Ziel kompilierte Modelle; Sie erhalten eine kuratierte Bibliothek, nicht beliebige Dateien.
Beschleunigung:
OpenCL-GPU auf Android; die Unterstützung ist nach Berichten auf verschiedenen Telefonen uneinheitlich (siehe die Review zu MLC Chat).
Beispiel-Apps:
MLC Chat, MLC LLM
Artikel über MLC LLM (7)

Auch erwähnt in:

AICore mit Gemini Nano

Führt aus:
Googles Systemmodell, von Android verwaltet und aktualisiert; Apps erreichen es über ML Kit GenAI, sodass in der App nichts heruntergeladen werden muss.
Beschleunigung:
Was das unterstützte Telefon bietet; Apps können die Hardware nicht wählen.
Beispiel-Apps:
PAIOS

💡Tipp: Es gibt weitere Engines. Private Mind läuft auf der Bibliothek React Native ExecuTorch, und Ensu und Atomic Chat bringen eigene Stacks mit. Die vier oben decken das meiste ab, was Sie installieren werden.

Wo Android mehr Spielraum bietet als das iPhone

Android ist die offenere Plattform für lokale KI in dem Sinn, dass Apps eigene Modelle und Engines laden können: Sie können Apps außerhalb des Stores installieren, eine Linux-Userland ausführen und das Telefon in einen Server verwandeln. Der Preis ist Fragmentierung. Ein Rezept, das auf einem Galaxy-Flaggschiff funktioniert, kann auf einem Mittelklasse-Telefon einer anderen Marke scheitern, und eine herstellerneutrale Kompatibilitätsliste haben wir nicht gefunden.

Für die Apple-Seite jedes Vergleichs unten lesen Sie Lokale KI auf dem iPhone. Beide großen Ökosysteme nebeneinander finden Sie unter Galaxy vs. iPhone: KI auf dem Gerät.

📍 In einem Satz

Android erlaubt per Sideloading installierte APKs, Termux, F-Droid und auf dem Telefon gehostete API-Server freier als iOS, zum Preis uneinheitlicher Ergebnisse über Marken und Chips hinweg.

💬 In einfachen Worten

Android lässt Sie tiefer experimentieren; das iPhone liefert besser vorhersagbare Ergebnisse auf weniger Geräten.

  • Sideloading und alternative Stores. MLC Chat wird als APK aus den GitHub-Releases des Herstellers ausgeliefert, und die Google AI Edge Gallery bietet eine APK für Personen ohne Google Play. Dieselbe App kann an mehreren Orten existieren, bleiben Sie also pro App bei einer Quelle.
  • Termux. Ein echtes Terminal auf dem Telefon, installierbar über F-Droid oder GitHub, kann llama.cpp ohne Root bauen und ausführen. Hier greifen auch die Hintergrundlimits von Android am stärksten (siehe das Kapitel zum Akku).
  • Das Telefon als Server. OlliteRT, Mobile LM Server, Ollama Local AI und ToolNeuron stellen einen Endpunkt im OpenAI-Stil bereit, damit andere Geräte in Ihrem Netzwerk das Modell des Telefons nutzen können.
  • Modellauswahl. GGUF-Import ist in Android-Apps eine normale Funktion, sodass Sie fast jedes kleine Open-Weight-Modell laden können, das ein Entwickler veröffentlicht, nicht nur eine kuratierte Liste.
  • Hardware-Vielfalt. Gaming-Telefone mit 16 GB RAM oder mehr und aktiver Kühlung können mehr Spielraum bieten als die iPhones, mit denen wir vergleichen. Die Kehrseite: Billige Telefone mit 4 GB sind verbreitet, und sie sind schlechte Maschinen für lokale KI.
  • Wo das iPhone einfacher ist. Ein Hersteller, ein Speicherbudget pro Modellklasse und weniger Überraschungen durch Akku-Optimierung machen iPhone-Ergebnisse leichter vorhersagbar. Wenn Vorhersagbarkeit wichtiger ist als Flexibilität, passt der Schwesterleitfaden womöglich besser zu Ihnen.

Chat-Assistenten in unserem Verzeichnis, nach Typ

Offline-Chat ist die am breitesten unterstützte Aufgabe auf Android in unserem Verzeichnis, und die App-Wahl ist meist eine Wahl zwischen Kompromissen: Open Source oder Closed Source, beliebige GGUF-Datei oder kuratierte Liste, kostenlos oder kostenpflichtig. Jede Zeile unten sagt, was die App leistet, und nennt die ehrliche Grenze. Apps, die zu einer spezielleren Aufgabe passen, erscheinen im Kapitel dieser Aufgabe erneut.

Für einen Geschwindigkeits- und Einrichtungsvergleich der bekanntesten Apps lesen Sie Beste lokale LLM-Apps für Android. Zur Modellwahl lesen Sie Mobile LLM-Modelle: Phi-4, Gemma und SmolLM und die Übersicht Mobile lokale LLMs. Tablet-Besitzer ergänzen KI auf einem Tablet ausführen.

📍 In einem Satz

Dutzende Android-Apps führen Chat-Modelle auf dem Telefon aus; Open-Source-GGUF-Runner bieten die breiteste Modellauswahl, Closed-Source-Apps bieten geführte Downloads, und Google AI Edge Gallery ist Googles eigenes Frontend für Modelle der Gemma-Klasse.

💬 In einfachen Worten

Wählen Sie einen Open-Source-Runner, wenn Sie Modelle selbst auswählen möchten, und eine geführte App, wenn es in fünf Minuten funktionieren soll.

Open-Source- und vom Hersteller gebaute Runner (hier beginnen)

  • PocketPal AI: kostenloser GGUF-Runner unter MIT-Lizenz für Android und iPhone, ohne Konto; ein optionaler Community-Marktplatz verkauft Premium-Presets. Grenze: Sie wählen das Modell selbst, und die App hat keine feste RAM-Untergrenze, ein zu großes Modell lässt sich also einfach nicht laden.
  • Google AI Edge Gallery: Googles kostenloses Schaufenster für On-Device-Modelle auf LiteRT, mit Chat, Bildfragen, Audio-Transkription und Prompt-Tests. Sie braucht Android 12 oder neuer und wird über Google Play oder als APK installiert. Grenze: Google bezeichnet die App als experimentelle Beta. Das Datenschutzlabel im App Store nennt einige Geräte-Diagnosedaten (laut unserer Review der iPhone-Version); prüfen Sie die Android-Datensicherheits-Angaben, bevor Sie sie als frei von Telemetrie behandeln.
  • Maid: MIT-Lizenz; führt GGUF-Modelle über llama.cpp aus oder verbindet sich mit Remote-Anbietern über Ihren eigenen Schlüssel. Die Codebasis wurde für Version 3.0.0 in React Native neu geschrieben und wird heute als reine Android-App ausgeliefert. Grenze: Die älteren iOS- und Desktop-Versionen sind verschwunden, ältere Anleitungen passen also nicht mehr.
  • Off Grid AI: kostenlos, MIT-Lizenz, ohne Konto, für Android, iOS, macOS und Windows. Grenze: Die Download-Zahlen auf der Website des Herstellers sind selbst berichtet und konnten nicht mit den App-Stores abgeglichen werden.
  • Private Mind: MIT-Lizenz, von Software Mansion, führt Modelle über React Native ExecuTorch aus, mit Dokumentenfragen, Whisper-Diktat und eingebauten Geschwindigkeits-Benchmarks. Grenze: Seit Version 1.3.0 holt ein optionaler Web-Schalter Seiten aus dem Internet, lassen Sie ihn für strikte Offline-Nutzung also ausgeschaltet.
  • Atomic Chat: Apache-2.0; durchsucht über 1.000 Hugging-Face-Modelle, stellt eine lokale OpenAI-kompatible API bereit und unterstützt Agenten. Grenze: Optionale Cloud-Anbieter sind eingebaut, vergewissern Sie sich also, dass keiner eingeschaltet ist, wenn Sie nur offline arbeiten möchten.
  • Ensu: AGPL-3.0, vom Team von Ente Labs, mit Bildeingabe, lokalem Sprachdiktat und ohne Konto. Grenze: Der Chat ist auf Telefonen mit weniger als 4 GB RAM deaktiviert, und PromptQuorum hat sie nicht praktisch getestet.
  • Llamatik: Offline-Chatbot unter MIT-Lizenz, der zugleich als Schaufenster für das Kotlin-Multiplatform-SDK des Entwicklers dient; die Android-Version erschien im November 2025 bei Google Play. Grenze: ein einzelner unabhängiger Entwickler und eine junge App.
  • LM Playground: GGUF-Runner unter MIT-Lizenz mit Dokumentenfragen, Fotoeingabe für Vision-Modelle, Anzeige des Reasonings und optionalen Werkzeugen. Grenze: unabhängiger Entwickler; die Review beruht auf Store-Eintrag, Website und Repository.
  • MLC Chat: App unter Apache-2.0 auf dem MLC-Compiler, mit GPU-beschleunigter Inferenz. Sie ist eine APK aus den GitHub-Releases des Herstellers, kein Google-Play-Eintrag. Grenze: die kuratierte Modellbibliothek, uneinheitliche OpenCL-Unterstützung auf verschiedenen Telefonen und eine lange Pause seit dem letzten Update (siehe das Kapitel zu ruhigen Apps).

Kostenlose Verbraucher-Apps, Closed Source

  • KernelAI: lädt offene Modelle herunter (53, von 112 MB bis 3,11 GB laut Hersteller) und führt sie über llama.cpp aus, mit Dokumenten und Vision. Grenze: Closed Source von einem einzelnen Herausgeber, die Aussagen beruhen also auf seinen eigenen Seiten.
  • MemoryAI: führt Modelle über llama.cpp und Google LiteRT aus, mit Dokumentenfragen, einem editierbaren Agent Memory, freihändiger Sprache und einem PIN-gesperrten Kindermodus. Grenze: Closed Source, ein einzelner unabhängiger Entwickler.
  • Loci AI: wählt pro Modell llama.cpp oder MLX, verwaltet die Telefontemperatur und synchronisiert das Gedächtnis über Chats hinweg; kann für größere Modelle mit einem Desktop verbunden werden. Grenze: Closed Source; das Versprechen „privat“ kann davon abhängen, dass die Apps nach der Einrichtung offline bleiben.
  • On Device LLM: kostenloser Offline-Chat mit GGUF-Import und einer optionalen lokalen OpenAI-kompatiblen API. Grenze: eine neue App, Closed Source; Google Play betitelt sie „Local LLM“, und sie ist nicht dasselbe wie die iPhone-Apps mit ähnlichen Namen.
  • LocalAI: Offline AI Chat LLM: llama.cpp-Chat mit einer optionalen Premium-Stufe, Dokumenten-Chat, Vision und strukturierter Ausgabe. Grenze: Closed Source, und wir haben kein öffentliches Repository gefunden.
  • Chatty-mini: GGUF-Chat im Hochformat von einem Indie-Entwickler. Grenze: spärliche öffentliche Dokumentation, und die Lizenz ist unbestätigt.
  • Caelum: kostenloser Chat- und Dokumentenassistent, der nach eigener Aussage auf dem Telefon läuft, mit optionaler Websuche über Brave. Grenze: kein Update seit August 2025; siehe das Kapitel zu ruhigen Apps.

Begleiter, kostenpflichtige Apps und Apps von Unternehmen

  • Layla: eine kostenpflichtige App (Einmalkauf plus In-App-Stufen), aufgebaut um einen lokal laufenden Begleiter mit Persona und Rollenspiel. Grenze: Closed Source und ein Preis; sie ist zuerst ein Begleiter, erst danach ein Werkzeug.
  • Laria: kostenpflichtiger Android-Assistent mit herunterladbaren On-Device-Modellen, eigenen KI-Identitäten, Bildwerkzeugen und optionalen Cloud-Anbietern. Grenze: Closed Source, und laut unserer Review zeigt die Seite des Entwicklers explizite Beispielinhalte; lesen Sie zuerst die Hinweise zur Altersfreigabe.
  • Secret AI: eigene Charaktere, Skills und MCP-Werkzeuge, führt GGUF-, MNN- und MLX-Modelle aus. Grenze: Closed Source; andere Produkte tragen denselben Namen, prüfen Sie also vor der Installation den Herausgeber.
  • CompactifAI APP: von Multiverse Computing, bietet komprimierte Modelle für die Offline-Nutzung und größere Modelle über die Cloud-API des Herstellers. Grenze: Der Cloud-Weg gehört zum Produkt, Offline ist also eine Option, die Sie wählen.
  • Liquid Apollo: die App von Liquid AI für seine kleinen LFM2-Modelle auf dem Gerät, dazu OpenRouter und eigene Backends. Grenze: nicht ausschließlich lokal; die Cloud- und Custom-Server-Modi senden Prompts vom Telefon weg.
  • TokForge: Rollenspiel-Charaktere, Bilderzeugung, Sprache und Dokumentenfragen, mit einem Geschwindigkeits-Benchmark, der in eine öffentliche Bestenliste eintragen kann. Grenze: proprietär, und die iPhone-Version ist eine öffentliche Beta.

Das Systemmodell: Gemini Nano über AICore

  • PAIOS: ein kostenloses Open-Source-Chat-Frontend für Gemini Nano, läuft über AICore ohne Modell-Download in der App. Grenze: Es funktioniert nur auf Telefonen, auf denen AICore Gemini Nano unterstützt, mit Pixel 9 und 10 als genannten Beispielen, und das Projekt bezeichnet sich selbst als Alpha.

💡Tipp: Installieren Sie zwei Apps, nicht zehn: einen Open-Source-GGUF-Runner für die Auswahl (PocketPal AI oder Maid) und Google AI Edge Gallery für Modelle der Gemma-Familie. Ergänzen Sie weitere nur für eine Aufgabe, die sie besser erledigen.

⚠️Warnung: Mehrere der Apps oben sind neu, Closed Source und nur anhand von Einträgen geprüft. Ihre Funktionslisten sind Aussagen der Hersteller; die Reviews von PromptQuorum sagen, welche nicht praktisch getestet wurden.

Vision und Kamerafragen

Die Kamera auf etwas zu richten und eine Frage zu stellen, funktioniert heute auf dem Gerät, aber nur mit einem Modell mit Vision-Fähigkeit. Ein reines Textmodell ignoriert Bilder stillschweigend oder lehnt sie ab. Die Apps unten laden ein Vision-Modell oder eines, das Bildeingaben akzeptiert; das Modell, nicht die App, bestimmt die Qualität.

Googles ML Kit bietet auch Optionen auf Systemebene: Die Prompt API akzeptiert Text plus bis zu 10 Bilder, und eine eigene Image Description API erzeugt eine kurze Beschreibung eines Bildes. Beide laufen auf unterstützten Telefonen auf Gemini Nano. Google sagt außerdem, Gemma 4 verbessere OCR-artige Aufgaben wie das Lesen von Diagrammen und die Handschrifterkennung; wir haben keine unabhängige Genauigkeitsangabe gefunden, testen Sie es also an Ihren eigenen Dokumenten.

📍 In einem Satz

Kamerafragen laufen auf Android offline über Modelle mit Vision-Fähigkeit in Apps wie Google AI Edge Gallery, LM Playground und Private Mind sowie über Gemini Nano auf unterstützten Telefonen.

💬 In einfachen Worten

Ein Vision-Modell liest das Bild selbst; ein reines Textmodell sieht es nie, das gewählte Modell zählt also mehr als die App.

  • Google AI Edge Gallery: Die Funktion Ask Image erkennt Objekte, löst visuelle Rätsel und beschreibt Bilder aus der Kamera oder der Galerie. Grenze: braucht ein Gemma-Modell mit Vision-Fähigkeit, und die README nennt keine Genauigkeitswerte.
  • LM Playground: Fotoeingabe für Vision-Modelle im GGUF-Format. Grenze: Sie müssen ein GGUF mit Vision-Fähigkeit samt Projektor-Datei selbst finden und herunterladen; die App erledigt das nicht für Sie.
  • Private Mind: listet Modelle mit Vision-Fähigkeit neben Textmodellen. Grenze: Größere Vision-Modelle können mehr RAM brauchen als die 4 GB, die der Eintrag für größere Modelle empfiehlt.
  • LocalAI: Offline AI Chat LLM: unterstützt laut ihrem Google-Play-Eintrag Modelle mit Vision-Fähigkeit. Grenze: Closed Source, und die Review von PromptQuorum beruht auf dem Store-Eintrag.
  • KernelAI: nennt Vision unter ihren Funktionen. Grenze: Ihre Aussagen beruhen auf den Seiten des Entwicklers.
  • Ensu: akzeptiert Bildeingaben im Chat. Grenze: Die Bildunterstützung hängt vom gewählten Modell ab.

⚠️Warnung: Verwenden Sie kein Vision-Modell auf dem Gerät für etwas, bei dem eine Fehllesung zählt: Medikamentenetiketten, Rechtstexte, Sicherheitsschilder. Kleine Vision-Modelle lesen Text und Zahlen falsch, und es gibt keine verifizierte Genauigkeitsangabe, auf die man sich stützen könnte.

Sprache: Diktat, Transkription, Vorlesen, Assistenten

Offline-Diktat und -Transkription sind die ausgereiftesten Sprachaufgaben auf Android; ein dauerhaft lauschender Offline-Assistent ist die am wenigsten ausgereifte. Die ersten beiden führen ein Sprachmodell wie Whisper auf dem Telefon aus und werden von Ihnen ausgelöst. Der letzte braucht einen Hintergrunddienst, den Android jederzeit beenden darf.

Die Spracherkennung von Googles ML Kit hat einen Basismodus, der laut Dokumentation auf den meisten Android-Geräten mit API-Level 31 oder höher verfügbar ist, und einen erweiterten Modus auf Pixel-10-Telefonen, mit weiteren Geräten in Entwicklung. ML Kit listet außerdem Sprachübersetzung und Text-to-Speech; die Übersichtsseite nennt dafür keine Geräteanforderungen, prüfen Sie also die Funktionsseiten.

Den vollständigen Stack für Offline-Sprache finden Sie unter Sprachassistenten auf dem Handy, offline, Lokale Whisper-STT im Vergleich, Lokale Sprach- und Audio-Werkzeuge im Vergleich und Einen lokalen Sprachassistenten bauen.

📍 In einem Satz

Offline-Diktat und die Transkription von Aufnahmen funktionieren auf Android über Modelle der Whisper-Klasse in Apps wie Private Mind, Ensu und LLM Hub, während Offline-Sprachassistenten, die dauerhaft aktiv sind, durch die Hintergrundregeln von Android begrenzt bleiben.

💬 In einfachen Worten

Sprache, die Sie per Tippen starten, funktioniert offline; Sprache, die den ganzen Tag lauschen muss, stößt an Akku-Grenzen und App-Beender.

Private Mind

Spracheinsatz:
Diktat mit Whisper, auf dem Telefon
Ehrliche Grenze:
Sprache und Genauigkeit hängen vom geladenen Whisper-Modell ab.
Artikel über Private Mind (3)

Auch erwähnt in:

+11 weitere nicht angezeigt

Ensu

Spracheinsatz:
Lokales Sprachdiktat in den Chat
Ehrliche Grenze:
Von PromptQuorum nicht praktisch getestet; keine Genauigkeitsdaten.
Artikel über Ensu (2)

Auch erwähnt in:

LM Playground

Spracheinsatz:
Sprachdiktat
Ehrliche Grenze:
Nur Diktat; keine gesprochenen Antworten gelistet.
Artikel über LM Playground (1)

LLM Hub

Spracheinsatz:
Whisper-Transkription neben Chat, Bild und Übersetzung
Ehrliche Grenze:
Source-available unter einer nichtkommerziellen Lizenz; die Premium-Stufe ist kostenpflichtig.
Artikel über LLM Hub (2)

Auch erwähnt in:

MemoryAI

Spracheinsatz:
Freihändige Sprachunterhaltung
Ehrliche Grenze:
Closed Source; prüfen Sie in der Datenschutzerklärung, ob die Erkennung auf dem Gerät erfolgt.
Artikel über MemoryAI (4)

ToolNeuron

Spracheinsatz:
Spracheingabe und -ausgabe, dazu ein verschlüsselter Speicher
Ehrliche Grenze:
Seit mehr als drei Monaten kein Update; siehe ruhige Apps.
Artikel über ToolNeuron (4)

Auch erwähnt in:

TokForge

Spracheinsatz:
Text-to-Speech mit Stimmklonen
Ehrliche Grenze:
Proprietär; Stimmklonen wirft Fragen zu Einwilligung und Identitätsmissbrauch auf.
Artikel über TokForge (2)

RunAnywhere

Spracheinsatz:
SDK für Speech-to-Text, Text-to-Speech und Spracherkennungsaktivität in Ihrer eigenen App
Ehrliche Grenze:
Eine Bibliothek für Entwickler, keine App; kommerzielle Bedingungen gelten.
Artikel über RunAnywhere (1)

Auch erwähnt in:

Home Assistant Assist

Spracheinsatz:
Sprachsteuerung Ihres Zuhauses mit Whisper und Piper auf Ihrer eigenen Hardware
Ehrliche Grenze:
Die Sprachmodelle laufen auf einem Heimserver, nicht auf dem Telefon.
Artikel über Home Assistant Assist (2)

AquaVoice

Spracheinsatz:
Schnelles Diktat, das in die aktive App tippt
Ehrliche Grenze:
Cloud-Dienst. Er steht hier, damit Sie ihn nicht für lokal halten.
Artikel über AquaVoice (2)

Auch erwähnt in:

⚠️Warnung: Stimmklonen und dauerhafte Aufnahme sind Themen von Datenschutz und Einwilligung, nicht nur Funktionen. Klonen Sie nur Ihre eigene Stimme oder eine, für die Sie eine schriftliche Erlaubnis haben, und sagen Sie Menschen, wenn Sie sie aufnehmen.

Dokumente, PDFs und RAG

Dokumentenfragen funktionieren auf Android, indem eine Datei in Abschnitte zerlegt wird, die relevanten gefunden und nur diese an ein kleines Modell übergeben werden. Das ist Retrieval-Augmented Generation (RAG). Sie ist besser, als ein ganzes PDF in ein kleines Modell zu kopieren, dessen Kontextfenster dafür zu kurz ist.

Die Gemini-Nano-Prompt-API begrenzt die Eingabe auf unter etwa 4.000 Token, das sind grob 3.000 englische Wörter, sodass auch Dokumentenfragen auf Systemebene eine Zerlegung in Abschnitte brauchen. Die Methode im Detail lesen Sie unter Lokales RAG auf Ihren PDFs, Schritt für Schritt und Beste lokale RAG-Werkzeuge.

📍 In einem Satz

Android-Apps wie AnythingLLM Mobile, Private Mind, LM Playground und Honey LLM beantworten Fragen zu Ihren Dateien auf dem Telefon, indem sie relevante Abschnitte für ein kleines Modell abrufen.

💬 In einfachen Worten

Die App durchsucht Ihr Dokument nach den passenden Absätzen und übergibt nur diese an das Modell, sodass ein kleines Modell Fragen zu einer langen Datei beantworten kann.

  • AnythingLLM Mobile: MIT-Lizenz, nur Android. Der Standalone-Modus führt ein kleines Modell und eine lokale Vektordatenbank auf dem Telefon aus; der verbundene Modus koppelt sich per QR-Code mit AnythingLLM Desktop oder Cloud für den vollen Funktionsumfang. Grenze: Die Standalone-Qualität ist die eines kleinen Modells; mehr erhalten Sie durch die Kopplung.
  • Private Mind: Dokumentenfragen auf dem Gerät mit Quellenangaben. Grenze: Quellenangaben zeigen, woher eine Antwort stammt, nicht, dass sie richtig ist.
  • LM Playground: Dokumentenfragen auf dem Gerät in einer kostenlosen MIT-App. Grenze: unabhängiger Entwickler; prüfen Sie in der Review die unterstützten Dateitypen, bevor Sie sich darauf verlassen.
  • Honey LLM: beantwortet Fragen zu PDF-, DOCX-, TXT- und Markdown-Dateien und führt einen verschlüsselten lokalen Tresor. Grenze: junge App, seit März 2026 bei Google Play; unsere Review beruht auf dem Store-Eintrag.
  • LocalAI: Offline AI Chat LLM: Dokumenten-Chat über PDF, Word, Excel und CSV mit Vektorabruf auf dem Gerät. Grenze: Closed Source; die Review beruht auf dem Store-Eintrag.
  • ToolNeuron: Dokumenten-RAG mit verschlüsseltem Speicher, Sprache, einem lokalen HTTP-Server und Plugins. Grenze: seit mehr als drei Monaten kein Update.
  • MemoryAI: Dokumentenfragen plus ein Agent Memory, das Sie bearbeiten können. Grenze: Closed Source.
  • Caelum: Dokumentenfragen mit optionaler Websuche. Grenze: kein Update seit August 2025, und die Option der Websuche sendet Anfragen online.

💡Tipp: Indizieren Sie ein großes Archiv nicht auf dem Telefon. Lassen Sie den Index auf einem Computer oder Server laufen und nutzen Sie das Telefon als Client, wie es das Kapitel zum Remote-Modus beschreibt.

Übersetzung

Offline-Übersetzung auf Android funktioniert für gängige Sprachpaare mit kleinen Modellen, und die Qualität sinkt bei seltenen Sprachen und langen Texten. Google sagt, Gemma 4 unterstütze nativ über 140 Sprachen, und nennt Sprachübersetzung unter den ML-Kit-GenAI-APIs; zu keiner der beiden Aussagen gibt es eine Genauigkeitsangabe, die wir verifizieren konnten, testen Sie also Ihr eigenes Sprachpaar, bevor Sie sich darauf verlassen.

📍 In einem Satz

Android-Apps wie LLM Hub und Google AI Edge Gallery übersetzen Text und Aufnahmen auf dem Telefon, und ML Kit ergänzt Sprachübersetzung auf unterstützten Geräten.

💬 In einfachen Worten

Kleine Modelle übersetzen Alltagssätze gut und haben Mühe mit seltenen Sprachen, Redewendungen und juristischen Formulierungen.

  • LLM Hub: Übersetzung auf dem Gerät neben Chat, einem Agenten mit MCP-Servern, Bild- und Musikerzeugung und Whisper-Transkription. Grenze: Source-available unter einer nichtkommerziellen Lizenz, und eine kostenpflichtige Premium-Stufe.
  • Google AI Edge Gallery: Die Funktion Audio Scribe transkribiert und übersetzt Sprachaufnahmen auf dem Gerät. Grenze: experimentelle Beta.
  • Local AI Mail: ein Android-E-Mail-Client, der mit einem Modell auf dem Gerät E-Mails zusammenfasst, übersetzt und Antworten entwirft und mit Ihrem eigenen Schlüssel auf Gemini umschalten kann. Grenze: eine sehr frühe Version; der optionale Gemini-Modus sendet E-Mail-Text an Google.

⚠️Warnung: Verlassen Sie sich bei Verträgen, medizinischen Texten oder allem, wo eine Fehlübersetzung Folgen hat, nicht auf ein kleines lokales Modell. Nutzen Sie es für den Sinn und für Entwürfe und prüfen Sie dann nach.

Bilderzeugung und Bildbearbeitung

Bilderzeugung auf einem Telefon ist möglich, aber im Vergleich zu einer Desktop-GPU langsam, und sie ist die Aufgabe, bei der die chipspezifische Abstimmung am meisten zählt. Samsung und Nota AI beschreiben EdgeFusion, eine Stable-Diffusion-Variante, die auf der Exynos-2600-NPU Bilder mit 512 mal 512 Pixeln in unter einer Sekunde erzeugt (Angabe von Samsung und Partner, zitiert in unserem Galaxy-S26-Leitfaden). Das ist eine vom Hersteller abgestimmte Pipeline; für die per Sideloading installierten Apps unten haben wir keine verifizierte Geschwindigkeit gefunden, also nennen wir keine.

Zum Abwägen zwischen Cloud und lokal im Allgemeinen siehe Lokale KI-Bilderzeugung vs. Cloud. Bearbeitungswerkzeuge wie Inpainting sind auf Telefonen seltener als Text-zu-Bild.

📍 In einem Satz

Android-Apps wie TokForge, Local AI by GeetMark, Laria und LLM Hub erzeugen Bilder mit Modellen auf dem Gerät, aber keine von uns gefundene Quelle veröffentlicht verifizierte Erzeugungszeiten für sie.

💬 In einfachen Worten

Ihr Telefon kann ohne Internet ein Bild zeichnen, aber rechnen Sie mit deutlich längeren Wartezeiten als auf einem Computer mit Grafikkarte.

  • Local AI: Offline Chat and Image: kostenlos, mit Chat über mehr als 20 Modelle, Stable-Diffusion-Bildern und 15 Prompt-Werkzeugkästen. Grenze: enthält Werbung, Quellcode und Lizenz sind nicht veröffentlicht.
  • TokForge: Rollenspiel-Charaktere mit Bilderzeugung auf dem Gerät, Sprache und Dokumentenfragen. Grenze: proprietär; Geschwindigkeitsergebnisse können in eine öffentliche Bestenliste eingetragen werden, prüfen Sie also, was der Benchmark teilt.
  • Laria: Bildwerkzeuge neben lokalem und Cloud-Chat. Grenze: kostenpflichtig; einige Bildwerkzeuge nutzen möglicherweise Cloud-Anbieter, prüfen Sie also jedes Werkzeug.
  • LLM Hub: Bild- und Musikerzeugung in derselben App wie Chat und Übersetzung. Grenze: nichtkommerzielle Source-available-Lizenz.

💡Tipp: Hitze ist die praktische Grenze. Wenige Bilder hintereinander können das Telefon so weit erwärmen, dass es langsamer wird. Erzeugen Sie in kurzen Stapeln und lassen Sie es abkühlen.

Notizen, Wissen und Lesezeichen

Notiz- und Lesezeichen-Apps geben Ihnen einen mobilen Client für Wissen, das auf Ihrem Server oder in einfachen Dateien liegt, und die KI-Funktionen laufen dort, wohin Sie sie lenken. Keine der Apps unten führt ein Sprachmodell in der Android-App selbst aus. Sie verbinden sich mit einem KI-Anbieter Ihrer Wahl, das kann ein lokaler Ollama-Server in Ihrem Netzwerk oder ein Cloud-Dienst sein. Damit sind sie bei der Speicherung Local-first, bei der Inferenz nicht unbedingt.

📍 In einem Satz

Android-Clients für Karakeep, Linkwarden, Blinko, Logseq, SiYuan und Hillnote halten Notizen und Lesezeichen unter Ihrer Kontrolle, während ihre KI-Funktionen auf einem Server oder Anbieter laufen, den Sie konfigurieren.

💬 In einfachen Worten

Diese Apps speichern Ihr Wissen lokal; das KI-Modell, das es verschlagwortet oder zusammenfasst, kann ebenfalls lokal sein, aber nur, wenn Sie es so einrichten.

  • Karakeep: AGPL-3.0, selbst gehostet mit Docker, speichert Links, Notizen, Bilder und PDFs und nutzt KI zum Verschlagworten, Zusammenfassen und Indizieren. Es gibt Android- und iOS-Apps und Browser-Erweiterungen. Grenze: Die KI-Verschlagwortung braucht einen Modell-Endpunkt, den Sie konfigurieren.
  • Linkwarden: Lesezeichen-Manager unter AGPL-3.0, der von jeder Seite eine Kopie speichert und Links mit einem lokalen Ollama-Modell oder einem Cloud-Anbieter verschlagworten kann. Grenze: Die Cloud-Edition ist kostenpflichtig; das Selbst-Hosting liegt bei Ihnen.
  • Blinko: GPL-3.0, selbst gehostetes Notizprogramm mit RAG-gestützter Suche in natürlicher Sprache über Ihre eigenen Notizen, als Docker-Container betrieben. Grenze: Die RAG-Suche nutzt einen KI-Anbieter, den Sie anbinden.
  • Logseq: AGPL-3.0, Local-first-Outliner mit Android- und iOS-Apps. Er hat kein eingebautes Modell; die Beta der Datenbankversion ergänzt einen optionalen MCP-Server, damit ein externer KI-Client einen Graphen lesen und bearbeiten kann. Grenze: KI ist Bring-your-own, und der MCP-Server ist in der Beta.
  • SiYuan: AGPL-3.0, blockbasierter Wissensarbeitsplatz mit Android- und iOS-Apps und eingebauter Zusammenarbeit mit KI-Agenten. Grenze: Verschlüsselte Cloud-Synchronisierung ist ein kostenpflichtiges Add-on; prüfen Sie, wo die KI-Funktionen laufen, bevor Sie annehmen, dass sie lokal sind.
  • Hillnote: Markdown-Notizarbeitsplatz für Mac, Windows, iPhone, iPad und Android, der Dateien auf Ihrer Festplatte ablegt. Seine KI auf dem Gerät ist als Ollama und Apple Intelligence gelistet, von denen keine auf einem Android-Telefon läuft; prüfen Sie also vor dem Kauf, welche KI-Funktionen die Android-App tatsächlich bietet.

💡Tipp: Ein gutes Muster: Hosten Sie die Notiz-App und ein kleines Ollama-Modell selbst auf einem Heimserver und lassen Sie die Android-App den Client für Erfassung und Suche sein.

Smart Home und Agenten

Für Smart Homes ist das Telefon Fernbedienung und Mikrofon; für Agenten ist es sowohl ein Ort, an dem einer laufen kann, als auch zunehmend das, was ein Agent steuert. Smart-Home-KI gehört auf einen Heimserver, weil ein Telefon schläft, sich bewegt und beendet wird. Agenten auf Android teilen sich in drei Familien: Assistenten, die Werkzeuge nutzen, Agenten, die auf einem Server leben und das Telefon als Client nutzen, und Agenten, die das Telefon selbst bedienen.

Die Smart-Home-Seite im Detail finden Sie im Smart-Home-Cluster von PromptQuorum; dieses Kapitel behandelt, was das Telefon tut.

📍 In einem Satz

Android-Telefone dienen als Clients für Smart-Home-KI (Home Assistant Assist, Scrypted, EverShelf, LocalGhost) und können Agenten mit Werkzeugen ausführen (Kai 9000, PicoClaw, Aori), aber die Steuerung anderer Apps auf Systemebene ist noch in der Vorschau.

💬 In einfachen Worten

Lassen Sie einen Heimserver das Gehirn sein und das Telefon die Fernbedienung und das Mikrofon.

Das Telefon als Smart-Home-Client

  • Home Assistant Assist: der Sprachassistent in Home Assistant. Er kann vollständig auf Ihrer Hardware laufen, mit Whisper oder Speech-to-Phrase für die Erkennung und Piper für die Sprache über das Wyoming-Protokoll, und kann Anfragen an ein LLM weitergeben, etwa an eines, das Ollama bereitstellt. Die Android-App ist Mikrofon und Bildschirm. Grenze: Die Sprach- und Sprachmodelle laufen auf Ihrem Heimserver, nicht auf dem Telefon.
  • Scrypted: quelloffene Kamera- und NVR-Plattform mit Viewer-Apps für Android und iOS, dazu optionalen lokalen LLM-Zusammenfassungen über llama.cpp auf dem Server. Grenze: Die NVR-Komponente ist kostenpflichtig, und die KI läuft dort, wo Scrypted läuft.
  • EverShelf: selbst gehosteter Vorratsmanager mit Barcode-Scan, Ablaufverfolgung und Einkaufslisten; KI-Funktionen sind optional und nutzen Gemini, OpenAI oder Ihren eigenen Llama-Server. Grenze: Sie ist keine Chat- oder LLM-App, und die optionalen Cloud-Anbieter sehen, was Sie senden.
  • LocalGhost: persönliches KI-System unter MIT-Lizenz auf einem Debian-Rechner, den Sie besitzen, mit einer Android-App als einzigem Client, liest Fotos, Notizen, Sprachnotizen und Gesundheitsdaten mit lokalen Modellen. Grenze: sehr früh (die geprüfte Version war v0.0.7), und Gesundheitsdaten sind sensibel, behandeln Sie es also als Experiment.

Agenten, die Werkzeuge nutzen

  • Kai 9000: Assistent unter Apache-2.0 mit dauerhaftem Gedächtnis und Werkzeugen auf Android, iOS, Desktop und Web. Er spricht standardmäßig mit Cloud-Anbietern und kann optional ein heruntergeladenes Modell, darunter Gemma 4, auf dem Gerät ausführen. Grenze: Cloud ist die Voreinstellung, schalten Sie also bewusst auf das Gerät um.
  • PicoClaw: Agent unter MIT-Lizenz von Sipeed, ein einzelnes Go-Programm für kleine Boards, Android-Telefone und Desktops, das Anfragen an ein von Ihnen konfiguriertes Modell weiterleitet (einen Cloud-Anbieter oder Ihren Ollama- oder vLLM-Server). Grenze: Das Modell liegt nicht auf dem Telefon.
  • Aori: kostenloser persönlicher Beta-Agent mit dauerhaftem Gedächtnis, Personas und geplanten Routinen für Desktop und Android. Grenze: Die Android-App sendet Prompts an den Anbieter, den Sie anbinden, und sie ist seit über drei Monaten ruhig (siehe ruhige Apps).
  • Atomic Bot: Ein-Klick-Paketierung des quelloffenen OpenClaw-Agenten-Stacks, lokal oder in der kostenpflichtigen Cloud des Herstellers. Grenze: Das Verzeichnis listet mobil, aber unsere Review fand auf der Website des Herstellers keinen dokumentierten Android-Build, prüfen Sie also, bevor Sie darauf planen.

Agenten, die das Telefon steuern

  • Android AppFunctions lässt Apps Funktionen bereitstellen, die ein Agent wie Gemini aufrufen kann. Google dokumentiert es als Plattform-API mit einer Jetpack-Bibliothek für Android 16 und neuer; die von uns gelesenen Quellen sind uneins, ob es in einer begrenzten oder einer privaten Vorschau ist, behandeln Sie es also als nicht allgemein verfügbar. Es ist das Gegenstück zu MCP-Werkzeugen auf dem Gerät, und der Entwickler der App muss zustimmen.
  • ML Kit AgentRunner gibt Entwicklern eine mehrstufige Werkzeugaufruf-Schleife auf der Gemini-Nano-Prompt-API, sodass eine App einen kleinen Agenten vollständig auf dem Telefon ausführen kann. Er hat dieselben Grenzen wie die Prompt API: nur im Vordergrund, nur auf unterstützten Telefonen.
  • Open-AutoGLM ist ein quelloffenes Phone-Agent-Framework des Zhipu-Teams (zai-org/Open-AutoGLM), das auf einem Computer läuft und ein Android-Telefon über ADB bedient, wobei ein Vision-Sprachmodell den Bildschirm liest. Das Modell kann eine Remote-API oder ein lokal bereitgestelltes Modell sein, und der Agent selbst liegt nicht auf dem Telefon. Prüfen Sie Lizenz und Modellkarte selbst; unsere Quellen waren uneins.

⚠️Warnung: Ein Agent, der tippen, schreiben und Ihren Bildschirm lesen kann, kann auch weitergeben, was er sieht. Führen Sie Agenten, die das Telefon steuern, auf einem Testtelefon oder in einem Arbeitsprofil aus, nie auf dem Telefon mit Ihren Banking-Apps.

Wege für Entwickler

Android hat viele Wege zu KI auf dem Gerät, und die Wahl hängt davon ab, ob Sie Systemintegration, Modellauswahl oder die NPU brauchen. Die Tabelle vergleicht die Wege; die Hinweise danach nennen die Fallstricke, die Menschen die meiste Zeit kosten.

📍 In einem Satz

Entwickler können Android mit Google ML Kit GenAI und Gemini Nano, LiteRT und LiteRT-LM, llama.cpp über Termux oder das NDK, MLC LLM, ExecuTorch, Qualcomm GenieX oder SDKs wie RunAnywhere und Llamatik ansteuern.

💬 In einfachen Worten

Nutzen Sie Googles Systemmodell, wenn es reicht, eine Google- oder Qualcomm-Laufzeit, wenn Sie die NPU brauchen, und llama.cpp, wenn Sie jedes GGUF-Modell wollen.

Geprüfte Entwicklerwerkzeuge

  • RunAnywhere: SDK für LLM, Speech-to-Text, Text-to-Speech, Spracherkennungsaktivität, Vision-Sprachmodelle und Embeddings, die auf dem Gerät laufen, für iOS-, Android-, Flutter- und React-Native-Apps. Grenze: Lizenz auf Apache-2.0-Basis mit kommerziellen Bedingungen.
  • Llamatik: das Kotlin-Multiplatform-SDK hinter dem gleichnamigen Offline-Chatbot. Grenze: ein einzelner unabhängiger Entwickler.
  • Foundry Local: Microsofts Laufzeit für das Gerät mit SDKs für C#, JavaScript, Rust und Python. Grenze: Die Review dokumentiert die Desktop-SDKs und keinen Android-Build.
  • MLC LLM: der Compiler und die Laufzeit hinter MLC Chat, mit Zielen iPhone, Android, Browser (WebGPU) und Desktop-GPUs. Grenze: ein Kompilierschritt pro Modell und Ziel.
  • OlliteRT: verwandelt ein Android-Telefon auf Googles LiteRT-LM in einen OpenAI-kompatiblen Server, ohne eigene Chat-Oberfläche. Grenze: Es braucht .litertlm-Modelldateien, nicht GGUF.
  • Mobile LM Server: führt GGUF- und LiteRT-LM-Modelle aus und stellt sie über OpenAI- und Ollama-kompatible Endpunkte bereit. Grenze: enthält Werbung und In-App-Käufe; unsere Review beruht auf dem Store-Eintrag und vermerkte nach diesem Eintrag, dass sich Datenschutzerklärung und Datensicherheits-Angaben beim Standort unterscheiden.
  • Ollama Local AI: führt GGUF-Modelle über eine eingebettete llama.cpp-Engine aus und stellt eine OpenAI-kompatible API in Ihrem WLAN bereit, damit Werkzeuge wie Cursor das Telefon nutzen können. Grenze: Es ist nicht die App des Ollama-Projekts, und sie ist kostenlos mit In-App-Käufen.

ML Kit GenAI und Gemini Nano (AICore)

Am besten für:
Zusammenfassungen, Umformulieren, Bildbeschreibung und eine Prompt API auf einem Systemmodell, das für Sie aktualisiert wird. Enthält AgentRunner- und Embedding-APIs. Die Eingabe der Prompt API bleibt unter etwa 4.000 Token.
Hauptgrenze:
Nur Vordergrundnutzung; Kontingente pro App; nur unterstützte Telefone; mit entsperrtem Bootloader nicht unterstützt (Prompt API).

AICore Developer Preview mit Gemma 4

Am besten für:
Gemma 4 E2B und E4B über die ML-Kit-Prompt-API ausprobieren; der jetzt geschriebene Code soll auf Geräte mit Gemini Nano 4 übertragbar sein.
Hauptgrenze:
Eine Vorschau; Google sagte, Tool-Aufrufe, strukturierte Ausgabe, System-Prompts und der Thinking-Modus würden noch ergänzt.

LiteRT und LiteRT-LM

Am besten für:
Ihre eigene App mit den Familien Gemma, Llama, Phi-4 oder Qwen, GPU- und NPU-Beschleunigung, Vision- und Audio-Eingabe, Funktionsaufrufe.
Hauptgrenze:
Die NPU braucht pro Chip kompilierte Modelle; Swift und JavaScript sind frühe Vorschauen.

Qualcomm AI Hub und GenieX

Am besten für:
Snapdragon 8 Elite und 8 Elite Gen 5, GGUF über llama.cpp mit einem Hexagon-Backend oder vorkompilierte AI-Hub-Bundles über AI Engine Direct.
Hauptgrenze:
Nur Snapdragon; die Android-Laufzeit lehnt auf dem AI-Hub-Weg nicht standardmäßige GPU-Layer- und Kontexteinstellungen ab.

MediaTek NeuroPilot über LiteRT

Am besten für:
Dimensity-NPUs mit vorkompilierten Gemma- und Qwen3-Modellen.
Hauptgrenze:
Die Konvertierung eigener Gemma-Modelle für MediaTek war noch nicht verfügbar.

Google Tensor SDK

Am besten für:
Pixel-10-TPU über LiteRT, mit einem Model Garden von über 100 Modellen.
Hauptgrenze:
Beta; nur die Pixel-10-Familie.

llama.cpp in Termux oder im NDK

Am besten für:
Jedes GGUF-Modell auf der CPU, ohne Root; ein einmaliger Prototyp oder ein CLI.
Hauptgrenze:
Prozessgrenzen und Hitze von Android; beginnen Sie mit einem Kontext nahe 4096, sonst kann das Terminal beendet werden.

MLC LLM

Am besten für:
Ein Modell für ein Ziel mit GPU-Beschleunigung kompilieren.
Hauptgrenze:
Compile-Toolchain; die OpenCL-Unterstützung variiert je nach Telefon.
Artikel über MLC LLM (7)

Auch erwähnt in:

ExecuTorch

Am besten für:
PyTorch-Export nach Android, gelistet mit LLMs und CPU-, GPU-, NPU- und DSP-Backends.
Hauptgrenze:
Die genaue Backend-Liste und den Status konnten wir auf der Übersichtsseite nicht bestätigen.

SDKs: RunAnywhere, Llamatik, Foundry Local

Am besten für:
Sprach-, Vision- und LLM-Funktionen in Ihrer eigenen App (RunAnywhere); Kotlin Multiplatform (Llamatik); Microsoft-Laufzeit mit SDKs für C#, JavaScript, Rust und Python (Foundry Local).
Hauptgrenze:
Foundry Local ist im Verzeichnis für Android gelistet, aber die Review dokumentiert keinen Android-Build; bestätigen Sie das vor der Nutzung.

💡Tipp: Lesen Sie die Seiten der Hersteller: Übersicht über ML Kit GenAI, Gemini Nano und AICore, LiteRT-LM, Qualcomm AI Hub, Termux und den llama.cpp-Android-Leitfaden.

Remote-Modus: das Telefon als schlanker Client

Das leistungsfähigste Setup für „lokale KI auf Android“ ist oft ein Telefon, das mit einem Modell auf Ihrem eigenen Computer spricht. Das Modell läuft auf Ihrem Ollama- oder LM-Studio-Rechner; das Telefon ist die Oberfläche. Sie behalten den Datenschutz, weil der Datenverkehr in Ihrem Netzwerk (oder einem VPN) bleibt, und Sie erhalten Modelle der Klasse 7B bis 70B, ohne den RAM Ihres Telefons zu beanspruchen.

Drei Warnhinweise. Erstens muss der Server eingeschaltet und erreichbar sein, das Setup scheitert also außer Haus, wenn Sie kein VPN wie WireGuard oder Tailscale ergänzen. Zweitens lauscht Ollama standardmäßig nur auf dem lokalen Rechner, und wenn Sie es Ihrem Netzwerk zugänglich machen, etwa über die Host-Adresse, erhält jeder in diesem Netzwerk Zugriff, weil es keine eingebaute Anmeldung hat; nutzen Sie einen Reverse-Proxy mit Authentifizierung oder ein VPN. Drittens ist ein Cloud-API-Schlüssel in derselben App ein anderer Datenweg, halten Sie lokale und Cloud-Profile also klar getrennt.

📍 In einem Satz

Android-Apps wie LocalMind, PocketLLM Lite, AnythingLLM Mobile, AnyLLM und RikkaHub lassen das Telefon als Client für Ihren eigenen Ollama- oder LM-Studio-Server in Ihrem Netzwerk arbeiten.

💬 In einfachen Worten

Das Telefon ist Bildschirm und Tastatur; das schwere Denken geschieht auf Ihrem Computer zu Hause.

  • LocalMind: kostenlose Chat-App unter MIT-Lizenz für Android und iPhone, die Prompts an ein Modell auf dem Telefon oder an Ollama, LM Studio, OpenRouter oder einen beliebigen OpenAI-kompatiblen Endpunkt sendet, mit MCP-Werkzeugen. Grenze: unabhängiger Entwickler; der Remote-Weg sendet Text an den Endpunkt, den Sie wählen.
  • PocketLLM Lite: Android-App unter MIT-Lizenz, die Modelle im Cactus-Format auf dem Telefon ausführt oder sich mit Ihrem eigenen Ollama- oder OpenAI-kompatiblen Server verbindet. Grenze: kein genannter Entwickler, und PromptQuorum hat sie nicht installiert.
  • AnythingLLM Mobile: Der verbundene Modus koppelt sich per QR-Code über das lokale Netzwerk mit AnythingLLM Desktop oder Cloud. Grenze: nur Android.
  • AnyLLM: Android-Client für Ihre eigenen API-Schlüssel (OpenAI, Anthropic, Google, Groq), der auch einen Ollama-Server anbinden kann, mit MCP-Werkzeugen und KI-gegen-KI-Debatten. Grenze: Closed Source, und Cloud-Schlüssel bedeuten, dass Prompts Ihr Netzwerk verlassen.
  • RikkaHub: quelloffener Android-Client für Cloud-Anbieter, der über sein Feld für eigene Endpunkte einen selbst gehosteten Ollama- oder LM-Studio-Server erreichen kann. Grenze: Er führt keine Modelle auf dem Telefon aus und ist daher allein keine Offline-App.
  • Chapper: ein ausgereifter Ollama- und LM-Studio-Client, aber nur für Apple (iPhone, iPad, Mac). Grenze: Es gibt keine Android-Version, Android-Nutzer sollten also eine der Apps oben verwenden.

💡Tipp: Ein Telefon kann auch der Server sein. OlliteRT, Mobile LM Server und Ollama Local AI stellen ihr Modell anderen Geräten in Ihrem WLAN bereit, was für Tests und schnelle Skripte nützlich ist, aber kein Ersatz für einen echten Server.

Datenschutz und Telemetrie in der Realität

Inferenz auf dem Gerät hält Ihre Prompts von den Inferenz-Servern eines Anbieters fern; sie verhindert nicht von selbst, dass die App anderswohin Daten sendet. „Zero Telemetry“ kann bedeuten: kein Analyse-SDK, keine Absturzberichte, keine Werbung und keine Netzwerkaufrufe nach dem Modell-Download, oder nur einiges davon. Apps unterscheiden sich, und die Aussage stammt vom Hersteller, solange Sie sie nicht verifizieren.

Drei Stellen zum Prüfen. Die Datensicherheits-Angaben (Data safety) bei Google Play listen auf, was der Entwickler nach eigener Aussage erhebt oder teilt; sie sind vom Entwickler selbst angegeben. Die Datenschutzerklärung sagt, was das Unternehmen mit Daten tut; die Review zu Mobile LM Server, die auf dem Store-Eintrag beruht, vermerkte, dass Erklärung und Angaben beim Standort voneinander abweichen. Das Netzwerkverhalten selbst: Eine Firewall oder ein Netzwerkmonitor, der Verbindungen nach dem Modell-Download zeigt, ist der direkteste Test.

Googles AICore-Design ist ein nützlicher Referenzpunkt: Google dokumentiert, dass AICore keinen direkten Internetzugang hat, dass Modell-Downloads über das quelloffene Begleitprogramm Private Compute Services laufen und dass es Ein- und Ausgabe nach der Verarbeitung nicht speichert. Das ist Googles Beschreibung des eigenen Systems, kein unabhängiges Audit. Apps auf anderen Engines machen eigene Versprechen: ToolNeuron etwa nennt „keine Telemetrie“ in seiner README als Designziel, während die Review zur Google AI Edge Gallery in der iPhone-Version Diagnosedaten im Datenschutzlabel fand.

📍 In einem Satz

Offline-Inferenz hält Prompts auf dem Telefon, aber „Zero Telemetry“ muss in den Datensicherheits-Angaben, in der Datenschutzerklärung und im tatsächlichen Netzwerkverkehr der App geprüft werden.

💬 In einfachen Worten

Das Modell auf Ihrem Telefon auszuführen schützt, was Sie eingeben; es verspricht nicht, dass die App nie mit dem Internet spricht.

Datensicherheits-Angaben (Data safety)

Wo:
Google-Play-Eintrag
Was es offenlegen kann:
Vom Entwickler angegebene Datenerhebung und -weitergabe, die unvollständig oder veraltet sein kann.

Datenschutzerklärung

Wo:
Website des Entwicklers
Was es offenlegen kann:
Aufbewahrung, Dritte, Rechtsraum und ob die Erklärung zu den Angaben passt.

Berechtigungen

Wo:
Android-Einstellungen, App-Info
Was es offenlegen kann:
Zugriff auf Mikrofon, Kamera, Speicher oder Netzwerk, den eine rein lokale App nicht brauchen sollte.

Optionale Cloud-Funktionen

Wo:
App-Einstellungen
Was es offenlegen kann:
Websuche, Cloud-Anbieter und Synchronisierungsschalter, die den Datenweg unbemerkt erweitern.

Netzwerkverkehr

Wo:
Flugmodus-Test oder eine Firewall-App
Was es offenlegen kann:
Ob der Chat nach dem Download funktioniert, wenn jeder Netzwerkzugriff blockiert ist.

Quellcode

Wo:
GitHub oder F-Droid
Was es offenlegen kann:
Ob Aussagen überhaupt geprüft werden können; Aussagen bei Closed Source beruhen auf Vertrauen.

💡Tipp: Der Flugmodus-Test ist einfach und ehrlich: Laden Sie das Modell über WLAN herunter, aktivieren Sie den Flugmodus und chatten Sie dann. Verweigert die App den Dienst, braucht sie das Netzwerk. Funktioniert sie, kann sie trotzdem früher Daten gesendet haben, kombinieren Sie den Test also mit den Prüfungen von Berechtigungen und Datenschutzerklärung.

⚠️Warnung: Obscurify gibt es für Android und wirbt mit Datenschutz, aber es ist ein Cloud-Dienst: Es erreicht über 200 Cloud-Modelle hinter einer zufälligen Kontonummer, mit einem optionalen lokalen Modus, der GGUF-Modelle im Browser ausführt. Anonyme Cloud ist keine lokale KI, und AquaVoice ist Cloud-Diktat. Wissen Sie, auf welcher Seite der Grenze jedes Werkzeug steht.

Akku, Hitze und beendete Hintergrundprozesse

Drei Dinge begrenzen lokale KI auf einem Telefon, bevor das Modell es tut: Hitze, Akku und die Angewohnheit von Android, Hintergrundarbeit zu beenden. Alle drei werden mit größeren Modellen und längeren Sitzungen schlimmer, und keines davon steht in einem Datenblatt.

📍 In einem Satz

Auf Android erhitzt anhaltende lokale Inferenz das Telefon und entlädt den Akku, und das System oder der Akku-Manager der Marke kann die App mitten in einer Antwort beenden, wenn Sie sie nicht ausnehmen.

💬 In einfachen Worten

Ein Modell auszuführen ist wie ein Spiel: Das Telefon wird warm, drosselt sich zum Selbstschutz und kann die App schließen, wenn es meint, sie verschwende Strom.

  • Hitze. Ein Telefon kann die Spitzengeschwindigkeit nicht lange halten. Es drosselt sich, um kühl zu bleiben, die erste Antwort ist also meist schneller als die zehnte. Wir haben keine belegte Drosselungszahl und nennen keine; testen Sie mit einem zehnminütigen Lauf auf Ihrem eigenen Telefon. Nehmen Sie die Hülle ab, laden Sie während der Erzeugung nicht und bevorzugen Sie für lange Sitzungen kleinere Modelle.
  • Akku. Die Erzeugung hält CPU, GPU oder NPU beschäftigt, rechnen Sie also mit spürbarem Verbrauch. Google sagt, Gemma 4 auf AICore verbrauche bis zu 60 % weniger Akku als frühere Versionen und laufe bis zu viermal schneller (Googles Angabe für die eigenen Modelle und Telefone). Diese Zahlen lassen sich nicht auf eine per Sideloading installierte GGUF-App übertragen.
  • Vordergrundregeln für Googles Systemmodell. Google dokumentiert, dass ML-Kit-GenAI-Inferenz nur erlaubt ist, wenn die aufrufende App die oberste Vordergrund-App ist, mit Fehlern bei Hintergrundnutzung und Kontingenten pro App bei schneller oder lang laufender Nutzung. Apps, die Gemini Nano nutzen, können im Hintergrund nicht zusammenfassen.
  • Prozessgrenzen. Android 12 führte eine Grenze für Hintergrund-Kindprozesse ein, weshalb Termux „signal 9“ ausgeben und anhalten kann. Die Termux-Betreuer warnen, dass es ab Android 12 instabil sein kann. Auf neueren Versionen beschreiben Anleitungen einen Schalter in den Entwickleroptionen namens „Disable child process restrictions“ und, auf Android 12 bis 13, eine ADB-Einstellung; die Details unterscheiden sich je nach Marke und Version, prüfen Sie also auf Ihrem Telefon, bevor Sie sich auf eines davon verlassen.
  • Akku-Manager der Marken. Samsung, Xiaomi, OnePlus und andere ergänzen eigene Listen schlafender Apps. Nehmen Sie Ihre KI-App von der Akku-Optimierung aus, sperren Sie sie in der Ansicht der zuletzt genutzten Apps und lassen Sie den Bildschirm bei langen Antworten eingeschaltet.
  • Speicher. Modelle sind große Dateien. Legen Sie sie am von der App erwarteten Ort ab, halten Sie mehrere Gigabyte frei und löschen Sie Modelle, die Sie nicht mehr nutzen.
  • Kontextgröße. Ein größeres Kontextfenster belegt mehr Speicher. Der llama.cpp-Android-Leitfaden schlägt vor, nahe 4096 zu beginnen, weil größere Werte den Speicher in die Höhe treiben und das Terminal beenden können.

⚠️Warnung: Lassen Sie ein Telefon, das Bilder oder lange Antworten erzeugt, nicht unter einem Kissen oder in einem heißen Auto liegen. Hitze verkürzt die Akku-Lebensdauer, und ein gedrosseltes Telefon ist ein langsames Telefon.

Nicht möglich oder noch nicht

Das sind die Grenzen, die heute keine App beheben kann, gruppiert nach dem Grund. Sie zu kennen erspart Stunden mit Einstellungen, die nicht helfen werden.

📍 In einem Satz

Lokale KI auf Android kann bei schweren Aufgaben nicht mit Cloud-Modellen mithalten, kann keine Modelle mit 70 Milliarden Parametern oder sehr langen Kontexten halten und kann nicht als dauerhaft aktiver Assistent laufen, den Android nicht beendet.

💬 In einfachen Worten

Ein Telefon hat einen kleinen Speicher, einen kleinen Akku und ein heißes, abgedichtetes Gehäuse; diese drei Tatsachen setzen die Obergrenze.

Qualität von Spitzenmodellen offline

Warum:
Telefon-Modelle haben 1 bis 8 Milliarden Parameter; Cloud-Flaggschiffe sind weit größer. Kleine Modelle sind bei schwerem Schlussfolgern und langen, exakten Antworten schwächer.
Was Sie stattdessen tun können:
Nutzen Sie lokal für private, einfache oder Offline-Aufgaben; nutzen Sie für schwere einen Server oder die Cloud.

Modelle mit 70 Milliarden Parametern

Warum:
Bei 4-Bit brauchen allein die Gewichte Dutzende Gigabyte; die meisten Telefone haben insgesamt 8 bis 16 GB.
Was Sie stattdessen tun können:
Führen Sie sie auf einem Computer aus und nutzen Sie den Remote-Modus.

Sehr lange Dokumente auf einmal

Warum:
Kontextfenster sind klein, und der Speicherbedarf wächst mit dem Kontext; die Gemini-Nano-Prompt-API bleibt unter etwa 4.000 Token.
Was Sie stattdessen tun können:
In Abschnitte zerlegen mit RAG; auf einem Server indizieren.

Schnelle Antworten bei langen Ausgaben

Warum:
Die Geschwindigkeit wird durch die Speicherbandbreite begrenzt, und Hitze drosselt anhaltende Läufe.
Was Sie stattdessen tun können:
Ein kleineres Modell wählen; um kurze Antworten bitten.

Ein zuverlässiger dauerhaft aktiver Hintergrundassistent

Warum:
Android schränkt Hintergrundarbeit ein, und Akku-Manager der Marken beenden Apps; Googles Systemmodell funktioniert nur im Vordergrund.
Was Sie stattdessen tun können:
Den Assistenten auf einen Heimserver legen; das Telefon als Client nutzen.

NPU-Geschwindigkeit mit jedem per Sideloading installierten Modell

Warum:
NPU-Wege brauchen pro Chip kompilierte Modelle; nur manche Operationen werden unterstützt, der Rest fällt auf CPU oder GPU zurück.
Was Sie stattdessen tun können:
Modelle verwenden, die für LiteRT, GenieX oder NeuroPilot bereit sind, oder die CPU- und GPU-Geschwindigkeit akzeptieren.

Gemini Nano in jeder App auf jedem Telefon

Warum:
Der Zugriff hängt von AICore, Geräte- und Chipsatz-Unterstützung und, für die Prompt API, von einem gesperrten Bootloader ab.
Was Sie stattdessen tun können:
Eine Engine nutzen, die Sie kontrollieren, etwa llama.cpp oder LiteRT-LM.

Training oder Fine-Tuning auf dem Telefon

Warum:
Speicher-, Rechen- und Wärmebudget sind für alles jenseits winziger Experimente zu klein.
Was Sie stattdessen tun können:
Auf einem Computer feinabstimmen und das Ergebnis dann laden.

Verifizierte Genauigkeit kleiner Vision- und OCR-Modelle

Warum:
Wir haben keine unabhängigen Genauigkeitsangaben für die Modelle gefunden, die diese Apps ausführen.
Was Sie stattdessen tun können:
An eigenen Beispielen testen; nie blind vertrauen.

Garantiert keine Telemetrie

Warum:
Eine App kann lokal laufen und trotzdem Analysen erheben; die Aussage stammt vom Hersteller.
Was Sie stattdessen tun können:
Datensicherheits-Angaben, Erklärung, Berechtigungen und Verkehr prüfen.

Ein Setup, das auf jedem Android-Telefon funktioniert

Warum:
Chips, RAM, Betriebssystemversionen und Akku-Manager unterscheiden sich je nach Marke und Modell.
Was Sie stattdessen tun können:
Zuerst ein kleines Modell testen, dann hochskalieren.

💡Tipp: Mehrere dieser Grenzen verschieben sich. Gemma 4 auf Gemini Nano 4, breitere LiteRT-NPU-Unterstützung und AppFunctions sind in den von uns gelesenen Quellen alle in der Vorschau oder Beta. Prüfen Sie sie bei der nächsten Aktualisierung erneut, statt anzunehmen, dass die heutigen Grenzen dauerhaft sind.

Ruhige Apps, die Sie prüfen sollten, bevor Sie sich darauf verlassen

Einige Apps im Verzeichnis hatten seit mehr als drei Monaten kein Upstream-Update. Das ist keine Aussage, dass das Projekt tot oder unsicher ist; es ist ein Anlass, die Seite des Herstellers, den Store-Eintrag und den Issue-Tracker zu prüfen, bevor Sie eine Routine um die App aufbauen. Die Daten stammen aus den Verzeichniseinträgen, die die jüngste Veröffentlichung oder den letzten substanziellen Commit aus einer Primärquelle festhalten.

📍 In einem Satz

Mehrere im Verzeichnis für Android gelistete Apps, darunter MLC Chat, Caelum, ToolNeuron, PAIOS, Aori und Atomic Bot, hatten zum Zeitpunkt des Schreibens seit mehr als drei Monaten kein Upstream-Update.

💬 In einfachen Worten

Eine ruhige App kann weiter funktionieren, aber möglicherweise behebt niemand bald einen Fehler oder ein Sicherheitsproblem.

  • MLC Chat: Das zuletzt erfasste Update des Verzeichnisses stammt vom September 2024; prüfen Sie die GitHub-Releases des Herstellers auf neuere Builds. Die MLC-LLM-Laufzeit selbst entwickelt sich weiter (MLC LLM), bauen Sie für aktuelle Arbeit also aus der Laufzeit.
  • Caelum: kein Update seit August 2025, mehr als ein Jahr.
  • ToolNeuron: eine ruhige Phase von mehreren Monaten; eine gute Wahl (MIT-Lizenz, verschlüsselter Speicher), aber prüfen Sie die jüngste Aktivität.
  • PAIOS: Die geprüfte Version stammt vom Frühjahr 2026, und das Projekt bezeichnet sich als Alpha; prüfen Sie, ob Ihr Telefon von AICore weiterhin unterstützt wird.
  • Aori: eine kostenlose Beta ohne jüngste Version; die Android-App sendet Prompts an einen Cloud-Anbieter, den Sie anbinden.
  • Atomic Bot: keine jüngste Version und in unserer Review kein dokumentierter Android-Build.

Entscheidungspfad: Ich habe dieses Telefon und will das hier

Beginnen Sie bei Ihrem RAM und Ihrem Ziel, nicht bei der Beliebtheit einer App. Finden Sie die Zeile, die zu Ihrem Telefon passt, dann das Ziel, und folgen Sie dem Link.

📍 In einem Satz

Ordnen Sie RAM und Chip Ihres Telefons einer Modellgröße zu und Ihr Ziel einem Kapitel: Chat mit PocketPal AI, Kamera und Gemma mit Google AI Edge Gallery, Dokumente mit AnythingLLM Mobile und schwere Modelle auf einem Server über einen Remote-Client.

💬 In einfachen Worten

Kleines Telefon, kleines Modell; große Aufgabe, großer Server.

  • 4 bis 6 GB, einfacher privater Chat gewünscht: PocketPal AI mit einem Modell von 1 bis 2 Milliarden Parametern oder Ensu, wenn Sie mindestens 4 GB haben.
  • 8 GB, beste Alltagsbalance gewünscht: PocketPal AI oder Google AI Edge Gallery mit einem Modell von 3 bis 4 Milliarden Parametern.
  • 12 bis 16 GB, größtmögliches passendes Modell gewünscht: ein Modell mit 7 bis 8 Milliarden Parametern bei niedriger Bit-Quantisierung in einem GGUF-Runner wie Maid, mit kurzem Kontext.
  • Pixel 9 oder Pixel 10: Probieren Sie Googles Systemmodell über PAIOS aus und nutzen Sie Google AI Edge Gallery für Gemma-Modelle.
  • Galaxy S25 oder S26: Lesen Sie zuerst Galaxy S26: KI auf dem Gerät, weil Galaxy AI hybrid ist und der Chip von Modell und Region abhängt.
  • Snapdragon-8-Elite-Flaggschiff, maximale Geschwindigkeit gewünscht: Entwickler können LiteRT und GenieX nutzen; als Anwender beginnen Sie mit Google AI Edge Gallery und vergleichen sie mit einer llama.cpp-App.
  • Fragen zu meinen Dateien stellen: AnythingLLM Mobile oder Private Mind auf dem Telefon; ein Heimserver für große Archive.
  • Übersetzung oder Diktat offline gewünscht: LLM Hub, Private Mind oder Ensu, nachdem Sie Ihre Sprache getestet haben.
  • Bilder zeichnen: Local AI by GeetMark oder TokForge, mit Geduld und einem kühlen Telefon.
  • Mein Zuhause soll es nutzen: Home Assistant Assist mit einem Heimserver und dem Telefon als Fernbedienung.
  • Ein Computer mit GPU vorhanden: Führen Sie dort Ollama oder LM Studio aus und nutzen Sie LocalMind oder AnythingLLM Mobile als Telefon-Client.
  • Entwickler: Wählen Sie aus der Tabelle der Entwicklerwege; beginnen Sie mit der ML-Kit-Prompt-API, wenn Sie nur kleine Textaufgaben brauchen, und mit LiteRT-LM, wenn Sie Ihr eigenes Modell brauchen.

Erster Start in 15 Minuten

Sie können in etwa 15 Minuten einen funktionierenden Offline-Assistenten haben, und der größte Teil dieser Zeit ist der Modell-Download. Diese Anleitung nutzt PocketPal AI als Beispiel; die Schritte sind in jedem GGUF-Runner dieselben. Nutzen Sie für den Download WLAN und ein Ladegerät.

📍 In einem Satz

Installieren Sie eine App, laden Sie über WLAN ein zu Ihrem RAM passendes Modell herunter, führen Sie einen Prompt aus und testen Sie dann erneut im Flugmodus, um zu bestätigen, dass die Antwort offline funktioniert.

💬 In einfachen Worten

Einmal mit Internet herunterladen, dann das Internet ausschalten und sehen, ob es noch antwortet.

  1. 1
    Speicher und RAM prüfen (1 Minute)
    Why it matters: Modelle sind Gigabyte groß; 3 bis 6 GB freier Speicher reichen für ein erstes Modell, und der RAM bestimmt die Größe. Sehen Sie unter Einstellungen, Über das Telefon nach.
  2. 2
    Eine App installieren (2 Minuten)
    Why it matters: Nutzen Sie [PocketPal AI](/de/power-local-llm/pocketpal-ai-review) oder [Google AI Edge Gallery](/de/power-local-llm/google-ai-edge-gallery-review) aus Google Play. Eine App nach der anderen hält die Ergebnisse vergleichbar.
  3. 3
    Mit dem WLAN verbinden und anstecken (1 Minute)
    Why it matters: Der Download ist groß, und Erwärmung beim Laden ist akzeptabel; mobile Daten können langsam und teuer sein.
  4. 4
    Ein Modell nach RAM wählen (1 Minute)
    Why it matters: 4 bis 6 GB: 1 bis 2B. 8 GB: 3 bis 4B. 12 bis 16 GB: 4 bis 8B. Im Zweifel das kleinere wählen.
  5. 5
    Das Modell herunterladen und laden (5 bis 7 Minuten)
    Why it matters: Die Zeit hängt von Ihrer Verbindung und der Dateigröße ab; lassen Sie den Bildschirm eingeschaltet, bis es fertig ist.
  6. 6
    Einen ersten Prompt senden (1 Minute)
    Why it matters: Fragen Sie etwas Einfaches. Achten Sie darauf, wie schnell die Wörter erscheinen; das ist Ihre Basislinie.
  7. 7
    Im Flugmodus testen (1 Minute)
    Why it matters: Schalten Sie den Flugmodus ein und fragen Sie erneut. Antwortet es, ist die Inferenz für dieses Modell und diese App lokal.
  8. 8
    Die App von der Akku-Optimierung ausnehmen (1 Minute)
    Why it matters: Das verringert das Beenden mitten in der Antwort bei Marken mit aggressiven Akku-Managern.
  9. 9
    Eine Aufgabe aus diesem Leitfaden ausprobieren (beliebig lange)
    Why it matters: Diktat, eine Dokumentenfrage oder eine Bildfrage zeigt schnell, ob das Telefon gut passt.

💡Tipp: Wirkt das erste Modell langsam oder stürzt es ab, gehen Sie eine Größe herunter, bevor Sie die App wechseln. Wirkt es schwach, gehen Sie eine Größe hoch oder nutzen Sie den Remote-Modus.

Übersicht: Telefonklasse, App, Modellgröße

Eine Tabelle für den Screenshot. Das sind Ausgangspunkte auf Grundlage der RAM-Rechnung oben und dessen, was jede App dokumentiert, keine Benchmark-Ergebnisse.

📍 In einem Satz

Nutzen Sie Modelle mit 1 bis 2 Milliarden Parametern auf Telefonen mit 4 bis 6 GB, 3 bis 4 Milliarden auf Telefonen mit 8 GB, 7 bis 8 Milliarden auf Telefonen mit 12 bis 16 GB und einen Server für alles Größere.

💬 In einfachen Worten

Passen Sie zuerst das Modell an Ihren RAM an, wählen Sie dann die App für die Aufgabe.

Telefonklasse
Gute erste App
Modellgröße
Am besten für
4 bis 6 GB, EinsteigerPocketPal AI1 bis 2BKurzer Chat, einfaches Umformulieren
8 GB, MittelklasseGoogle AI Edge Gallery3 bis 4BAlltags-Chat, Kamerafragen
12 GB, FlaggschiffMaid4 bis 8BBessere Antworten, kurzer Kontext
16 GB, Gaming-TelefonLM Playground7 bis 8BGrößere lokale Modelle
Pixel 9 oder 10PAIOSGemini NanoSystemmodell, kein Download
Jedes Telefon + HeimserverLocalMind7 bis 70B auf dem ServerSchwere Modelle, Datenschutz zu Hause
Dokumente in jeder KlasseAnythingLLM MobileKleines Modell + RAGFragen zu Ihren Dateien

Häufige Fehler

Die meisten gescheiterten ersten Versuche haben dieselben wenigen Fehler als Ursache.

  • Ein Modell wählen, das für den freien RAM zu groß ist. Die App stürzt ab oder das Telefon friert ein. Gehen Sie eine Größe herunter.
  • Annehmen, dass die NPU genutzt wird. Die meisten per Sideloading installierten Apps laufen auf CPU oder GPU, ein „50-TOPS“-Chip macht sie also nicht schneller.
  • „Offline“ mit „privat“ gleichsetzen. Offline-Inferenz ist eine Ebene; Analysen, Werbung und Cloud-Schalter sind eine andere. Prüfen Sie die Datensicherheits-Angaben und die Datenschutzerklärung.
  • Termux aus mehreren Quellen installieren. Das Mischen von Builds aus Google Play, F-Droid und GitHub bricht Signaturen und Updates. Wählen Sie eine Quelle und bleiben Sie dabei.
  • Ein reines Textmodell für Vision nutzen. Bilder brauchen ein Modell mit Vision-Fähigkeit und in manchen Apps eine zusätzliche Projektor-Datei.
  • Einen Hintergrundassistenten erwarten. Android und Akku-Manager der Marken beenden ruhende Apps; legen Sie Dauerjobs auf einen Server.
  • Ein Modell an der ersten Antwort messen. Kalte Telefone sind am schnellsten; führen Sie einen zehnminütigen Test durch, bevor Sie entscheiden.
  • Eine App nur für Apple installieren. Chapper hat keine Android-Version. Nutzen Sie stattdessen einen Android-Client.
  • Kleinen Modellen Text mit hohem Risiko anvertrauen. Übersetzung, OCR und Zusammenfassungen können falsch sein; prüfen Sie, bevor Sie handeln.

Quellen

Plattform- und Chip-Fakten stammen von den unten genannten Herstellerseiten, gelesen im November 2026. Produktfakten stammen aus den verlinkten PromptQuorum-Reviews und den Verzeichniseinträgen, die ihre eigenen Primärquellen nennen.

Häufig gestellte Fragen

Kann ich lokale KI auf Android ohne Internet ausführen?

Ja. Laden Sie eine On-Device-App wie PocketPal AI oder Google AI Edge Gallery und ein Modell mit 1 bis 4 Milliarden Parametern über WLAN herunter und nutzen Sie sie dann im Flugmodus. Der erste Download braucht eine Verbindung; Chat, Diktat, Übersetzung und Dokumentenfragen können danach offline funktionieren, mit einer Qualität unter der von Cloud-KI.

Wie viel RAM brauche ich, um ein LLM auf meinem Android-Telefon auszuführen?

Als Faustregel passen in 4 bis 6 GB Modelle mit 1 bis 2 Milliarden Parametern, in 8 GB 3 bis 4 Milliarden, und 12 bis 16 GB können 7 bis 8 Milliarden bei niedriger Bit-Quantisierung aufnehmen. Android und andere Apps belegen mehrere Gigabyte, der freie RAM zählt also mehr als die Zahl auf der Verpackung. Apps können eigene Untergrenzen setzen.

Nutzen Android-Apps die NPU für lokale LLMs?

Meist nicht. Generische GGUF-Apps laufen auf der CPU und manchmal auf der GPU. NPU-Wege gibt es über Google LiteRT, Qualcomm GenieX und MediaTek NeuroPilot, aber sie erfordern Modelle, die für einen bestimmten Chip vorbereitet wurden. Google berichtet für eigene Beispiele große Beschleunigungen, etwa Gemma 3n E2B auf einer Dimensity-9500-NPU, aber das sind Entwicklerwege.

Was ist Gemini Nano, und kann jede App es nutzen?

Gemini Nano ist Googles Modell für das Gerät, verwaltet vom AICore-Dienst von Android. Apps erreichen es auf unterstützten Telefonen über ML Kit GenAI, etwa auf Pixel 9 und 10 sowie aktuellen Galaxy- und Xiaomi-Modellen. Google sagt, es laufe nur, solange die App im Vordergrund ist, und die Prompt API werde mit entsperrtem Bootloader nicht unterstützt.

Was ist die beste lokale KI-App für Android?

Eine einzige beste gibt es nicht. PocketPal AI ist ein kostenloser Open-Source-GGUF-Runner mit breiter Modellauswahl; Google AI Edge Gallery ist Googles eigene App für Modelle der Gemma-Familie; AnythingLLM Mobile passt zu Dokumentenfragen; LocalMind passt zu einem Telefon, das mit Ihrem eigenen Server spricht. Unser Android-Überblick vergleicht die bekanntesten Optionen.

Ist lokale KI auf Android wirklich privat?

Wenn eine App das Modell auf dem Telefon ausführt, werden Prompts für diesen Schritt nicht an die Inferenz-Server eines KI-Anbieters gesendet. Die App kann trotzdem Analysen erheben oder Cloud-Funktionen nutzen. Prüfen Sie die Datensicherheits-Angaben, die Datenschutzerklärung, die Berechtigungen und ob die App nach dem Modell-Download bei eingeschaltetem Flugmodus funktioniert.

Kann ich Ollama auf einem Android-Telefon ausführen?

Es gibt keine offizielle Ollama-App für Android. Ein Weg aus der Community führt es in Termux auf der CPU aus, und Sie können llama.cpp direkt in Termux ausführen oder eine Android-App nutzen, die eine Ollama-kompatible API nachbildet, etwa Mobile LM Server oder Ollama Local AI (nicht vom Ollama-Projekt). Die meisten Menschen erzielen bessere Ergebnisse, wenn sie Ollama auf einem Computer ausführen und einen Telefon-Client nutzen.

Erlaubt Android lokale KI im Hintergrund?

Nur teilweise. Android schränkt Hintergrundprozesse ein, Akku-Manager der Marken ergänzen eigene Grenzen, und Googles Gemini-Nano-APIs funktionieren nur im Vordergrund. Nehmen Sie die App von der Akku-Optimierung aus und lassen Sie den Bildschirm bei langen Antworten eingeschaltet; legen Sie dauerhaft aktive Assistenten auf einen Heimserver.

Kann ein Telefon ein Modell mit 70 Milliarden Parametern ausführen?

Nicht realistisch. Bei 4-Bit brauchen allein die Gewichte Dutzende Gigabyte, während Telefone typischerweise insgesamt 8 bis 16 GB haben. Führen Sie solche Modelle auf einem Computer aus und nutzen Sie Ihr Telefon über eine App wie LocalMind oder AnythingLLM Mobile als Client.

Wie übersetze ich Text offline auf Android mit lokaler KI?

Nutzen Sie eine App mit Übersetzung, etwa LLM Hub, oder für Aufnahmen Audio Scribe der Google AI Edge Gallery. Kleine Modelle bewältigen gängige Sprachpaare ordentlich und haben Mühe mit seltenen Sprachen und juristischen Formulierungen, testen Sie also Ihr Paar und prüfen Sie wichtige Texte nach.

Ist es sicher, ein Vision-Modell auf dem Gerät für Dokumente oder Etiketten zu nutzen?

Nicht für das Lesen mit hohem Risiko. Kleine Vision-Modelle können Text und Zahlen falsch lesen, und wir haben keine unabhängigen Genauigkeitsangaben für die Modelle gefunden, die diese Apps ausführen. Nutzen Sie sie für den Sinn und prüfen Sie dann am Original nach.

Was ist auf einem iPhone anders?

Beide sind leistungsfähig, aber sie wägen unterschiedlich ab. Das iPhone hat einen Hersteller und weniger Gerätevarianten, sodass die Ergebnisse tendenziell besser vorhersagbar sind. Android gibt Ihnen mehr Spielraum, Apps außerhalb des Stores zu installieren und Termux zu nutzen, das eine Android-App ist. Apples Regeln für die Installation von Apps außerhalb des App Store unterscheiden sich je nach Region und ändern sich im Lauf der Zeit, prüfen Sie also Apples aktuelle Richtlinie für Ihr Land. Unser Schwesterleitfaden Lokale KI auf dem iPhone behandelt die Apple-Seite, und Galaxy vs. iPhone: KI auf dem Gerät vergleicht die beiden Ökosysteme.

← Zurück zu Lokale LLMs Pro

MCP