Wichtigste Erkenntnisse
- Führt 200+ herunterladbare Open-Weight-Modelle über zwei lokale Engines aus: llama.cpp (GGUF) und MLX
- Kostenlos zum Download, mit optionalen In-App-Käufen (3,99 $-99,99 $) und optionalen Cloud-Anbietern mit eigenem API-Schlüssel
- Zusatzfunktionen: Sprachtranskription mit Sprechererkennung, Dokument-/RSS-Wissensbibliotheken, Multi-Agenten-Teams, On-Device-Text-zu-Sprache, Automatisierung über Siri-Kurzbefehle, native Vision-Pro-Unterstützung
- Erfordert iPhone 14+, iPad mini (7. Gen)+, einen Apple-Silicon-Mac oder Apple Vision Pro
- Entwickler: Zijie Deng, ein unabhängiger Entwickler — kein Unternehmen mit öffentlich bekannter Größe oder Finanzierung
- Anderes Produkt als die separate kostenpflichtige App „AI on Device" von Entwickler Eduardo Dominguez Menendez — siehe den Abschnitt zur Namensverwechslung
- Diese Review ist der Begleitartikel zum Eintrag von On Device AI im Local LLM Software Directory
📍 In einem Satz
On Device AI ist eine kostenlose App für iPhone, iPad, Apple-Silicon-Mac und Apple Vision Pro von Entwickler Zijie Deng, die mehr als 200 herunterladbare Open-Weight-KI-Modelle vollständig auf dem Gerät über llama.cpp (GGUF) und MLX ausführt, plus Sprachtranskription, Dokumentbibliotheken, Multi-Agenten-Workflows und optionale Cloud-Anbieter-Verbindungen.
💬 In einfachen Worten
Statt mit einem festen KI-Modell ausgeliefert zu werden, funktioniert On Device AI eher wie ein App-Store für lokale Modelle: Sie durchsuchen eine Bibliothek mit über 200 offenen Modellen, laden das für Ihr Gerät passende herunter und chatten damit über den Chip Ihres Geräts statt über einen entfernten Server. Die App transkribiert außerdem Sprachaufnahmen, liest Ihnen Dokumente und RSS-Feeds vor und kann kleine Teams aus KI-Agenten zusammenarbeiten lassen — alles ohne Internetverbindung, sobald ein Modell heruntergeladen ist.
📌Hinweis: Diese Review beschreibt, was On Device AI auf ondevice-ai.app und im App-Store-Eintrag über sich selbst angibt. PromptQuorum hat weder die Inferenzgeschwindigkeit über die 200+ unterstützten Modelle hinweg unabhängig gemessen noch die Angabe zur fehlenden Datensammlung bei der lokalen Verarbeitung unabhängig geprüft — das sind die vom Entwickler angegebenen Design-Eigenschaften, keine extern geprüften Garantien.
Was ist On Device AI?
On Device AI ist eine App für iPhone, iPad, Apple-Silicon-Mac und Apple Vision Pro, die KI-Modelle direkt auf dem Gerät ausführt, statt Unterhaltungen an einen Cloud-Server zu senden. Statt ein einzelnes Modell mitzuliefern, bietet die App eine Bibliothek mit mehr als 200 Open-Weight-Modellen zum Durchsuchen und Herunterladen — welches Modell Sie ausführen, ist damit eine Entscheidung, die Sie anhand von Speicherplatz und Arbeitsspeicher Ihres Geräts treffen, statt eine feste Vorgabe des Entwicklers.
- Modellauswahl: 200+ Open-Weight-Modelle zum Durchsuchen und Herunterladen, darunter die Familien Llama 3, Gemma 3, Qwen 3, DeepSeek, Phi-4 und Mistral
- Ausführung auf dem Gerät: Modelle laufen über die eigene Rechenleistung des Geräts via llama.cpp oder MLX, nicht über einen Cloud-API-Aufruf
- Eigene Modelle: unterstützt den Import kompatibler GGUF-Modelle von Hugging Face, zusätzlich zur eingebauten Bibliothek
- Plattform-Umfang: iPhone, iPad, Apple-Silicon-Mac und Apple Vision Pro — eine reine Apple-App ohne Android- oder Windows-Version
- Entwickler: Zijie Deng, ein unabhängiger Entwickler, kein Unternehmen mit öffentlich bekannter Größe oder Finanzierung
Nicht zu verwechseln mit „AI on Device"
On Device AI (das Thema dieser Review, ondevice-ai.app) und AI on Device (eine separate, eigenständig getestete App) sind zwei unterschiedliche Produkte mit verwirrend ähnlichen Namen. Beide führen Modelle lokal auf Apple-Geräten aus, stammen aber von unterschiedlichen Entwicklern und verfolgen bei Modellauswahl und Preisgestaltung entgegengesetzte Ansätze.
Aspekt | On Device AI (diese Review) | AI on Device (separate App) |
|---|---|---|
| Entwickler | Zijie Deng | Eduardo Dominguez Menendez |
| Modellauswahl | 200+ herunterladbare Modelle (GGUF + MLX) | Ein festes 3B-Modell (2-Bit) |
| Preise | Kostenlos + optionale IAP (3,99 $-99,99 $) | Einmalig 4,99 $ |
| Hardware-Voraussetzung | iPhone 14+ / iPad mini 7+ / Apple-Silicon-Mac / Vision Pro | Nur Apple-Intelligence-kompatible Geräte (iOS/macOS 26+) |
| App-Store-ID | id6497060890 | id6753206463 |
Wenn Sie über einen Link, ein Suchergebnis oder eine App-Store-Suche eigentlich die andere App gesucht haben, lesen Sie stattdessen die eigene AI-on-Device-Review — die beiden Apps sind nicht miteinander verbunden, und diese Review behandelt nicht die App mit festem Modell und Apple-Intelligence-Beschränkung.
So funktioniert lokale Inferenz: llama.cpp und MLX
On Device AI führt Modelle über zwei getrennte lokale Inferenz-Engines aus, je nach Modellformat: llama.cpp für Modelle im GGUF-Format und MLX für auf Apple Silicon optimierte Modelle. Beide Engines nutzen den Chip des Geräts selbst statt eines entfernten Servers, sodass keine Anfrage das Gerät verlassen muss, sobald ein Modell heruntergeladen ist.
- Schritt 1: Die Modellbibliothek (200+ Optionen) durchsuchen und ein zu Speicherplatz und Arbeitsspeicher Ihres Geräts passendes Modell wählen
- Schritt 2: Die Modelldatei auf das Gerät herunterladen (nur für diesen Schritt ist eine Internetverbindung nötig)
- Schritt 3: Mit dem heruntergeladenen Modell chatten, transkribieren oder Agenten-Workflows ausführen — ab diesem Punkt für die lokale Verarbeitung keine Internetverbindung mehr nötig
- Schritt 4: Optional ein eigenes GGUF-Modell von Hugging Face importieren, falls die eingebaute Bibliothek Ihren konkreten Bedarf nicht abdeckt
Was kann On Device AI sonst noch?
Über die Ausführung eines gewählten lokalen Modells für den Chat hinaus bündelt On Device AI Sprachtranskription, Dokument- und RSS-Import, Multi-Agenten-Workflows, On-Device-Text-zu-Sprache und Automatisierungs-Hooks in derselben App. Diese Funktionen erweitern die App von einem reinen Modell-Chat-Client zu einem breiteren On-Device-Produktivitäts-Arbeitsbereich.
- Sprachtranskription mit Sprechererkennung: zeichnet Audio auf und identifiziert, wer was gesagt hat
- Wissensbibliotheken: Import von PDFs, Notizen, Transkripten, Bildern und Web-Ausschnitten für KI-gestützte Dokumentenanalyse
- Listen Library und RSS-Feeds: wandelt Dokumente und RSS-Feeds in eine Lese-/Hörwarteschlange mit Wiedergabesteuerung um
- Multi-Agenten-Teams: setzt spezialisierte KI-Agenten (zum Beispiel für die Rollen Researcher, Analyst, Writer) ein, die gemeinsam an einer Aufgabe arbeiten
- On-Device-Text-zu-Sprache: drei Engines, darunter Apple Voices, Kokoro und PocketTTS
- KI-Suche und Tool-Aufrufe: Websuche mit zitierten Ergebnissen sowie Tool-Aufrufe für kompatible Modelle
- Automatisierung: Integration mit Siri-Kurzbefehlen, Widgets, Kalender und Erinnerungen
- Native Unterstützung für Apple Vision Pro mit Integration räumlichen Rechnens
- Mac-spezifische Extras: Menüleisten-Zugriff, globale Tastenkürzel, Messenger-Integrationen (Discord, Slack, Telegram) und eine Remote-Inferenzserver-Funktion
On Device AI holen: Voraussetzungen und Download
On Device AI wird ausschließlich über den Apple App Store vertrieben — es gibt keinen Direktdownload, keine Android- und keine Windows-Version. Die Geräteanforderungen variieren je nach Hardware-Typ, prüfen Sie die Tabelle unten gegen Ihr konkretes Gerät, bevor Sie herunterladen.
Gerät | Mindestanforderung |
|---|---|
| iPhone | iPhone 14 oder neuer, iOS 18+ — im App Store holen |
| iPad | iPad mini (7. Gen), iPad Air (5. Gen), iPad Pro (3. Gen) oder iPad (11. Gen) oder neuer, iPadOS 18+ — im App Store holen |
| Mac | Nur Apple Silicon, macOS 15+ — im App Store holen |
| Vision Pro | visionOS 2.0+ — im App Store holen |
On Device AIs eigener Eintrag empfiehlt für optimale Leistung mindestens 6 GB Arbeitsspeicher. Es gibt keine Android- oder Windows-Version — falls Sie eine plattformübergreifende Option benötigen, prüfen Sie das Local LLM Software Directory nach lokalen Modell-Apps für diese Plattformen.
On Device AI Preise: Kostenlos, Pro und Cloud-Anbieter
On Device AI ist für die zentralen lokalen Workflows kostenlos herunterladbar und nutzbar, mit optionalen In-App-Käufen und optionalen Cloud-Anbieter-Verbindungen obendrauf. Der App-Store-Eintrag zeigt eine In-App-Kauf-Spanne von 3,99 $ bis 99,99 $ für Pro-Funktionen; die genaue Funktionsfreischaltung je Preisstufe war in den für diese Review genutzten Quellen nicht im Detail aufgeführt.
- Kostenlose Stufe: zentrale lokale Modell-Chat-Funktionen und Workflows, kein Konto erforderlich
- Pro-Funktionen: optionale In-App-Käufe, laut App-Store-Eintrag 3,99 $-99,99 $ — die konkrete Funktionsfreischaltung je Stufe ist in den für diese Review genutzten Quellen nicht veröffentlicht
- Cloud-Anbieter: optional und erfordern ein eigenes Konto/einen eigenen API-Schlüssel von Anbietern wie OpenAI, Anthropic, Google Gemini, Groq, OpenRouter, Nvidia, LM Studio oder Ollama — diese sind nicht Teil der kostenlosen oder Pro-Stufe, und Nutzungskosten werden direkt vom jeweiligen Anbieter berechnet, nicht von On Device AI
- Vertrieb: ausschließlich über den Apple App Store
Wie privat ist On Device AI wirklich?
On Device AI gibt an, dass die lokale KI-Verarbeitung ohne Konto, Analytik oder Telemetrie erfolgt und dass Unterhaltungen, Dokumente und Aufnahmen das Gerät während dieser Verarbeitung nicht verlassen. Das ist eine Angabe zum Design der App, keine unabhängig geprüfte Compliance-Zertifizierung — behandeln Sie sie als vom Entwickler angegebene Datenschutzhaltung, nicht als von Dritten geprüfte Garantie.
- Kein Konto-Zwang bei lokaler Nutzung entfernt eine gängige Methode, Nutzung mit einer Identität zu verknüpfen
- On-Device-Verarbeitung für lokale Modelle bedeutet konstruktionsbedingt, dass Gesprächsinhalte das Gerät nicht verlassen müssen, um eine Antwort zu erzeugen
- Diese Review hat weder den Netzwerkverkehr unabhängig getestet noch den Code von On Device AI geprüft, um die Angabe zur fehlenden Datensammlung bei lokaler Verarbeitung zu bestätigen
- Das Verbinden eines optionalen Cloud-Anbieters ist ein separater, aktiv gewählter Schritt, der Daten nach dessen eigenen Bedingungen an diesen Anbieter sendet — unabhängig von On Device AIs Angabe zur lokalen Verarbeitung
Für wen eignet sich On Device AI?
Ob On Device AI passt, hängt davon ab, ob Sie eine breite Auswahl lokaler Modelle plus ein breiteres Produktivitäts-Werkzeugset möchten, statt einer einzelnen, einfachen Chat-App.
Konkurrenten und Alternativen
On Device AI konkurriert mit einer kleinen Gruppe von Apps, die ebenfalls Open-Weight-Modelle lokal auf Apple-Geräten ausführen. So schneidet die App im Vergleich zu den nächstliegenden Optionen ab — den vollständigen Katalog finden Sie im Local LLM Software Directory.
- Enclave AI — eine kostenlose iPhone-/iPad-/Mac-App eines anderen unabhängigen Entwicklers mit Hunderten herunterladbaren Open-Source-Modellen sowie personalisierten Assistenten, Dokumenten-Interaktion und Siri-/Kurzbefehle-Automatisierung; funktional der nächstliegende Vergleich zu On Device AI gegenüber den unten genannten Apps mit festem Modell.
- Noema — eine weitere On-Device-Modell-Chat-App für Apple-Plattformen; siehe die eigene Review für Modellbibliothek und Funktionsumfang.
- Solair AI — eine weitere, separat getestete On-Device-KI-App; vergleichen Sie deren Modellauswahl und Preise mit On Device AIs In-App-Kauf-Spanne von 3,99 $ bis 99,99 $.
- "AI on Device" — trotz des fast identischen Namens nicht dieselbe App wie das Thema dieser Review. Es handelt sich um eine einmalig 4,99 $ kostende App eines anderen Entwicklers (Eduardo Dominguez Menendez), die ein einzelnes festes 3-Milliarden-Parameter-Modell mit 2-Bit-Quantisierung ausführt und ein Apple-Intelligence-kompatibles Gerät voraussetzt, statt eine Bibliothek mit 200+ Modellen zu bieten.
Häufige Fehler bei der Bewertung von On Device AI
Die meisten Missverständnisse zu On Device AI entstehen durch die Verwechslung mit der ähnlich benannten App „AI on Device" oder durch die Annahme, dass optionale Cloud-Funktionen die Angabe zur lokalen Datenschutzverarbeitung verändern.
Häufig gestellte Fragen
Was ist On Device AI?
On Device AI (ondevice-ai.app) ist eine kostenlose App für iPhone, iPad, Apple-Silicon-Mac und Apple Vision Pro von Entwickler Zijie Deng, die mehr als 200 herunterladbare Open-Weight-KI-Modelle lokal ausführt, mit llama.cpp für GGUF-Modelle und MLX für Apple Silicon.
Ist On Device AI dieselbe App wie „AI on Device"?
Nein. On Device AI (das Thema dieser Review) und AI on Device sind zwei separate Apps unterschiedlicher Entwickler. On Device AI bietet 200+ herunterladbare Modelle kostenlos mit optionalen In-App-Käufen; AI on Device ist eine einmalig 4,99 $ kostende App von Entwickler Eduardo Dominguez Menendez, die ein einzelnes festes 3B-Modell bündelt und ein Apple-Intelligence-kompatibles Gerät voraussetzt. Siehe die eigene AI-on-Device-Review, falls Sie diese App gesucht haben.
Wie viele Modelle unterstützt On Device AI?
Mehr als 200 herunterladbare Open-Weight-Modelle, darunter die Familien Llama 3, Gemma 3, Qwen 3, DeepSeek, Phi-4 und Mistral, laufen über zwei lokale Engines: llama.cpp für Modelle im GGUF-Format und MLX für auf Apple Silicon optimierte Modelle.
Ist On Device AI kostenlos?
On Device AI ist im App Store kostenlos herunterladbar, mit kostenlosem Zugriff auf zentrale lokale Modell-Workflows. Sie bietet optionale In-App-Käufe von 3,99 $ bis 99,99 $ für Pro-Funktionen sowie optionale Cloud-Anbieter-Verbindungen, die einen eigenen API-Schlüssel erfordern.
Welche Geräte unterstützt On Device AI?
iPhone 14 oder neuer (iOS 18+), iPad mini (7. Generation) oder neuer sowie weitere aktuelle iPads (iPadOS 18+), jeder Apple-Silicon-Mac (macOS 15+) und Apple Vision Pro (visionOS 2.0+). Nicht unterstützt werden Android, Windows oder Intel-Macs.
Funktioniert On Device AI ohne Internetverbindung?
Sobald ein Modell heruntergeladen ist, funktionieren lokaler Chat und andere On-Device-Verarbeitung ohne Internetverbindung. Für den Download eines Modells und für die Nutzung einer optionalen Cloud-Anbieter-Verbindung ist jeweils Internetzugang erforderlich.
Sammelt On Device AI meine Daten?
Laut eigener Website von On Device AI erfolgt die lokale KI-Verarbeitung ohne Konto, Analytik oder Telemetrie, und Unterhaltungen, Dokumente und Aufnahmen verlassen das Gerät während dieser Verarbeitung nicht. Diese Review hat diese Angabe nicht unabhängig geprüft — es handelt sich um die vom Entwickler angegebene Design-Eigenschaft, nicht um eine extern verifizierte Garantie.
Kann On Device AI eigene Modelle importieren?
Ja. Zusätzlich zur eingebauten Bibliothek mit 200+ Modellen unterstützt On Device AI den Import kompatibler GGUF-Modelle von Hugging Face.
Unterstützt On Device AI Sprachfunktionen?
Ja. Die App umfasst Sprachtranskription mit Sprechererkennung und On-Device-Text-zu-Sprache über drei Engines, darunter Apple Voices, Kokoro und PocketTTS.
Wer entwickelt On Device AI?
On Device AI wird laut App-Store-Eintrag von Zijie Deng entwickelt, einem unabhängigen Entwickler — kein Unternehmen mit öffentlich bekannter Größe oder Finanzierung.
Unterstützt On Device AI Apple Vision Pro?
Ja. On Device AI bietet native visionOS-Integration mit Unterstützung für räumliches Rechnen und setzt visionOS 2.0 oder neuer voraus.