Wichtigste Erkenntnisse
- 41 Tools, fünf Arten: RAG-Frameworks und -Pipelines (13), Dokumenten- und PDF-Chat-Apps (13), Notiz-App-Integrationen (10), lokale Such- und Recherche-Tools (7) und Vektordatenbanken (4). Mehrere Tools, etwa Onyx, Karakeep und Surf, gehören zu mehr als einer Art und erscheinen in jeder davon.
- Die Tabelle wird aus dem Datensatz jedes Tools erzeugt und mit dessen offizieller README oder Website abgeglichen; ein Strich bedeutet „in der Dokumentation nicht genannt“, niemals „nein“.
- GitHub markiert die Repositories von Flowise und h2oGPT zum Zeitpunkt des Schreibens als archiviert (nur lesbar); prüfen Sie den jeweiligen Test auf den aktuellen Stand, bevor Sie darauf aufbauen.
- Jeder Toolname in der Tabelle verlinkt auf den eigenen PromptQuorum-Test, in dem Installationsschritte und Grenzen behandelt werden.
📍 In einem Satz
Tools, mit denen ein lokales Modell mit den eigenen Dokumenten arbeitet, sind fünf verschiedene Arten — RAG-Frameworks, Dokumenten-Chat-Apps, Vektordatenbanken, Notiz-Integrationen und lokale Suche —, weshalb die 41 Tools im PromptQuorum-Verzeichnis jeweils innerhalb ihrer Art verglichen werden, anhand einer Tabelle, die aus denselben Tooldaten erzeugt wird wie der jeweilige Test des Tools.
💬 In einfachen Worten
Manche Tools sind Bausteine für Entwickler, manche sind fertige Apps zum Chatten mit den eigenen Dateien, manche speichern die Vektoren, die die Suche möglich machen, und manche binden sich in eine Notiz-App ein, die Sie schon nutzen. Eine Datenbank und ein Notiz-Plugin anhand derselben Funktionen zu vergleichen ergibt keinen Sinn, deshalb vergleicht dieser Leitfaden Gleiches mit Gleichem.
So haben wir verglichen
Die Fakten jedes Tools — Preis, Lizenz, Plattformen, Hardwareanforderungen und kategoriespezifische Merkmale — sind einmal im Verzeichnis-Datensatz des Tools gespeichert. Die Vergleichstabelle unten wird aus diesen Datensätzen erzeugt, und der Test des Tools stützt sich auf denselben Datensatz, sodass beide keine unterschiedlichen Werte nennen können.
Kategoriespezifische Merkmale (zum Beispiel Unterstützung lokaler LLMs oder Hybridsuche) wurden der offiziellen README oder Website des jeweiligen Projekts entnommen und am exakten Wortlaut dort geprüft. Wo die Dokumentation schweigt, zeigt die Tabelle einen Strich statt zu raten; wo eine Aussage eingeschränkt ist (nur Roadmap, eine Enterprise-Edition, ein Begleitprojekt oder eine kostenpflichtige Stufe), wird das Merkmal aus der Tabelle weggelassen und stattdessen im Test des Tools behandelt.
In der Tabelle stehen nur Tools mit eigenem PromptQuorum-Test. Der Vergleich listet Tools, die auf der eigenen Hardware laufen oder selbst gehostet werden können; er reiht sie nicht in eine Rangfolge, weil das passende Tool von Ihrer Anforderung abhängt.
Vergleichstabelle
Wählen Sie unten eine Tool-Art und lesen Sie dann quer durch eine Zeile. Klicken Sie auf einen Toolnamen, um den vollständigen PromptQuorum-Test zu öffnen.
| Werkzeug | Preis | Lizenz | Plattformen | Ausführung | Hardware | Version | Visueller Drag-and-drop-Builder | Funktioniert mit lokalen LLMs | Agenten-Unterstützung | Mehrere Vektordatenbanken | Docker / Self-Hosting | Lokaler API-Server | Test | Produktlink · offengelegt |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| cognee | Kostenlos | Apache-2.0 | — | Hybrid | CPU genügt | — | — | Ja | — | — | Ja | Ja | Test lesen → | cognee |
| Dify | Freemium | Modified Apache 2.0 | Web, Linux | Hybrid | CPU genügt | — | Ja | Ja | Ja | — | Ja | Ja | Test lesen → | Dify |
| Flowise | Freemium | Apache-2.0 | Web | Hybrid | — | — | Ja | — | Ja | Ja | Ja | Ja | Test lesen → | Flowise |
| Haystack | Kostenlos | Apache-2.0 | macOS, Windows, Linux | Hybrid | — | — | — | Ja | Ja | — | Ja | — | Test lesen → | Haystack |
| Langchain-Chatchat | Kostenlos | Apache-2.0 | Linux, macOS, Windows | Hybrid | Je nach Modell unterschiedlich | v0.3.1 | — | Ja | Ja | Ja | Ja | Ja | Test lesen → | Langchain-Chatchat |
| Langflow | Kostenlos | MIT | Web | Hybrid | CPU genügt | — | Ja | — | Ja | Ja | Ja | Ja | Test lesen → | Langflow |
| LlamaIndex | Kostenlos | MIT | macOS, Windows, Linux | Hybrid | — | — | — | Ja | Ja | Ja | — | — | Test lesen → | LlamaIndex |
| LongMemory | Kostenlos | Apache-2.0 | macOS, Windows, Linux | Hybrid | CPU genügt | v1.2.3 | — | — | Ja | — | Ja | Ja | Test lesen → | LongMemory |
| MaxKB | Freemium | GPL-3.0 | Web, Linux | Hybrid | CPU genügt | — | — | Ja | Ja | — | Ja | — | Test lesen → | MaxKB |
| Onyx | Freemium | MIT (core) + Enterprise Edition proprietary … | Web, Linux | Hybrid | — | — | — | Ja | Ja | — | Ja | Ja | Test lesen → | Onyx |
| Self-hosted AI Starter Kit | Kostenlos | Apache-2.0 | — | Lokal | Je nach Modell unterschiedlich | — | Ja | Ja | Ja | — | Ja | — | Test lesen → | Self-hosted AI Starter Kit |
| txtai | Kostenlos | Apache-2.0 | macOS, Windows, Linux | Lokal | CPU genügt | — | — | Ja | Ja | — | Ja | Ja | Test lesen → | txtai |
| Vane (formerly Perplexica) | Kostenlos | MIT | macOS, Windows, Linux | Hybrid | CPU genügt | — | — | Ja | — | — | Ja | Ja | Test lesen → | Vane (formerly Perplexica) |
„—“ bedeutet, dass die eigene Dokumentation des Projekts es nicht angibt, nicht dass die Funktion fehlt. Die Werte stammen aus der offiziellen README oder Website des jeweiligen Projekts und werden erneut geprüft, wenn der Test eines Werkzeugs aktualisiert wird.
RAG-Frameworks: Die Unterschiede
- Visueller Builder. Dify, Flowise, Langflow und Self-hosted AI Starter Kit dokumentieren einen visuellen oder Drag-and-drop-Workflow-Builder.
- Lokale LLMs. cognee, Haystack, Langchain-Chatchat, LlamaIndex, MaxKB, Onyx, Self-hosted AI Starter Kit, txtai und Vane (formerly Perplexica) dokumentieren die Arbeit mit lokalen LLMs.
- Agenten. Dify, Flowise, Haystack, Langchain-Chatchat, Langflow, LlamaIndex, LongMemory, MaxKB, Onyx, Self-hosted AI Starter Kit und txtai dokumentieren Agenten-Unterstützung.
- Mehrere Vektorspeicher. Flowise, Langchain-Chatchat, Langflow und LlamaIndex dokumentieren Integrationen mit mehreren Vektorspeichern.
- Docker und Self-Hosting. cognee, Dify, Flowise, Haystack, Langchain-Chatchat, Langflow, LongMemory, MaxKB, Onyx, Self-hosted AI Starter Kit, txtai und Vane (formerly Perplexica) dokumentieren die Bereitstellung per Docker oder Self-Hosting.
- API. cognee, Dify, Flowise, Langchain-Chatchat, Langflow, LongMemory, Onyx, txtai und Vane (formerly Perplexica) dokumentieren eine HTTP- oder REST-API.
Dokumenten- und PDF-Chat: Die Unterschiede
- Lokale LLMs. AnythingLLM, h2oGPT, Khoj, Langchain-Chatchat, PrivateGPT, Quivr, Sidekick und Surf dokumentieren die Arbeit mit lokalen LLMs.
- Dokumentformate. AnythingLLM, h2oGPT, Khoj, PrivateGPT, Quivr und RAGFlow dokumentieren mehrere unterstützte Dateiformate.
- Quellenangaben. AnythingLLM, PrivateGPT, RAGFlow, Sidekick und Surf dokumentieren Quellenangaben in den Antworten.
- Desktop-App. AnythingLLM, Khoj und Surf dokumentieren eine installierbare Desktop-App.
- Docker und Self-Hosting. AnythingLLM, h2oGPT, Langchain-Chatchat, PrivateGPT und RAGFlow dokumentieren die Bereitstellung per Docker oder Self-Hosting.
- API. AnythingLLM, h2oGPT, Langchain-Chatchat, PrivateGPT, RAGFlow und ToolNeuron dokumentieren eine API.
Vektordatenbanken: Die Unterschiede
- Hybridsuche. Milvus, Qdrant und Weaviate dokumentieren die hybride Schlüsselwort- und Vektorsuche.
- Metadatenfilterung. Chroma, Milvus, Qdrant und Weaviate dokumentieren das Filtern nach Metadaten.
- Verteilter Betrieb. Milvus, Qdrant und Weaviate dokumentieren verteilte oder geclusterte Bereitstellung.
- Docker und Self-Hosting. Milvus, Qdrant und Weaviate dokumentieren die Bereitstellung per Docker oder Self-Hosting.
- Verwaltete Cloud. Chroma, Milvus, Qdrant und Weaviate dokumentieren neben dem Self-Hosting ein gehostetes Cloud-Angebot.
- Lizenz. Chroma, Milvus und Qdrant stehen unter Apache-2.0, der Kern von Weaviate unter BSD-3-Clause, wobei einige eingeschränkte Funktionen unter der eigenen Weaviate License stehen — Details finden Sie im Test des jeweiligen Tools.
Notiz-Integrationen: Die Unterschiede
- Welche Notiz-App. BMO Chatbot, Copilot for Obsidian, Smart Connections und Text Generator für Obsidian; logseq-copilot für Logseq; Joplin AI für Joplin; Blinko, SiYuan und Surf sind eigenständige Notiz-Apps mit integrierter KI.
- Lokale LLMs. BMO Chatbot, Copilot for Obsidian, Joplin AI, Karakeep, logseq-copilot und Surf dokumentieren die Arbeit mit lokalen LLMs.
- Semantische Suche. Karakeep und Smart Connections dokumentieren semantische Suche über Notizen.
- Chat mit den eigenen Notizen. BMO Chatbot und Joplin AI dokumentieren das Chatten mit den eigenen Notizen.
Lokale Suche und Recherche: Die Unterschiede
- Lokale LLMs. Farfalle, Karakeep, Local Deep Research, Onyx und Vane (formerly Perplexica) dokumentieren die Arbeit mit lokalen LLMs.
- Websuche. Farfalle, Local Deep Research, Onyx und Vane (formerly Perplexica) dokumentieren die Suche im Web.
- Eigene Dateien. Local Deep Research, Onyx und Smart Connections dokumentieren die Suche in den eigenen Dateien oder Notizen.
- Quellenangaben. Local Deep Research und Vane (formerly Perplexica) dokumentieren Quellenangaben.
Was dieser Vergleich nicht leisten kann
- Er vergleicht dokumentierte Fähigkeiten, nicht Qualität. Er sagt nichts darüber aus, wie genau die Antworten sind, wie schnell die Indexierung ist oder wie gut ein Tool skaliert — PromptQuorum hat dies für die aufgeführten Tools nicht gemessen.
- Striche sind Lücken in der von uns geprüften Dokumentation, keine negativen Befunde. Manche Tools unterstützen möglicherweise eine Funktion, die ihre README nicht erwähnt.
- Der Projektstatus zählt: GitHub markiert die Repositories von Flowise und h2oGPT zum Zeitpunkt des Schreibens als archiviert (nur lesbar), was bedeutet, dass dort nicht weiterentwickelt wird. Prüfen Sie den Test des jeweiligen Tools, bevor Sie es für ein neues Projekt wählen.
- Tools ändern sich schnell. Der Test jedes Tools nennt die Version, gegen die er geprüft wurde, und dieser Leitfaden wird aktualisiert, wenn ein Test aktualisiert wird.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einem RAG-Framework, einer Dokumenten-Chat-App und einer Vektordatenbank?
Ein RAG-Framework ist ein Entwickler-Toolkit zum Bau von Retrieval-Augmented-Pipelines. Eine Dokumenten-Chat-App ist eine fertige Anwendung, mit der Sie Fragen zu Ihren Dateien stellen. Eine Vektordatenbank speichert die numerischen Embeddings, die die Ähnlichkeitssuche ermöglichen, und ist meist eine Komponente innerhalb der beiden anderen. Sie erfüllen unterschiedliche Aufgaben und werden daher getrennt verglichen.
Was bedeutet ein Strich in der Vergleichstabelle?
Er bedeutet, dass die eigene Dokumentation des Projekts diese Angabe nicht nennt. Er bedeutet nicht, dass die Funktion fehlt; prüfen Sie den Test des Tools oder dessen Repository.
Warum erscheint ein Tool mehrfach?
Manche Tools erfüllen mehr als eine Aufgabe — zum Beispiel ein Suchtool, das sich auch in eine Notiz-App einbindet —, daher werden sie unter jeder Art aufgeführt, zu der sie gehören, mit den Merkmalen, die für diese Art gelten.
Haben diese Tools einen Affiliate-Link?
Nein. PromptQuorum hat zum Zeitpunkt des Schreibens keine Affiliate-Beziehung zu einem Tool in diesem Vergleich, und kein Link hier bringt eine Provision.
Wie oft wird dieser Vergleich aktualisiert?
Er wird zweimal im Jahr aktualisiert sowie immer dann, wenn der Test eines der aufgeführten Tools aktualisiert wird, weil die Tabelle aus denselben Daten wie diese Tests erzeugt wird.
Quellen
- Die offizielle README oder Website jedes Tools, aufgeführt im PromptQuorum-Test des jeweiligen Tools (verlinkt aus der Vergleichstabelle).
- PromptQuorum-Verzeichnis für lokale KI-Apps — der Datensatz, aus dem jede Zeile der Tabelle erzeugt wird.
- GitHub-Repository-Status (archiviert oder aktiv) jedes aufgeführten Projekts, geprüft beim Verfassen dieses Leitfadens.