Das beste Embedding-Modell für lokales RAG?

Lesen auf:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Schnelle Antwort

nomic-embed-text ist das beste Embedding-Modell für lokales RAG via Ollama — 8.192-Token-Kontext und effizient auf bescheidener Hardware. BGE-M3 ist die bessere Wahl für mehrsprachige Dokumentensammlungen.

▸nomic-embed-text: 8.192-Token-Kontextfenster, läuft über Ollamas Embedding-API, starke allgemeine Wahl.
▸BGE-M3: speziell für mehrsprachiges Retrieval gebaut — die richtige Wahl, wenn Ihre Dokumente mehrere Sprachen umfassen.
▸mxbai-embed-large: eine starke alternative allgemeine Embedding-Modell-Wahl, etwas größerer Speicherbedarf als nomic-embed-text.

Aktualisiert: 2026-07

Quick AnswersFortgeschritten

Wichtigste Punkte

✓Beste allgemeine Wahl: nomic-embed-text — 8.192-Token-Kontext, läuft über Ollamas Embedding-API
✓Beste mehrsprachige Wahl: BGE-M3 — speziell für starkes Retrieval über viele Sprachen hinweg gebaut
✓Alternative: mxbai-embed-large — starke allgemeine Qualität, etwas größerer Speicherbedarf
✓Ältere Modelle wie all-MiniLM-L6-v2 sind kleiner und schneller, aber merklich schlechter — für ernsthaftes RAG meiden

Beste Wahl: nomic-embed-text

nomic-embed-text ist das beste Embedding-Modell für lokales RAG, weil es ein echt langes Kontextfenster von 8.192 Token mit effizienter Inferenz und nativem Ollama-Support über die Embedding-API kombiniert. Ältere Embedding-Modelle liegen typischerweise bei rund 512 Token, was ein aggressiveres Chunking von Dokumenten erzwingt und Kontext über Chunk-Grenzen hinweg verliert — das längere Fenster von nomic-embed-text mindert dieses Problem.

Umfasst Ihre Dokumentensammlung mehrere Sprachen, ist BGE-M3 die bessere Wahl. Es wurde speziell für starke mehrsprachige Retrieval-Leistung trainiert, während nomic-embed-text und die meisten anderen Optionen primär englisch-optimiert sind, mit schwächerer Leistung bei nicht-englischem Text.

mxbai-embed-large ist eine solide alternative allgemeine Wahl, wenn Sie Ergebnisse gegen nomic-embed-text vergleichen möchten — es hat einen etwas größeren Speicherbedarf, aber konkurrenzfähige Qualität bei englischsprachigen Retrieval-Benchmarks.

Embedding-Modelle im Vergleich

Meiden Sie ältere, kleinere Modelle wie all-MiniLM-L6-v2 für ernsthafte RAG-Arbeit — sie sind schnell und leichtgewichtig, aber bei der Retrieval-Genauigkeit merklich schlechter als nomic-embed-text, BGE-M3 oder mxbai-embed-large. Die Qualitätslücke zählt für die meisten RAG-Anwendungsfälle mehr als der Geschwindigkeitsgewinn.

Alle drei empfohlenen Modelle laufen mit minimalem Setup über Ollamas Embedding-API — das Modell ziehen und den Embeddings-Endpunkt aufrufen ist derselbe Workflow, egal für welches Sie sich entscheiden.

Weiterführende Artikel

▸Bestes lokales LLM für Dokumentenzusammenfassung — Retrieval mit einem Long-Context-Chat-Modell kombinieren
▸Wie viel VRAM braucht man für ein lokales LLM? — Hardware für eine vollständige RAG-Pipeline dimensionieren
▸Bestes Sub-8B-Modell für Echtzeit-Chat — ein schnelles Chat-Modell zur Kombination mit Retrieval

Häufig gestellte Fragen

Brauche ich eine GPU, um ein Embedding-Modell lokal zu betreiben?▾

Nein — Embedding-Modelle sind viel kleiner als Chat-LLMs und laufen mit angemessener Geschwindigkeit auf der CPU. Eine GPU beschleunigt die Massenindizierung großer Dokumentensammlungen, ist aber für typische RAG-Workloads nicht erforderlich.

Kann ich dasselbe Modell für Embeddings und Chat verwenden?▾

Nein — Embedding-Modelle und Chat-Modelle erfüllen unterschiedliche Zwecke und nutzen unterschiedliche Architekturen. Betreiben Sie ein dediziertes Embedding-Modell (wie nomic-embed-text) neben Ihrem Chat-Modell (wie Qwen3 oder Llama), nicht statt dessen.

Wie wähle ich eine Chunk-Größe für RAG mit nomic-embed-text?▾

Der 8.192-Token-Kontext gibt Flexibilität, aber kürzere Chunks (einige hundert Token) liefern im Allgemeinen weiterhin präzisere Retrieval-Ergebnisse als sehr lange Chunks, da übermäßig breite Chunks die Spezifität des Embeddings verwässern. Beginnen Sie mit rund 300-500 Token pro Chunk und passen Sie basierend auf der Retrieval-Qualität an.

Ist BGE-M3 langsamer als nomic-embed-text?▾

BGE-M3 ist etwas größer, rechnen Sie also mit moderat langsamerer Inferenz und Indizierung gegenüber nomic-embed-text — ein vernünftiger Kompromiss, wenn Sie verlässliches mehrsprachiges Retrieval brauchen.

Verwandte Prompt Bites

← Zurück zu Prompt-Häppchen