Wichtigste Erkenntnisse
- Corporate RAG = Unternehmens-Wissensdatenbank. Laden Sie alle Unternehmensdokumente hoch, mitarbeiter können Fragen stellen.
- Anwendungsfälle: Richtlinienlookup, Vertragssuche, Forschungserkennung, Onboarding, Compliance-Schulung.
- Skalierung: 10.000–100.000 Dokumente, 100–500 gleichzeitige Nutzer, <2 Sekunden Latenz.
- Lokaler Vorteil: Proprietäre Dokumente verlassen Ihr Netzwerk nie. Vollständiger Audit-Trail über wer was zugegriffen hat.
- Ab April 2026 sparen Unternehmen durch Corporate RAG 500T–5M EUR jährlich durch Mitarbeiterproduktivität.
Welche Dokumenttypen kann Corporate RAG verarbeiten?
| Dokumenttyp | RAG-Anwendung | Typische Nutzer |
|---|---|---|
| Mitarbeiterhandbuch | Richtlinienlookup („Wie viel Urlaub habe ich?") | Alle Mitarbeiter |
| Verträge | Klauselsuche („Was ist die Kündigungsklausel?") | Jura, Beschaffung |
| Technische Dokumentation | API-Referenz, Code-Beispiele | Ingenieure |
| Forschungsarbeiten | Wissenserkennung („Papers zu Quantum ML?") | F&E-Teams |
| Compliance-Dokumente | Regulatorischer Lookup („DSGVO-Anforderungen zur Datenspeicherung?") | Compliance, Jura |
| Kundendokumentation | Produktdokumentation, FAQ | Support, Vertrieb |
Wie nehmen Sie Dokumente im großen Maßstab auf?
Aufnahmepipeline konvertiert Dokumente zu Embeddings und speichert sie in Vektor-DB.
- 1Dokumente extrahieren: Aus Dateiservern, SharePoint, Jira, Confluence, etc.
- 2Parsen: Konvertieren Sie PDFs, Word-Dokumente, HTML zu Text. Behandeln Sie Tabellen, Bilder.
- 3Chunking: Teilen Sie in 500–1.000 Token-Chunks mit 20% Überlappung auf.
- 4Einbetten: Konvertieren Sie Chunks zu Vektoren mit lokalem Embedding-Modell (nomic-embed-text).
- 5Indexieren: Speichern Sie Vektoren in Qdrant, Milvus oder Weaviate mit Metadaten (Quelle, Datum, Autor).
- 6Aktualisierung: Wöchentliche oder monatliche Neuaufnahme für Updates.
Wie gestalten Sie Multi-Nutzer Corporate RAG?
Typischer Stack:
- Frontend: Web-Interface oder Slack-Bot.
- API: REST-Endpoint für RAG-Abfragen.
- LLM: Lokales Llama 13B (Qualität) oder 7B (Geschwindigkeit).
- Embeddings: Lokales nomic-embed-text (oder Cloud für Geschwindigkeit).
- Vektor-DB: Qdrant (verteilt) für 10.000+ Dokumente.
- Dokumentspeicher: Verschlüsselter Dateiserver für PDFs und Quellen.
- Zugriffskontrolle: LDAP/AD-Integration für Benutzerberechtigungen.
Wie stellen Sie Retrieval-Qualität sicher?
Schlechtes Retrieval = schlechte Antworten. Qualität hängt ab von:
- Chunking-Strategie: Semantische Chunks (nach Thema) übertreffen feste Chunk-Größen.
- Embedding-Modell: Verwenden Sie Domänen-spezifische Embeddings wenn verfügbar. Generische Embeddings können Domain-Terminologie übersehen.
- Retrieval-Parameter: k=5–10 (wie viele Chunks abrufen). Zu niedrig = fehlender Kontext. Zu hoch = Rauschen.
- Reranking: Verwenden Sie Cross-Encoder zum Neu-Ranking von Chunks nach Relevanz (kleine Qualitätsverbesserung).
- Benutzer-Feedback: „Feedback"-Button auf Antworten. Verwenden Sie zur Optimierung von Retrieval-Parametern.
Wie implementieren Sie Governance und Zugriffskontrolle?
Corporate RAG muss Zugriff für Compliance verfolgen. In Deutschland ist DSGVO-Artikel 28 (Auftragsverarbeitung) zentral — lokale RAG Systeme müssen als AV-verträge zwischen Unternehmen und Betreiber dokumentiert sein.
- Zugriffsprotokolle: Wer hat welche Dokumente abgefragt, wann, von wo aus.
- Aufbewahrung: Behalten Sie Protokolle für 3–7 Jahre (Compliance-Anforderung, DSGVO-Artikel 17 Recht auf Vergessenwerden).
- Zugriffskontrolle: Beschränken Sie Dokumente nach Rolle (z. B. nur Jura sieht Verträge).
- Audit: Vierteljährliche Überprüfung von Zugriffsprotokollen auf ungewöhnliche Aktivität.
- Datenklassifizierung: Markieren Sie Dokumente als öffentlich, intern, vertraulich, eingeschränkt.
- BSI-Grundschutz: Implementieren Sie ORP-4 (Angemessene IT-Ausstattung), CON-7 (Kryptografische Verfahren), OPS-1 (Deployment und Patch-Management).
- Multi-Tenant-Isolation: Für Abteilungen oder Tochterunternehmen, vollständige Dokumentisolation mit separaten Vektorräumen.
Häufige Corporate RAG Fehler
- Aufnahme ohne Bereinigung. Alte Dokumente, Duplikate, Test-Dateien = Retrieval-Rauschen. Reinigen Sie vorher.
- Nicht intelligentes Chunking. Feste Chunk-Größen unterbrechen Themen mid-Satz. Verwenden Sie semantisches Chunking.
- Keine Zugriffskontrolle. Wenn alle Dokumente für alle Mitarbeiter sichtbar sind, laufen Vertrauliche Informationen aus.
- Retrieval-Qualität ignorieren. Testen Sie mit echten Mitarbeitern vor breiter Ausrollung. 50% der Probleme sind Retrieval, nicht Generierung.
- Keine Updates einpflegen. Dokumentdatenbank wird veraltet. Planen Sie wöchentliche/monatliche Neuaufnahme.
Häufig gestellte Fragen zu Corporate RAG?
Wie viele Dokumente kann Corporate RAG verarbeiten?
Hängt von durchschnittlicher Dokumentgröße und Latenz ab. Typischer Bereich: 10.000–100.000 Dokumente. Retrieval-Latenz sollte <1 Sekunde sein. Wenn langsamer, optimieren Sie Chunking oder Embeddings. Testen Sie mit Ihrem tatsächlichen Dokumentset.
Welches Embedding-Modell sollten wir verwenden?
Open-Source-Optionen: all-MiniLM-L6-v2 (schnell, gut), BAAI/bge-base-en-v1.5 (bessere Qualität). Proprietär: OpenAI text-embedding-3-small. Für lokale Bereitstellung, verwenden Sie Open-Source. Qualitätsunterschiede sind wichtig: bessere Embeddings = besseres Retrieval.
Wie aktualisieren wir Dokumente, ohne Chat-Verlauf zu verlieren?
Speichern Sie Chat-Verlauf getrennt von Dokumenten-Embeddings. Aktualisieren Sie Embeddings nach einem Zeitplan (wöchentlich/monatlich). Alte Chats verweisen immer noch auf alte Dokumentversionen, was in Ordnung ist -- dokumentieren Sie nur das Versionsdatum.
Können wir RAG für vertrauliche Dokumente verwenden?
Ja -- lokale RAG ist ideal. Dokumente bleiben im Netzwerk, Abfragen werden nicht extern protokolliert, und Sie kontrollieren Zugriff über rollenbasierte Berechtigungen. Dies erfüllt HIPAA und DSGVO.
Was ist semantisches vs. festes Chunking?
Festgröße (z. B. 512 Token) ist einfacher, teilt aber Themen mid-Satz. Semantisches Chunking verwendet Satz-/Absatzgrenzen, erhält Bedeutung. Semantisch ist besser für RAG-Qualität, aber langsamer einzurichten.
Wie messen wir RAG-Qualität?
Metriken: retrieval@k (richtiges Dokument in den Top-k-Ergebnissen), Latenz (sollte <1 Sekunde sein), Benutzerzufriedenheit (Mitarbeiter-Umfrage). Testen Sie mit Domain-Experten -- sie wissen, wie „korrekte" Antworten aussehen.
Muss ich bei der Verwendung von lokaler Corporate RAG die DSGVO beachten?
Ja, absolut. Lokale Corporate RAG unterliegt DSGVO Artikel 28 (Auftragsverarbeitung), Artikel 32 (Sicherheit von Verarbeitungsvorgängen) und Artikel 17 (Recht auf Vergessenwerden). Dokumentieren Sie Verarbeitungsverträge mit Ihrem RAG-Betreiber, implementieren Sie Zugriffskontrolle und Audit-Logs, und stellen Sie sicher, dass Mitarbeiter ihr Recht auf Datenlöschung ausüben können.
Ist lokale Corporate RAG für kleine bis mittlere Unternehmen (Mittelstand) skalierbar?
Ja, Mittelstand profitiert besonders. Lokale RAG spart KI-API-Kosten (OpenAI, Anthropic), stellt Compliance (DSGVO) sicher, und bietet ROI durch Produktivitätsgewinne. Für <50 Mitarbeiter: Rechner mit GPU genügt. Für 50–500 Mitarbeiter: Kleine Vektor-DB (Qdrant single-node). Für >500: Verteilte Architektur.
Quellen
- LlamaIndex Dokumentation -- docs.llamaindex.ai
- Qdrant Vektor-Datenbank -- qdrant.tech
- Retrieval-Bewertung -- arxiv.org (suchen Sie „RAG evaluation metrics")