Lokale LLMs garantieren null Datenverlust: Patientenakten, Finanzdokumente, Rechtsdokumente verlassen Ihren Computer nie. Seit April 2026 erfordern streng regulierte Branchen (Gesundheit HIPAA, Finanzen PCI-DSS, Recht Anwaltsgeheimnis) luftgebundene Inferenz. Dieser Leitfaden behandelt sichere Einrichtung, Audit-Logging und Compliance-Verifikation.

Wichtigste Erkenntnisse

Persönliche Daten (Medizin, Finanzen): Daten können Ihre Kontrolle nicht verlassen. Lokales LLM auf isoliertem Netzwerk, verschlüsselte Speicherung, Zugriffsprotokolle.
Zahlungskartendaten: Niemals Kartennummern in LLM eingeben. PCI-DSS verbietet dies. Nur zu Analysezwecken, nur letzte 4 Ziffern.
Anwaltsgeheimnis: Vertrauliche Dateien können nicht das Anwaltzimmer verlassen. Netzwerk-isolierte Maschine, nur Papierausdruck.
Einrichtung: Ollama oder vLLM auf Linux-Server, isoliert, verschlüsselte Dateisysteme (LUKS), Audit-Logs (ELK), kein Internet. Kosten: 3.000–5.000 € Hardware + 2.000 €/Jahr Updates.
DSGVO-konform: Rechtsgrundlage Art. 6 Abs. 1 f) DSGVO (berechtigtes Interesse); Datenschutzmaßnahmen gemäß Art. 32 DSGVO; DPIA erforderlich (Art. 35).
vs Cloud-API: Cloud = Anbieter kontrolliert Daten + Verantwortungsbruch. Lokal = Sie kontrollieren + Null-Risiko.

Warum lokale LLMs für Konformität erforderlich sind

Cloud-APIs (ChatGPT, Claude, Gemini) sind für regulierte Daten nicht zulässig:

- Datenübertragung in die Cloud = Vertraulichkeitsverletzung (DSGVO, Anwaltsgeheimnis).

- Kein "Privatmodus". Daten trainiert letztendlich das Modell (Anbieter ToS erlauben es).

- Anbietersperre: Wenn Anbieter verletzt oder heruntergefahren wird, verlieren Sie Daten + Konformität.

Lokales LLM garantiert:

- Null Datenfluss (Netzwerk-Isolation = keine Cloud).

- Audit-Trail (jeder Zugriff wird protokolliert, kryptografisch signiert, unveränderbar).

- Kontrolle (Sie besitzen Daten, Verschlüsselungsschlüssel und den gesamten Stack).

- Vorhersehbare Kosten (nach 5.000 € anfänglicher Hardwareinvestition keine Pro-Token-Gebühren).

HIPAA / DSGVO: Datenschutz-Anforderungen

Persönliche Daten dürfen nicht von untauglichen Systemen verarbeitet werden. DSGVO und das Bundesdatenschutzgesetz (BDSG) verlangen angemessene Sicherheitsmaßnahmen.

1
Isolierter Server: Linux-Maschine, nicht geteilt, kein Internet, verschlüsselter USB für Datentransfer.
2
Verschlüsselte Speicherung: Vollplatten-Verschlüsselung (LUKS), AES-256, Passwortschutz. Schutz vor Datensicherung bei Hardware-Diebstahl.
3
Netzwerk-Isolation: Dediziertes VLAN oder völlige Netzwerk-Isolation. Zugriff nur via MFA-VPN oder physischem Terminal.
4
Audit-Logs: Jede LLM-Anfrage protokolliert: Zeitstempel, Benutzer-ID, Dokument-Hash (kein Klartext), Antwort-Länge, verwendetes Modell. Logs auf separatem verschlüsseltem Syslog-Server gespeichert.
5
Zugriffskontrolle: Rollenbasiert (Ärzte vs. Administrator vs. Forscher). MFA-Anmeldung. Keine geteilten Passwörter. Konten bei Kündigungsdisabled.
6
Aufbewahrungsrichtlinie: Inference-Logs nach 6 Jahren löschen (DSGVO Art. 5, BDSG § 31). Automatisiertes Lösch-Skript.
7
Datenverarbeitungsvertrag (DPA): Nur für Drittanbieter erforderlich. Open-Source-Modelle (Llama, Mistral) benötigen interne Konformitätsdokumentation.
8
Jährliche Penetrationstests: Drittanbieter-Sicherheitsprüfung validiert Null-Datenleaks, keine Standard-Credentials, keine ungepatchten Schwachstellen.

PCI-DSS: Finanzielle Datensicherheit

Zahlungskartendaten (PAN) dürfen nicht von LLMs verarbeitet werden. PCI-DSS v4.0 erfordert 12 Kernmandate.

1
Niemals vollständige Kartennummern eingeben. PCI-DSS verbietet dies absolut. Nur letzte 4 Ziffern, kein Verfallsdatum.
2
Hashing und Maskierung: Kartennummern → SHA-256-Hash für Analysen. Logs maskieren vollständige Nummern, zeigen nur Hashes.
3
Netzwerk-Segmentierung: LLM-Server auf eigenes VLAN. Firewall blockiert Zugriff von äußeren Netzen. NUR interne Zugriffe erlaubt.
4
Verschlüsselte Kommunikation: TLS 1.3 für alle API-Aufrufe. Datenspeicherung mit AES-256.
5
Protokollierung & Überwachung: Alle Abfragen protokollieren (Benutzer, Zeit, eingegeben Token-Länge, Modell). Tägliche Loganalysemit automatischen Warnungen.
6
Vendor-Audit: Falls verwaltete Dienste (z. B. Cloud-gehostetes LLM), Vendor-Compliance-Zertifikat verlangen (SOC 2 Type II oder gleichwertig).
7
Personal-Schulung: Jährliches PCI-DSS-Training für technische Teams. Verstehen Sie: „Kartendaten hinter den Kulissen, Logs nur Hashes".

Air-Gapped Networks: Maximale Sicherheit

Für ultrasensible Arbeitsabläufe (nationale Sicherheit, Geheimdienstforschung, Konzern-Geisteswerke) sind Air-Gapped-Netzwerke (vollständig offline) der Standard.

1
Was ist Air-Gapped? Eine Maschine mit null Netzwerkverbindung (nicht verbunden mit Internet, LAN oder WLAN). Daten nur via physische USB oder Papierkopie rein/raus.
2
Ollama oder llama.cpp Standalone: Modellgewichte lokal vorladen. Keine Remote-Modell-Downloads. Alle Inferenz läuft offline.
3
Physische Sicherheit: Maschine in gesperrtem Schrank, begrenzte Zugriffe (z. B. zwei Personen erforderlich, um zugreifen). Überwachungskamera optional.
4
USB-Übergabe: Eingehende Daten: verschlüsselter USB (BitLocker, LUKS), nur Daten-MD5-Prüfsumme, in Quarantäne gescannt vor dem Laden in LLM.
5
Ergebnisse: Nur Schreibzugriff auf unterschiedliche USB (keine Rückkopplung). Logs auf optischen Medien (WORM-CDs) archiviert, dauerhaft offline.
6
Für Normalunternehmen zu viel: Air-Gapped passt nur zu Regierungslabors oder Banken mit Tier-1-Geheimnissen. Für Arztpraxen / KMU: Netzwerk-Isolation (VLAN + Firewall) ist ausreichend.
7
Kosten: Hardware 5.000–15.000 €, monatliche Überwachung 500–2.000 €. Lohnt sich nur für Daten im Wert von Millionen.

EU / DSGVO / BDSG / AI-Gesetze

Europäische Datenschutzgesetze verlangen Kontrolle über sensible Daten und ihre Verarbeitung.

1
DSGVO Artikel 32 (Sicherheit): „Geeignete technische und organisatorische Maßnahmen" → Lokale Inferenz erfüllt dies besser als Cloud (Sie, nicht Anbieter, tragen Risiko).
2
DSGVO Artikel 35 (DPIA): Für hochriskante Verarbeitung (Gesundheit, Finanzielle) ist eine Datenschutz-Folgenabschätzung erforderlich. Lokale Deployment reduziert Risiken, vereinfacht DPIA.
3
BDSG (Deutschland): § 31 BDSG erfordert Verschlüsselung sensibler Daten. § 67 verlangt Benachrichtigung bei Datenpannen innerhalb von 72 Stunden.
4
EU AI-Gesetze (Mai 2024): High-Risk-AI-Systeme (sensible Personendaten) erfordern: Transparenzdokumentation, Menschliches Overshight, Audit-Logs. Lokale Systeme unterstützen diese.
5
Grenzüberschreitung: DSGVO Artikel 44-49 verbieten Datentransfers außerhalb des EWR ohne Vereinbarung. Lokale Speicherung = automatisch konform.
6
Verantwortlicher vs. Auftragsverarbeiter: Wenn Sie lokales LLM betreiben, sind Sie der Datenverantwortliche (Sie tragen Verantwortung); Open-Source-Modelle haben keine separaten AV (Auftragsverarbeitungsverträge).

Empfohlene Modelle und Hardware-Größenbestimmung

Anwendungsfall	Empfohlenes Modell	Min. VRAM	Kosten-Überschlag
Dokumentprüfung / Rechtsanalyse	Llama 3.1 8B oder Mistral 8B	8 GB	2.500 € (RTX 4070, Ollama)
Krankenakten / Patientendaten (HIPAA)	Llama 3.1 70B oder Qwen2.5 72B	48 GB	6.500 € (RTX 6000 Ada)
Finanzanalyse / PCI-DSS	Mistral Medium oder Llama 3.1 70B	32–48 GB	5.500 € (RTX 5880 oder A6000)
KMU / Multi-Use	Ollama + Llama 3.1 8B	<8 GB	1.500–3.000 € (gebrauchter GPU oder Mac Studio M2)

Lokales LLM vs. Cloud-API: Vergleich

Faktor	Lokales LLM	Cloud-API (GPT, Claude)
Datenspeicherort	Auf Ihrem Server	Anbieter-Rechenzentrum (USA/EU)
DSGVO-Konformität	✓ Volle Kontrolle	⚠ Erfordert DPA, Auftragsverarbeiter-Vereinbarung
Kosten-Struktur	5.000 € kapital, dann null laufend	$15–100/Monat pro Benutzer
Latenz	Abhängig von GPU (1–10s für 70B)	2–5s (API-Anruf + Netzwerk)

Audit und Logging für Konformität

1. Protokollieren Sie jeden Zugriff: Jede Anfrage = Benutzer-ID, Zeitstempel, Modell, Eingabelänge (kein Inhalt), Ausgabelänge, Erfolg/Fehler.

2. Verwenden Sie ELK Stack oder Splunk: Logs zentral speichern, nicht auf LLM-Server selbst. Logserver sollte offline oder eingeschränkt zugänglich sein (nur Admin).

3. Machen Sie Logs unveränderbar: Logs an WORM-Speicher (Write-Once-Read-Many) oder BlockchainLog archivieren. Verhindern Sie nachträgliche Änderung.

4. Überwachen Sie auf Anomalien: Warnung, wenn: ungewöhnlicher Volumenzustrom, Zugriff außerhalb der Arbeitszeiten, wiederholte Fehlgeschlagene Anfragen.

5. Regelmäßig auditieren: Wöchentliche Loganalyse für Sicherheitsprobleme. Monatlicher Compliance-Report an Datenschutzbeauftragten / Leitung.

6. Aufbewahrung / Löschung: Logs 6 Jahre aufbewahren (DSGVO), dann sicher löschen (wipe, nicht „delete").

Häufige Bereitstellungsfehler und Fixes

Fehler 1: LLM sendet Daten an einen Remote-Modell-Download-Server. Vorbeugen: Alle Modelle lokal vorladen (z. B. `ollama pull llama2:70b` vor der Produktion). Firewall-Regel: Blockiere ausgehende Verbindungen außer NTP.
Fehler 2: Logs sind im Klartext, Angreifer liest sensible Daten aus. Fix: Logs mit AES-256 verschlüsseln. Syslog-Protokolle über TLS. Nur Hashes und Längenmessungen in Logs speichern, nicht echte Daten.
Fehler 3: Multiple Benutzer teilen sich einen Standard-Benutzernamen in Ollama. Fix: Jeder Benutzer hat unterschiedliche Credentials. MFA für Terminal-Zugriff. Keine Standard-Passwörter.
Fehler 4: Backup-Festplatte ist nicht verschlüsselt. Fix: Alle Backups auf verschlüsseltem Laufwerk. Test Restore-Prozess monatlich (stellen Sie sicher, dass Backups funktionieren).
Fehler 5: Alte Versionen des Modells / der Abhängigkeiten → bekannte Schwachstellen. Fix: Monatliche Updates. Abonnieren Sie Sicherheitslisten für Ollama, llama.cpp, NVIDIA CUDA.
Fehler 6: Keine Offline-Testumgebung vor Produktion. Fix: Staging-Umgebung mit Testdaten aufbauen. Durchführen Sie Load-Tests (z. B. 100 gleichzeitige Anfragen), bevor Sie Live gehen.

Häufig gestellte Fragen

Warum können Cloud-LLMs keine sensiblen Daten verarbeiten?

Cloud-APIs (ChatGPT, Claude) senden Daten an Remote-Server. DSGVO und HIPAA verbieten dies für regulierte Daten ohne explizite Vereinbarung. Selbst mit Vereinbarung trägt der Cloud-Anbieter das Risiko, nicht Sie. Lokales Deployment = Sie kontrollieren die Sicherheit.

Wie viel kostet ein lokales LLM zu betreiben?

Anfangskosten: 3.000–6.000 € für GPU-Hardware (RTX 4090, A100 oder Mac Studio). Laufende Kosten: ~0 € (nur Strom ~50–100 €/Monat für Always-On). Nach 1–2 Jahren hat sich Hardware amortisiert. Cloud-APIs: $1.000+/Monat bei kontinuierlicher Nutzung. Lokal ist langfristig billiger.

Welches Modell sollte ich für medizinische Daten verwenden?

Llama 3.1 70B oder Qwen2.5 72B sind für Medizin-Textverarbeitung beste Optionen. Beide haben akademisches Feintuning auf biomedizinische Datensätze. Erfordern 48 GB VRAM (~6.500 € Hardware). Für kleinere Aufgaben: Llama 3.1 8B (8 GB VRAM, ~2.500 €).

Sind Open-Source-Modelle legal für kommerzielle Nutzung?

Ja. Llama 2, Mistral, Qwen sind unter Lizenzen wie Meta Community License oder Apache 2.0 verfügbar. Kommerzielle Nutzung ist erlaubt. Keine Lizenzgebühren oder Kontaktformulare erforderlich. (Hinweis: Überprüfen Sie immer die genaue Lizenz; einige haben Einschränkungen bei >1 Mrd. Benutzern.)

Kann ich ein lokales LLM auf einem Mac oder Laptop ausführen?

Ja. Mac Studio M2 Max (96 GB Speicher) / M3 Max kann Llama 70B ausführen. Ollama unterstützt macOS. Ältere MacBook Pros mit 16 GB RAM können 8B-Modelle ausführen. Trade-off: kleinere Modelle sind langsamer, aber funktionieren mit CPU-Beschleunigung.

Was ist der Unterschied zwischen „Offline" und „Luftgebunden" (Air-Gapped)?

"Offline" = kein Internet. "Air-Gapped" = keine Netzwerkverbindung. Offline-Maschinen können noch auf LAN zugreifen (risikobehaftet). Air-Gapped = NULL Konnektivität (HVAC, physische Datenübergabe). Air-Gapped ist extremer und für nationale Sicherheit / Höchstklasse-Geheimnisse. Für medizinische Daten: Offline ausreichend.

Benötige ich einen Datenschutzbeauftragten (DSB) für lokale LLMs?

Ja, wenn Ihr Unternehmen Daten nach DSGVO verarbeitet. Der DSB muss Ihre Einrichtung validieren (Audit-Logs, Verschlüsselung, Zugriffskontrolle). Lokale Systeme vereinfachen die DSGVO-Compliance: keine Cloud-Auftragsverarbeiter, keine grenzüberschreitenden Transfers, vollständige Datenkontrolle. Einfacherer Auditing-Prozess.

Kann ein lokales LLM sensible Daten im Output leaken (Replikation von Trainingsdaten)?

Ja, alle LLMs können gelegentlich Trainingsdaten replizieren. Lokal mindern Sie dies durch: Temperatur 0,0 setzen, Top-p<0,95 verwenden, Output-Filter (Regex-Muster für SSN, Kartennummern, E-Mails erkennen), manuelle Validierung kritischer Entscheidungen. Nutzen Sie Prompt-Injections-Tests, um Leakage-Risiken zu quantifizieren. Keine perfekte Lösung, aber lokale Kontrolle erlaubt aggressive Mitigation.

Quellen und weitere Ressourcen

EU-Richtlinie 2016/679 (DSGVO)
Bundesdatenschutzgesetz (BDSG) § 31, § 67
PCI Security Standards Council: PCI-DSS v4.0
EU AI Act (Regulation 2024/1689)
HIPAA Technical Safeguards Rule (45 CFR 164.308–312)
NIST Cybersecurity Framework 2.1 (2024)
Open Web Application Security Project (OWASP): LLM Top 10
Meta Llama 2 Community License Agreement
Qwen2.5 Lizenz (Apache 2.0)
BSI Richtlinie: C5 Cloud Computing Security Standard (DE)

Optimale lokale LLM-Einrichtung für sensible Daten