PromptQuorumPromptQuorum
Startseite/Lokale LLMs/Sichere Offline-Workflow mit lokalen LLMs aufbauen
Privacy & Business

Sichere Offline-Workflow mit lokalen LLMs aufbauen

·9 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum, Multi-Model-AI-Dispatch-Tool · PromptQuorum

Für maximale Datenschutz: Isolierte Workflow mit Offline-LLM-Server (kein Netzwerk), Datenübertragung via verschlüsseltem USB. Seit April 2026 erforderlich für hochsichere Umgebungen (juristische Ermittlungen, genetische Gesundheitsdaten, Forschung mit Sicherheitsstufen).

Für maximale Datenschutz: Isolierte Workflow mit Offline-LLM-Server (kein Netzwerk), Datenübertragung via verschlüsseltem USB. Seit April 2026 erforderlich für hochsichere Umgebungen (juristische Ermittlungen, genetische Gesundheitsdaten, Forschung mit Sicherheitsstufen). Setup dauert 1-2 Tage; operativer Aufwand ist moderat.

Wichtigste Erkenntnisse

  • Isoliert = kein Netzwerk. Ethernet getrennt, WiFi im BIOS deaktiviert, Mobilfunk deaktiviert.
  • Daten rein: Benutzer verschlüsselt Dokumente auf dem verbundenen Gerät (GPG), überträgt via USB zum isolierten Server.
  • Inferenz: LLM lokal auf isoliertem Gerät ausführen. Ausgabe verschlüsselt, auf USB gespeichert.
  • Daten raus: USB an verbundenes Gerät zurück, entschlüsselt, überprüft, für Freigabe genehmigt.
  • Hardware: Dediziertes Gerät (kann nicht freigegeben werden). Standard-Office-PC ist ausreichend.
  • Setup: 1-2 Tage (OS-Härtung, Firmware-Patching, Schlüsselerzeugung).
  • Operativer Aufwand: ca. 30 Min. pro Inferenz-Job (Datenvorbereitung, Verschlüsselung, Entschlüsselung, Überprüfung).
  • Kosten: 1.000-2.000 € Hardware + 0 € Software (Open Source).
  • vs. VPN-Ansatz: Isoliert ist paranoid aber unzerbrechlich. VPN ist bequem, aber Netzwerkrisiko bleibt bestehen.

Segmentierte Architektur

Geräte:

1. Verbundenes Gerät (Admin): Hat Internet, Antivirus, Firewall. Für GPG-Schlüsselspeicherung, Dokumentvorbereitung.

2. Isolierter Inferenz-Server: Null Netzwerk, nur USB-Anschluss. Führt LLM aus, verarbeitet vertrauliche Daten.

3. Optional: Tragbare Medien (USB): Verschlüsselt, isolierter Speicher für Datenübertragung.

Netzwerk-Setup:

- Isolierter Server auf isolierter Stromleiste (kann bei Bedarf schnell abgestellt werden).

- Verbundenes Gerät im Standard-Netzwerk.

- Kein gemeinsames Dateisystem, kein Bluetooth, kein Netzwerkkabel.

- Physische Trennung (getrennte Räume empfohlen).

Datenübertragungs-Workflow

  1. 1
    Benutzer bereitet vor: Dokument zur Analyse lokal auf verbundenem Gerät gespeichert.
  2. 2
    Verschlüsseln: `gpg --encrypt --recipient admin@unternehmen.de dokument.txt` → `dokument.txt.gpg`.
  3. 3
    Übertragen: `dokument.txt.gpg` auf USB-Stick kopieren. USB vom verbundenen Gerät auswerfen.
  4. 4
    Physische Übergabe: USB wird zum isolierten Gerät gebracht (menschlicher Kurier, versiegelter Umschlag).
  5. 5
    Entschlüsseln & Aufnahme: `gpg --decrypt dokument.txt.gpg` → Klartextdatei. .gpg-Datei löschen.
  6. 6
    Inferenz: Eingabeaufforderung: „Analysieren Sie dieses Dokument: [INHALT]". Antwort generieren.
  7. 7
    Ausgabe verschlüsseln: Antwort.txt mit gleichem GPG-Schlüssel verschlüsseln.
  8. 8
    Physische Rückgabe: USB an Admin zurück. Admin entschlüsselt und überprüft vor dem Teilen.
  9. 9
    Entsorgung: USB sicher löschen (DBAN oder Reißwolf).

Verschlüsselung & Schlüsselverwaltung

GPG (GNU Privacy Guard): Industriestandard für Datenverschlüsselung in ruhendem Zustand.

Schlüssel-Setup: 4.096-Bit-RSA-Schlüssel auf isoliertem Gerät generieren. Öffentlichen Schlüssel auf verbundenes Gerät exportieren.

Speicherung: Privater Schlüssel nur auf isoliertem Gerät (verlässt das Gerät nie, auch nicht auf USB).

Passwort: Privater Schlüssel durch starke Passphrase geschützt (20+ Zeichen, in Passwort-Manager im Safe gespeichert).

Schlüssel-Rotation: Alle 1-2 Jahre neuen Schlüssel generieren. Alter Schlüssel archiviert aber nicht zerstört (kann alte Daten entschlüsseln).

Ausgabebehandlung & Hardcopy

Nach der Inferenz:

1. Digitale Ausgabe: Verschlüsselte Datei auf USB, an Admin zurück.

2. Hardcopy-Option: LLM-Antwort auf isoliertem Drucker ausdrucken (nur USB-verbunden, kein Netzwerk).

3. Hardcopy-Sicherheit: Dokument klassifiziert (z.B. „VERTRAULICH" Kopf-/Fußzeile). In versperrtem Schrank aufbewahrt.

4. Zerstörung: Hardcopy nach 6 Jahren (HIPAA) oder gemäß Organisationsrichtlinie schreddern. Digital signiertes Zerstörungsprotokoll.

5. Audit: Jedes verarbeitete Dokument geloggt mit Zeitstempel, Benutzer, Content-Hash (kein Klartext).

Supply-Chain-Sicherheit (Hardware)

Einkauf: Standard-PC kaufen (vorinstallierte Software vermeiden, proprietäre Firmware vermeiden).

BIOS-Härtung: USB-Boot, Ethernet-Boot, Wireless deaktivieren. BIOS mit Passwort schützen.

OS-Härtung: Minimale Installation (Linux, keine GUI). Alle Netzwerktreiber entfernen.

Firmware-Updates: Neueste OS-Patches vor vertraulicher Arbeit anwenden.

Physische Inspektion: Tamper-Siegel auf Gehäuse überprüfen. Auf versteckte Geräte überprüfen (Abhörgeräte, USB-Tastatursniffer).

Häufige Fehler

  • Isoliertes Gerät "nur einmal" mit dem Internet verbinden für OS-Update. Einmal verbunden = kompromittiert. Manuelles Patching verwenden (USB).
  • Denselben USB für mehrere Übertragungen wiederverwenden, ohne zu löschen. Alte Daten können möglicherweise wiederhergestellt werden.
  • Vertrauliche Ausgabe ausdrucken und Hardcopy auf dem Schreibtisch liegenlassen. Hardcopy muss unter physischer Kontrolle sein (versperrte Schublade).

Häufig gestellte Fragen

Kann ich Isolation für alltägliche Arbeit oder nur für vertrauliche Dokumente verwenden?

Nur für vertrauliche. Isolation ist langsam (manuelle USB-Übertragungen). Nur für hochsichere Projekte verwenden.

Was ist, wenn der isolierte Server kaputtgeht?

Daten sind auf USB verschlüsselt. Backup-isoliertes Gerät verwenden (gleiches Setup). Privater Schlüssel ermöglicht Entschlüsselung auf jedem isolierten System.

Kann ich Peripherie (Drucker, Monitor) an isoliertes Gerät anschließen?

Drucker: ja (nur USB, kein Netzwerk). Monitor: ja (passiv). Tastatur/Maus: riskant, wenn kabellos (kann abgefangen werden). Kabelgebunden verwenden.

Wie teste ich, dass das isolierte Gerät wirklich offline ist?

Physische Inspektion: kein Ethernet-Kabel, keine WiFi-Antenne, BIOS-Firmware zeigt Netzwerk deaktiviert. Verhalten: `ping 8.8.8.8` = keine Antwort.

Ist Isolation übertrieben für HIPAA-konforme Gesundheitswesen?

Nicht übertrieben für genetische Daten oder psychiatrische Aufzeichnungen. Übertrieben für routinemäßige Patientenaufnahme. VPN + Verschlüsselung für Routinearbeit verwenden.

Wie handle ich Multi-Datei-Inferenz (10 Dokumente)?

Batch-Modus: alle 10 Docs verschlüsseln, via USB übertragen, nacheinander auf isoliertem Gerät verarbeiten, Ergebnisse verschlüsseln, USB zurück.

Muss ich bei der Verwendung von isolierten LLMs die DSGVO beachten?

Ja, wenn Sie personenbezogene Daten verarbeiten. Isolierte Systeme erfüllen DSGVO-Artikel 28 (Auftragsverarbeitung), da Daten lokal bleiben und nicht an externe Dienstleister übertragen werden. Dokumentation ist erforderlich.

Ist diese Setup für den deutschen Mittelstand geeignet?

Ja, besonders für Kanzleien, Ärzte, Unternehmensberater. Erfüllt BSI-Grundschutz-Anforderungen ohne teure Enterprise-Hardware. Kosten sind gering (1.000-2.000 €), operativer Aufwand moderat.

Quellen

  • GnuPG offizielle Dokumentation: Verschlüsselung und Schlüsselverwaltung
  • NIST SP 800-111: Richtlinien für Informationssicherheitsverwaltung
  • Best Practices für isolierte Systeme: NSA/CISA Cybersecurity Technical Reference Architecture

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each provider's official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

Vergleichen Sie Ihr lokales LLM gleichzeitig mit 25+ Cloud-Modellen in PromptQuorum.

PromptQuorum-Warteliste beitreten →

← Zurück zu Lokale LLMs

Sichere Offline-LLM-Workflow: Isolierte Systeme, Zero-Network, Datenschutz