Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.
Startseite/Lokale LLMs
Enterprise

On-Prem Air-Gapped Local LLMs: Isolierte Bereitstellung für klassifizierte Umgebungen

·12 Min. LesezeitVon · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Ein Air-Gapped-LLM läuft auf Infrastruktur ohne Internetverbindung, sodass Prompts und Dokumente keine externen APIs erreichen können. Behörden, Verteidigung und regulierte Branchen nutzen dieses Muster für klassifizierte oder hochsensible Daten. Modelle, Updates und Logs gelangen nur über kontrollierte Offline-Übertragungsschritte hinein.

Wichtigste Erkenntnisse

  • Air-Gapped = vollständig vom Internet isoliert. Null Netzwerkverbindung zu externen Systemen.
  • Anwendungsfall: Behörden (klassifiziert), Militär (Kriegsszenarien), Finanzen (hohe Sicherheit), Gesundheitswesen (HIPAA ultrasensibel).
  • Herausforderung: Kann Modelle, Embeddings oder Abhängigkeiten nicht automatisch aktualisieren. Erfordert manuelle Update-Verfahren.
  • Architektur: Dedizierte Hardware, verschlüsselte Speicherung, eingeschränkter Benutzerzugriff, physische Sicherheit.
  • Netzwerkisolation: Firewalls, Air-Gap-Appliances und Netzwerksegmentierung verhindern externe Kommunikation.
  • Modellverwaltung: Modelle nur per USB, sichere Medien oder interne Netzwerke übertragen; kein Cloud-Zugriff.
  • Updates: Manueller Prozess -- Updates zunächst offline testen, dann über sichere Kanäle bereitstellen.
  • Air-Gapped-Betrieb ist ein verbreitetes Muster bei Behörden und Rüstungsunternehmen, die klassifizierte Daten verarbeiten.

📍 In einem Satz

Air-Gapped-Bereitstellung bedeutet null Netzwerkverbindung zwischen der LLM-Infrastruktur und dem Internet oder jedem externen System -- Modelle und Updates werden ausschließlich über physische Datenträger oder isolierte interne Netzwerke übertragen.

💬 In einfachen Worten

Ein Air-Gapped-KI-Server ist vollständig vom Internet getrennt, wie ein Computer ohne Netzwerkkabel und ohne WLAN. Eine Air-Gap-Isolierung beseitigt den Fernzugriffsweg und ist damit eine der stärksten Isolationsmaßnahmen für sensible Daten. Sie schützt nicht vor Insidern, manipulierten Wechselmedien oder physischem Zugriff. Der Nachteil: Die Aktualisierung des KI-Modells erfordert manuelle Arbeit statt eines automatischen Downloads.

Ein Air-Gapped-LLM läuft auf Infrastruktur ohne Internetverbindung, sodass Prompts und Dokumente keine externen APIs erreichen können. Behörden, Verteidigung und regulierte Branchen nutzen dieses Muster für klassifizierte oder hochsensible Daten. Modelle, Updates und Logs gelangen nur über kontrollierte Offline-Übertragungsschritte hinein.

On-Prem Air-Gapped Local LLMs: Isolierte Bereitstellung für klassifizierte Umgebungen

Was bedeutet Air-Gapped?

Air-Gapped-Infrastruktur hat keine Netzwerkverbindung zum Internet oder zu externen Systemen. Alle Daten und Berechnungen bleiben auf isolierter Hardware.

Absolute Isolierung: Kein WLAN, kein Ethernet zu externen Netzwerken, keine USB-Verbindungen zu internetverbundenen Geräten.

Daten bleiben konstruktionsbedingt lokal: Inferenzen finden lokal statt, Ergebnisse bleiben lokal; Daten können weiterhin über Wechselmedien, Insider oder physischen Zugriff abfließen.

Updates sind manuell: Kann Modell-Updates nicht automatisch herunterladen. Updates erfordern physische Medien (USB-Stick, SD-Karte) oder interne Netzwerkübertragung.

Wie sieht typische Air-Gapped-Architektur aus?

Eine einzelne Maschine oder ein kleiner Cluster, vollständig isoliert, mit eingeschränktem physischem Zugang.

BSI-Grundschutz-Kataloge: Deutsche Unternehmen können sich an den BSI-IT-Grundschutz-Bausteinen für die IT-Sicherheit von Air-Gapped-Systemen orientieren. Dies ist keine Rechtsberatung.

  1. 1
    Dedizierte Hardware: Server nur für LLM-Inferenz, nichts anderes.
  2. 2
    Isoliertes Netzwerk: Keine Verbindung zum Unternehmens-Netzwerk oder Internet. Höchstens separates VLAN.
  3. 3
    Verschlüsselte Speicherung: Alle Modelldateien, Daten, Logs verschlüsselt in Ruhe.
  4. 4
    Kontrollierter Zugriff: Nur autorisiertes Personal kann zugreifen. Multi-Faktor-Authentifizierung erforderlich.
  5. 5
    Physische Sicherheit: Gesperrter Serverraum, Überwachung, Zugriffsprotokolle.
  6. 6
    Keine Wechselmedien: USB-Anschlüsse deaktiviert, CD/DVD-Laufwerke entfernt.
  7. 7
    Lokale Überwachung: Logs bleiben im System, werden nicht an externe Monitoring-Dienste gesendet.

Wie isolieren Sie Netzwerke von externen Verbindungen?

Isolierung wird auf mehreren Ebenen erzwungen:

  • Physisch: Separate Netzwerk-Hardware (Switch, Router) für Air-Gapped-Infrastruktur.
  • Firewall: Ein- und ausgehender Datenverkehr blockiert. Keine Ausnahmen für Cloud-Dienste, NTP, DNS zu externen Servern.
  • Software: Host-Level-Firewalls (iptables, Windows Firewall) als sekundäre Kontrolle.
  • Überwachung: Netzwerkverkehr wird geprüft. Jeder Versuch, sich extern zu verbinden, wird protokolliert und gekennzeichnet.

Wie verwalten Sie Modelle in Air-Gapped-Umgebungen?

Modell-Updates sind manuell und erfordern physische Medienübertragung oder interne sichere Prozesse.

  1. 1
    Laden Sie Modelle auf Internet-verbundener Maschine herunter (separate, nicht klassifizierte Umgebung).
  2. 2
    Überprüfen Sie die Modellintegrität (Checksum, digitale Signatur).
  3. 3
    Übertragen Sie auf Air-Gapped-System über verschlüsselten USB-Stick oder internen File-Server.
  4. 4
    Validierung: Tests durchführen, um sicherzustellen, dass die Modellintegrität während der Übertragung nicht beeinträchtigt wurde.
  5. 5
    Bereitstellung: Laden Sie Modell in Inferenz-Engine.
  6. 6
    Dokumentation: Protokollieren Sie, welche Modelle bereitgestellt werden, Versionen, Daten.

Wie handhaben Sie Updates und Patches?

Sicherheits-Updates und Modell-Updates sind manuell:

  • Modell-Updates: Folgen Sie dem obigen Verfahren. Planen Sie Updates vierteljährlich oder jährlich ein.
  • Betriebssystem-Patches: Testen Sie zunächst in isolierter Staging-Umgebung, dann in Produktion bereitstellen.
  • Abhängigkeiten: Evaluieren Sie neue Versionen sorgfältig. Air-Gapped-Systeme führen ältere Versionen länger aus.
  • Keine automatischen Updates: Deaktivieren Sie automatische Updates vollständig. Alle Updates sind kontrolliert, dokumentiert, geprüft.

Wie stellen Sie Sicherheit in Air-Gapped-Systemen sicher?

Air-Gapped ist inhärent sicherer (keine externen Angriffe), aber neue Risiken entstehen:

  • Insider-Bedrohungen: Mitarbeiter mit Zugang könnten Daten per USB kopieren. Zwei-Personen-Integrität erforderlich.
  • Supply-Chain-Angriffe: Kompromittierte Modelle oder Abhängigkeiten während Übertragung. Checksummen, digitale Signaturen überprüfen.
  • Physischer Diebstahl: Modelle und Daten sind millionenwert. Gesperrter Raum, Überwachung, Eindringungserkennung erforderlich.
  • Social Engineering: "Vertrauen Sie mir, ich muss das Modell aktualisieren." Formale Change-Control-Prozesse erforderlich.
  • Logging-Lücken: Wenn Logs nicht geprüft werden, niemand erkennt Insider-Aktivitäten. Regelmäßige externe Audit von Logs erforderlich.

Häufige Air-Gapped-Bereitstellungsfehler

  • Unvollständige Isolierung: Ein offener Port, eine aktivierte Wireless-Karte oder erlaubte USB-Geräte aufheben Air-Gapping auf. Rigoros prüfen.
  • Keine Change-Control: Modell-Updates geschehen informell, keine Dokumentation. Führt zu Wissensverlust über bereitgestellte Versionen.
  • Schlechte Backup-Strategie: Air-Gapped-Systeme benötigen redundante Speicherung und Backups an anderen Orten. Backups selbst müssen Air-Gapped sein.
  • Unzureichendes Logging: Air-Gapped-Systeme erfordern umfassende Auditing (wer auf was zugegriffen hat, wann). Ohne Logs bleiben Sicherheitsverletzungen unerkannt.
  • Nur physische Sicherheit vertrauen: Sicherheit erfordert mehrere Ebenen: Isolierung, Verschlüsselung, Zugriffskontrolle, Auditing, nicht nur gesperrte Türen.

Häufig gestellte Fragen zu Air-Gapped-Systemen

Wie aktualisieren Sie Modelle in einem Air-Gapped-System?

Manuell per verschlüsseltem USB oder über ein internes, vom Internet isoliertes sicheres Netzwerk. Alle Updates erfordern Change-Control-Genehmigung und Audit-Trails.

Können wir Cloud-Backups für Air-Gapped-Systeme verwenden?

Nein. Cloud-Backups erfordern Internetverbindung (aufheben Air-Gapping). Verwenden Sie physische Backups (verschlüsselte Festplatten) in separater sicherer Einrichtung.

Ist Air-Gapped wirklich sicher gegen alle Angriffe?

Größtenteils, aber Insider-Bedrohungen bleiben. Air-Gapped ist sicher gegen Remote-Angriffe, aber physischer oder Insider-Zugang kann es kompromittieren.

Wie teuer ist Air-Gapped-Bereitstellung?

Die Kosten hängen stark vom Umfang ab. Die Hardware liegt typischerweise im Bereich einer normalen On-Prem-Installation; die Betriebskosten steigen, weil Updates, Auditing und Change-Control manuell erfolgen. Holen Sie Angebote für Ihre Anforderungen ein.

Können Sie Standard-Tools (Ollama, vLLM) in Air-Gapped-Umgebungen verwenden?

Ja. Beide Tools funktionieren ohne Internet. Sobald Modelle und Abhängigkeiten offline installiert sind und Update-Prüfungen sowie Telemetrie deaktiviert wurden, ist keine Internetverbindung erforderlich.

Muss ich bei Air-Gapped-Bereitstellung die DSGVO beachten?

Ja, die DSGVO gilt weiterhin für personenbezogene Daten. Ein Air-Gapped-System kann technische Maßnahmen nach Art. 32 DSGVO unterstützen und verhindert, dass Inferenzdaten an externe Dienstleister gelangen. Ob Ihr Gesamtbetrieb DSGVO-konform ist, hängt von Rechtsgrundlage (Art. 6), Verzeichnis, technisch-organisatorischen Maßnahmen und ggf. einer Datenschutz-Folgenabschätzung (Art. 35) ab; klären Sie das mit Ihrem Datenschutzbeauftragten. Dies ist keine Rechtsberatung.

Ist Air-Gapped für den deutschen Mittelstand geeignet?

Ja, wenn Daten sensibel sind (Finanzen, Kundendaten, Betriebsgeheimnisse). Ob sich der Betrieb wirtschaftlich lohnt, hängt von Umfang und Anforderungen ab; holen Sie Angebote ein. Eine Zertifizierung nach ISO 27001 auf Basis von IT-Grundschutz ist grundsätzlich möglich. Ob sie für eine konkrete öffentliche Ausschreibung verlangt wird, steht in den jeweiligen Vergabeunterlagen; Quelle: BSI IT-Grundschutz. Dies ist keine Rechtsberatung.

Hinweis zu Drittanbieter-Fakten

Dieser Artikel referenziert KI-Modelle, Benchmarks, Preise und Lizenzen von Drittanbietern. Die KI-Landschaft verändert sich schnell. Benchmark-Werte, Lizenzbedingungen, Modellnamen und API-Preise können sich zwischen dem Zeitpunkt der Erstellung und dem Zeitpunkt ändern, zu dem Sie dies lesen. Bevor Sie Bereitstellungs- oder Compliance-Entscheidungen auf Basis dieses Artikels treffen, überprüfen Sie aktuelle Zahlen bei der offiziellen Quelle jedes Anbieters: Hugging-Face-Modellkarten für Lizenzen und Benchmarks, Anbieter-Websites für API-Preise und EUR-Lex für den aktuellen DSGVO- und EU-KI-Gesetz-Text.

Nutzen Sie PromptQuorum mit einem lokalen LLM, eigenen API-Schlüsseln oder beidem — Sie wählen das Backend.

PromptQuorum-Beta herunterladen →

← Zurück zu Lokale LLMs

MCP