Skip to main content
PromptQuorumBuilt for humans. Structured for AI.
Startseite/Lokale LLMs/VPNs und lokale KI: Was du wissen musst
Privacy & Business

VPNs und lokale KI: Was du wissen musst

·7 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Remote-Mitarbeiter können über ein Corporate-VPN auf den lokalen LLM-Server zugreifen, ohne ihn im öffentlichen Internet zu exponieren. VPN + Firewall-Regeln ersetzen die Cloud-API-Abonnements für verteilte Teams.

Remote-Mitarbeiter können über ein Corporate-VPN auf den lokalen LLM-Server zugreifen, ohne ihn im öffentlichen Internet zu exponieren. VPN + Firewall-Regeln ersetzen die Cloud-API-Abonnements für verteilte Teams. Dieser Leitfaden behandelt Setup, Leistungsauswirkungen und Sicherheitsaspekte.

VPNs und lokale KI: Was du wissen musst

Wichtigste Erkenntnisse

  • VPN-Protokoll: WireGuard (schnell, modern) empfohlen. OpenVPN (langsamer, breiter kompatibel) Fallback.
  • Setup: VPN-Server im gleichen Netzwerk wie LLM-Server. Remote-Benutzer tunneln sich über WireGuard ein.
  • Latenz: +5-10ms pro Verbindung (typischerweise unmerklich). Durchsatz = begrenzt durch Internet-Bandbreite.
  • Setup-Zeit: 30 Min. (WireGuard) bis 2 Stunden (OpenVPN + Auth-Integration).
  • Kosten: Kostenlos (Open-Source) oder €50-200/Jahr (verwalteter VPN-Service, wenn du nicht selbst hosten möchtest).
  • Sicherheit: WireGuard hat 4.000 LOC (geringe Angriffsfläche). OpenVPN ist 400K+ LOC (komplex).
  • Verschlüsselung: Beide unterstützen AES-256. End-to-End-Sicherheit (Remote-Benutzer → VPN → LLM-Server).
  • Kein Split-Tunneling = Unternehmen kontrolliert den gesamten Internet-Verkehr. Split-Tunneling = Benutzer leitet Nicht-LLM-Verkehr außerhalb des VPN.

📍 In einem Satz

Remote-Teammitglieder können über ein Corporate-VPN auf einen lokalen LLM-Server zugreifen, ohne ihn dem öffentlichen Internet auszusetzen, sodass VPN- und Firewall-Regeln für verteilte Teams ein Cloud-API-Abo ersetzen können.

💬 In einfachen Worten

Wenn Ihr Team ein lokales Modell auf einem gemeinsamen Server betreibt, aber von verschiedenen Orten aus arbeitet, ist ein VPN der Weg, allen Zugriff zu geben, ohne den Server dem gesamten Internet zu öffnen. Es ist derselbe Ansatz, den Unternehmen für interne Tools nutzen -- mit dem VPN verbinden, und der LLM-Server erscheint wie im lokalen Netzwerk, selbst von der anderen Seite der Welt aus.

VPN-Protokolle: WireGuard vs OpenVPN

Merkmal
WireGuard
OpenVPN
MerkmalWireGuardOpenVPN
Latenz~5ms Overhead~15ms Overhead
Setup-KomplexitätEinfach (30 Min.)Komplex (2 Stunden)
Code-Größe4.000 LOC (überprüfbar)400K+ LOC (komplex)
AuthentifizierungPublic-KeyZertifikate + Schlüssel
Split-Tunneling✓ Eingebaut✓ Erfordert Konfiguration
Corporate-VPN (AD/SAML)Begrenzt (manuelle Auth)Besser (RADIUS-Unterstützung)
EmpfehlungNutze dasFallback, falls kein WireGuard

Setup: VPN-Server im LLM-Netzwerk

  1. 1
    Installiere WireGuard auf dem VPN-Server (Linux-VM im gleichen LAN wie LLM-Server).
  2. 2
    Generiere Schlüssel: Privater Schlüssel (serverseitiges Geheimnis), Öffentliche Schlüssel (an Clients verteilen).
  3. 3
    Firewall-Regel: Erlaube UDP 51820 (WireGuard Standard-Port) eingehend vom Internet.
  4. 4
    Client-Konfiguration: Jeder Benutzer erhält eine .conf-Datei mit privatem Schlüssel, Server-Endpunkt, zulässigen IPs.
  5. 5
    Client-Software: WireGuard Desktop-App (Mac, Windows, Linux) oder Mobile (iOS, Android).
  6. 6
    Test: Benutzer verbindet sich mit VPN, Ping zum LLM-Server (sollte antworten), führt Inferenz über API aus.

Leistungsauswirkungen

Latenz: WireGuard fügt 5-10ms hinzu. LLM-Inferenz dauert bereits 10-100ms/Token, also Auswirkung <5 % merkbar.

Durchsatz: Begrenzt durch deine Internet-Verbindung (z.B. 100Mbps Heiminternet = 12 MB/sec = OK für LLM).

Beispiel: 10KB Prompt senden + 5KB Antwort empfangen = 15KB insgesamt. Bei 100Mbps = ~1ms Netzwerk-Latenz (vernachlässigbar).

Verschlüsselung-Overhead: Moderne CPUs haben AES-NI Befehle. Verschlüsselung/Entschlüsselung bei 500Mbps+ pro Kern.

Split-Tunneling (Zugriff nur auf LLM, nicht Internet)

Standardmäßig leitet VPN den GESAMTEN Verkehr (Internet + LLM) durch den Corporate-Tunnel weiter.

Dies kann langsam sein, wenn Benutzer möchten, dass das Internet gleichzeitig mit LLM genutzt wird.

Split-Tunneling = nur LLM-Verkehr geht durch VPN, Internet-Verkehr geht direkt.

WireGuard Split-Tunneling Beispiel: `AllowedIPs = 10.0.0.0/24` (nur LLM-Netzwerk).

Kompromiss: Schnelleres Internet, aber weniger Sicherheitsüberwachung (Benutzer kann Daten außerhalb des VPN exfiltrieren).

Empfehlung: Split-Tunneling für Benutzer (bessere UX). Überwache mit Endpoint-Erkennung (CrowdStrike, Sentinel One).

Sicherheitshärtung

  • Firewall: Erlaube nur dem VPN-Server, mit dem LLM-Server zu sprechen. Verwerfe den gesamten anderen Verkehr.
  • Schlüssel rotieren: Alle 6 Monate Client-Schlüssel neu generieren. Benutzer abmelden: Schlüssel sofort widerrufen.
  • Protokollierung: Protokolliere VPN-Verbindungen (wer, wann, wie lange). Vierteljährlich überprüfen.
  • Passwörter: VPN-Server sollte nur SSH-Schlüssel verwenden (keine Passwort-Auth). Passwortlose SSH über Schlüsselpaar.
  • Fail Closed: Falls VPN getrennt wird, kann Client nicht auf das Internet zugreifen (es sei denn, Split-Tunneling ist aktiviert).

Fehlerbehebung für Remote-Zugriff

Kann keine Verbindung herstellen: Überprüfe Firewall-Regeln auf dem Router (UDP 51820 offen?). Überprüfe, ob WireGuard-Dienst läuft (`wg show`).

Langsame Inferenz: Überprüfe Latenz (`ping 10.0.0.1` innerhalb VPN, sollte <20ms sein). Überprüfe Internet-Bandbreite (`iperf3`).

API Timeout: VPN-Verbindung ist getrennt. Überprüfe Protokolle (`journalctl -u wg-quick@wg0`). Starte WireGuard neu.

Ein Benutzer kann nicht zugreifen, andere können: Überprüfe den öffentlichen Schlüssel des Benutzers in der Server-Konfiguration. Regeneriere Schlüsselpaar.

Häufig gestellte Fragen

Sollte ich ein VPN verwenden oder die LLM-API dem Internet exponieren?

Verwende immer ein VPN. Exponiere LLM niemals direkt dem Internet (DDoS, nicht autorisierter Zugriff). VPN + Firewall ist sicher.

Können Benutzer auf die LLM-API ohne VPN zugreifen?

Nur vom LAN (gleiches Netzwerk). Remote-Benutzer MÜSSEN VPN verwenden. Oder verwende SSH-Reverse-Tunnel (weniger sicher).

Verlangsamt VPN-Verschlüsselung die Inferenz?

Vernachlässigbar (<5 % Auswirkung). Moderne CPUs können Verschlüsselung/Entschlüsselung mit Gbps-Geschwindigkeit durchführen.

Sollte ich Split-Tunneling verwenden?

Ja, für bessere UX. Überwache mit EDR (Endpoint-Erkennung) auf Datenexfiltration.

Was ist, wenn ein VPN-Schlüssel kompromittiert ist?

Regeneriere sofort den Schlüssel des Benutzers. Alter Schlüssel wird ungültig. Kein rückwirkender Zugriff.

Kann ich Corporate-VPN (Okta, Azure) verwenden?

Ja, besser für große Teams. Erfordert aber Integration (RADIUS, SAML). WireGuard ist einfacher für <20 Benutzer.

Ist VPN mit DSGVO-Anforderungen konform?

Ja. VPN + Verschlüsselung erfüllen Artikel 32 (Sicherheit der Verarbeitung). Lokale Speicherung von Modellen erfüllt Artikel 5 (Datensparsamkeit). Dokumentiere Sicherheitsmaßnahmen für DSGVO-Audit.

Kann ich VPN mit BSI-Grundschutz für Mittelstand verwenden?

Ja, vollständig konform. WireGuard erfüllt BSI-Anforderungen: Verschlüsselung (AES-256), Zugriffskontrolle (Public-Key-Auth), Protokollierung. Weitere Maßnahmen: Firewall-Segmentierung, regelmäßige Schlüsselrotation, Audit-Logging.

Quellen

  • WireGuard offizielle Dokumentation und Schnellstartanleitung
  • OpenVPN Community-Dokumentation und OpenVPN Access Server
  • NIST Cybersecurity Framework: VPN Best Practices
  • BSI Grundschutz-Kataloge: Netzwerk-Sicherheit und VPN

Hinweis zu Drittanbieter-Fakten

Dieser Artikel referenziert KI-Modelle, Benchmarks, Preise und Lizenzen von Drittanbietern. Die KI-Landschaft verändert sich schnell. Benchmark-Werte, Lizenzbedingungen, Modellnamen und API-Preise können sich zwischen dem Zeitpunkt der Erstellung und dem Zeitpunkt ändern, zu dem Sie dies lesen. Bevor Sie Bereitstellungs- oder Compliance-Entscheidungen auf Basis dieses Artikels treffen, überprüfen Sie aktuelle Zahlen bei der offiziellen Quelle jedes Anbieters: Hugging-Face-Modellkarten für Lizenzen und Benchmarks, Anbieter-Websites für API-Preise und EUR-Lex für den aktuellen DSGVO- und EU-KI-Gesetz-Text.

Nutzen Sie PromptQuorum mit einem lokalen LLM, eigenen API-Schlüsseln oder beidem — Sie wählen das Backend.

PromptQuorum-Beta herunterladen →

← Zurück zu Lokale LLMs