Einleitung
Die Entscheidung zwischen Cloud-GPU-Services und lokaler LLM-Infrastruktur ist für Unternehmen eine fundamentale Kostenentscheidung. Cloud-Services wie AWS, Google Cloud und Azure bieten Elastizität und minimales Upfront-Investment, erfordern aber monatliche oder stundenweise Ausgaben, die sich bei regelmäßiger Nutzung schnell summieren. Lokale LLM-Lösungen erfordern Kapitalinvestitionen in Hardware, bieten aber nach der Amortisierungsphase deutlich niedrigere laufende Kosten.
Dieser Vergleich analysiert die Gesamtbetriebskosten (TCO) über einen realistischen Zeitraum von 3 Jahren und berücksichtigt nicht nur Hardware- und Cloud-Gebühren, sondern auch Stromverbrauch, Wartung, Arbeitskraft und Ausfallzeiten.
Cloud-GPU-Kosten verstehen
Cloud-GPU-Services berechnen typischerweise pro Stunde oder pro Anfrage. Eine NVIDIA H100 GPU auf AWS kostet etwa 3,06 € pro Stunde (ca. 33 €/Tag bei 8-Stunden-Nutzung, ca. 990 €/Monat). Für mehrere GPUs oder produktive Workloads steigen die Kosten proportional.
Zusätzliche Cloud-Kosten umfassen: Netzwerk-Ausgänge (ca. 0,09 €/GB), Speicher (ca. 0,023 €/GB/Monat), Datenbank-Services und optionale Support-Pläne. Bei 100 GB Daten-Transfer monatlich addieren sich diese „Hidden Costs" zu weiteren 200–500 € pro Monat.
Cloud-Services bieten Skalierbarkeit: Sie können jederzeit aufscalen, zahlen aber auch während Spitzenlastzeiten. Eine typische KI-Anwendung mit moderater Last kostet 1.500–3.500 € monatlich auf der Cloud.
Local LLM-Infrastruktur-Kosten
Eine lokale GPU-Lösung erfordert Kapitalausgaben für Hardware. Eine NVIDIA RTX 6000 Ada (48 GB VRAM, ähnlich H100-Performance) kostet etwa 6.800 € in Deutschland (Geizhals.de, LDLC.de). Eine dual-GPU-Setup (z.B. 2× RTX 5880 Ada für hochparallele Inferenz) kostet etwa 13.600–16.000 €.
Zusätzliche Infrastrukturkosten: Server-Gehäuse und Netzteil (ca. 1.200–2.000 €), Kühlsystem (ca. 800–1.500 €), redundante Stromversorgung und UPS (ca. 1.000–2.000 €). Eine produktionsreife lokale GPU-Infrastruktur kostet typischerweise 15.000–25.000 € Kapitalinvestition.
Laufende Kosten: Stromverbrauch einer RTX 6000 Ada beträgt ca. 320 W. Bei 24/7-Betrieb und deutschem Stromtarif (ca. 0,35 €/kWh) entspricht das ca. 2.650 €/Jahr pro GPU. Ein vollständiges System mit Kühlung und Infrastruktur verbraucht ca. 600–800 W, also ca. 5.000–7.000 €/Jahr Strom.
Kapitalkosten vs. laufende Kosten
Cloud-Services sind ein OpEx-Modell (Operational Expenditure): Alle Kosten sind laufende Ausgaben, es gibt keine Kapitalinvestition. Dies ist vorteilhaft für Projekte mit unsicherer Auslastung oder kurzer Lebensdauer.
Lokale Infrastruktur ist ein CapEx-Modell (Capital Expenditure): Hohe initiale Investition, die über mehrere Jahre abgeschrieben wird. Nach 3 Jahren ist eine 20.000 €-Investition auf monatlich ca. 550 € Abschreibung verteilt (über 36 Monate), plus ca. 600 € monatliche Betriebskosten (Strom, Wartung).
Finanzielle Perspektive: Eine CapEx-Investition kann über 3 Jahre zu insgesamt etwa 41.400 € führen (20.000 € Abschreibung + 21.600 € Strom/Wartung). Ein Cloud-Service mit gleicher Performance würde etwa 54.000–84.000 € über 3 Jahre kosten (1.500–2.300 € monatlich × 36 Monate). Der Break-Even liegt typischerweise nach 18–24 Monaten kontinuierlicher Nutzung.
Skalierungswege: Cloud vs. Lokal
Cloud-Skalierung ist vertikal und einfach: Upgrade auf eine größere GPU (z.B. von V100 zu H100) kostet sofort mehr, ist aber instant. Horizontale Skalierung (mehrere GPUs) ist auch möglich, aber die Kosten skalieren linear oder schlimmer (mit Netzwerk-Overhead).
Lokale Skalierung ist kapitalintensiv: Eine zweite GPU erfordert zusätzliche 6.000–8.000 € Investment und zusätzliche Strominfrastruktur (ca. 500 € für Netzteil-Upgrade). Dies ist wirtschaftlich sinnvoll nur bei erwarteter langfristiger Steigerung der Workload.
Hybrid-Ansatz: Viele Unternehmen starten mit einer kleinen lokalen Infrastruktur (1–2 GPUs) für Standard-Workloads und nutzen Cloud für Spitzenlast oder Experimente. Dies kombiniert die Kosteneffizienz von local mit der Elastizität von Cloud.
Gesamtbetriebskosten-Vergleich
Für ein Unternehmen mit moderater KI-Workload (3–4 GPU-Äquivalente, 20–30 Stunden wöchentliche Nutzung):
Cloud-Kosten über 3 Jahre: ~2.000 €/Monat × 36 = 72.000 €
Local-Kosten über 3 Jahre: 20.000 € (Hardware) + 21.600 € (Strom/Wartung) + 3.600 € (redundante Backups/Ausfallzeitmanagement) = 45.200 €
Kostenersparnis mit Local: ca. 26.800 € über 3 Jahre, oder ca. 40 % weniger Gesamtausgaben.
Nach Jahr 5: Local LLM-Kosten stabilisieren sich auf ca. 700 €/Monat Betrieb (nur Strom/Wartung, Hardware amortisiert). Cloud bleibt bei 2.000+ €/Monat. Über 5 Jahre betragen die Ersparnis-Differenz etwa 65.000–75.000 €.
Zuverlässigkeit und Kontrolle
Cloud-GPU-Services bieten hohe Verfügbarkeit (99,9 % SLA), aber Sie sind abhängig von Cloud-Anbieter-Ausfällen, Netzwerk-Ausfällen und Rate Limiting. Ausfallzeiten kosten immer noch Cloud-Gebühren, aber keine Arbeit von Ihnen.
Lokale Infrastruktur erfordert Verwaltung: Temperaturoberflächenüberwachung, Stromversorgungsverwaltung, Betriebssystem-Updates, Treiber-Kompatibilität. Eine GPU-Ausfallzeit bedeutet auch Arbeitskraft für Diagnose und Repair (ca. 1.000–3.000 € Reparaturkosten, plus Ausfallzeit).
Kontrollaspekt: Mit lokaler Infrastruktur haben Sie vollständige Kontrolle über Daten, keine externen APIs oder Abhängigkeiten. Dies ist kritisch für Datenschutz (DSGVO, BSI-Grundschutz), sensible Daten und proprietäre Modelle.
Best Practices für Kostenoptimierung
Für Cloud-Services: Nutzen Sie Reserved Instances oder Spot Instances (bis 70 % Rabatt), aber akzeptieren Sie das Unterbrechungsrisiko. Implementieren Sie aggressives Timeout-Management und Model-Batching, um GPU-Zeit zu minimieren.
Für lokale Infrastruktur: Maximieren Sie GPU-Auslastung durch Batch-Processing und Scheduling. Nutzen Sie Quantisierungstechniken (Q4_K_M GGUF-Format) um kleinere, energieeffizientere Modelle zu laufen. Überwachen Sie Stromverbrauch mit Metering und optimieren Sie Cooling.
Hybrid-Strategie: Definieren Sie eine Baseline-Workload (lokal gedeckt) und Peak-Workload (Cloud oder temporäre lokale Ressourcen). Dies erreicht meist 30–50 % niedrigere Gesamtkosten als reine Cloud.
Fazit: Langfristige Perspektive
Cloud-GPU-Services sind ideal für: Unternehmen mit variablem Workload, kurzen Projektlaufzeiten, oder wenn Kapitalbudget begrenzt ist. Die Kosten sind vorhersehbar und skalierbar.
Local LLM-Infrastruktur ist wirtschaftlicher für: Unternehmen mit konsistenter, vorhersehbarer Workload, sensiblen Daten (DSGVO/Compliance), oder langfristigen KI-Investitionen (3+ Jahre). Die initiale Investition amortisiert sich typischerweise nach 18–24 Monaten.
Die beste Wahl ist Kontext-abhängig: Ein Startup mit unsicherer Produkto-Markt-Passung sollte Cloud wählen. Ein etabliertes Mittelstand-Unternehmen mit stabiler KI-Workload sollte Local evaluieren. Viele Unternehmen profitieren von einem Hybrid-Ansatz, der Kosteneffizienz mit Elastizität balanciert.
Häufig gestellte Fragen
Wann ist Cloud wirtschaftlich sinnvoller als Local?
Cloud ist sinnvoller bei: (1) variablem Workload (z.B. saisonale Nachfrage), (2) kurzen Projekten (<6 Monate), (3) wenn Sie GPU-Hardware-Management vermeiden wollen, (4) limitiertem Kapitalbudget, oder (5) Bedarf für häufige Modell-Upgrades. Cloud vermeidet Abschreibungsrisiken.
Was ist die typische Amortisierungszeit für lokale GPU-Infrastruktur?
Bei konsistenter Nutzung 20+ Stunden wöchentlich liegt der Break-Even typischerweise nach 18–24 Monaten. Das heißt: Nach 24 Monaten sparen Sie durch Local bereits mehr ein als die Cloud gekostet hätte. Die Ersparnisse wachsen dann exponentiell in den folgenden Jahren.
Sollte ich lokale GPUs neu kaufen oder gebrauchte/refurbished?
Neue GPUs sind zuverlässiger und haben volle Herstellergarantie (3 Jahre). Refurbished-Modelle kosten 30–50 % weniger, bieten aber nur 1 Jahr Garantie und höheres Ausfallrisiko. Für Produktion empfehlen wir neu; für Entwicklung/Testing ist refurbished akzeptabel.
Welche versteckten Kosten habe ich mit Local LLMs nicht mit Cloud?
Hauptsächlich: Strominfrastruktur-Upgrade (ggf. zusätzliche Stromleitung ca. 2.000–5.000 €), redundante Stromversorgung / UPS (ca. 1.500 €), Kühlsystem (ca. 1.000–2.000 €), Arbeitskraft für Administration/Monitoring (ca. 20 % eines Sysadmin-Gehalts), und Reparatur/Ersatz-Hardware (ca. 500 €/Jahr Reserve). Gesamte versteckte Kosten: ca. 3.000–5.000 € im ersten Jahr.
Kann ich Cloud und Local kombinieren?
Ja, Hybrid ist beliebt: Laufen Sie alltägliche Workloads lokal, nutzen Sie Cloud für Spitzenlast oder Experimente. Dies erreicht typischerweise 30–40 % Kostenersparnis vs. reine Cloud, plus Datenschutz und Kontrolle. Orchestrierung erfordert aber Arbeit (Load Balancing, Fallback-Logik).
Wie beeinflussen zukünftige GPU-Preise meine Entscheidung?
Wenn Sie Local wählen, amortisiert sich Ihre Investition bereits nach 18–24 Monaten unabhängig von zukünftigen Preisen. Sollten Preise fallen, spart Local dennoch im Jahr 3–5 mehr. Cloud-Preise sind stabiler, aber langfristig teurer. Local ist zukunftsicherer, wenn Ihre Workload 3+ Jahre laufen wird.