Wichtigste Erkenntnisse
- Auslastung ist die wichtigste Variable. Dauerhafte, nahezu konstante Nutzung spricht für den Kauf; unregelmäßige oder schwer planbare Nutzung spricht für die Miete — die tatsächlich erwartete Auslastung vor der Preisberechnung modellieren.
- On-Prem-Hardware kostet 200.000-400.000+ USD Capex für einen 8x H100/H200-Server, plus 15-30% für Strom, Kühlung und Support-Overhead, die nicht im Angebotspreis stehen.
- Reservierte Cloud-GPU-Verträge rabattieren 30-55% gegenüber On-Demand-Preisen bei 1-3 Jahren Laufzeit bei AWS, Azure, GCP und CoreWeave — vorzeitige Kündigung kostet aber meist Rabatt und Vorauszahlung.
- In einem beispielhaften 3-Jahres-TCO-Modell liegt der Break-Even bei rund 55-65% dauerhafter Auslastung — gegen eigene Stromkosten, Personalzuteilung und ausgehandelten Tarif verifizieren.
- Die meisten Unternehmen landen bei einem Hybrid-Modell: On-Prem-Hardware für die konstante Grundlast, Cloud-Kapazität für saisonale oder unvorhersehbare Spitzen.
- Dies ist eine finanzielle Modellierungsentscheidung, keine Hardware-Einkaufsentscheidung — der richtige erste Schritt ist das TCO-Modell, nicht die Anbieterwahl.
Quick Facts
- On-Prem-Capex für 8x H100/H200-Server: rund 200.000-400.000+ USD, abhängig von GPU-Speichertier und Konfiguration.
- On-Prem-Stromverbrauch: ein 8-GPU-H100/H200-SXM5-Node zieht unter Volllast rund 10-12kW.
- Cloud-Reserved-Rabattspanne: 1-3-Jahres-Verträge rabattieren üblicherweise 30-55% gegenüber On-Demand-Preisen bei AWS, Azure, GCP und CoreWeave.
- Beispielhafte Break-Even-Auslastung: rund 55-65% dauerhafte Auslastung über 3 Jahre im Modell unten.
- Übliche Abschreibungsdauer für GPU-Hardware: 3 Jahre, linear, in gängiger Enterprise-Finanzpraxis — GPU-Generationen wechseln schnell genug, dass eine längere Frist die verbleibende Nutzungsdauer oft überzeichnet.
- Versteckter Overhead bei On-Prem: Support-Verträge, Netzwerk-Fabric und Kühlungs-Nachrüstung addieren üblicherweise weitere 15-30% zur Hardware-Position.
On-Prem kaufen oder reservierte Cloud-GPU-Kapazität mieten?
Die ehrliche Antwort lautet "kommt auf die Auslastung an" — die Entscheidungshilfe unten macht daraus einen konkreten Test. Beide Listen lesen — die meisten Organisationen erkennen bei ehrlicher Auslastungsschätzung, welche Seite besser passt.
On-Prem wenn / Cloud wenn
Lokales LLM nutzen, wenn:
- •Der Workload läuft nahezu konstant — ein Produktions-Inferenzdienst, der 24/7 Traffic bedient, mit Auslastung durchgehend über ~55-65%
- •Interne Infrastruktur-/Ops-Mitarbeiter sind vorhanden (oder aufbaubar), die Hardware-Lebenszyklus, Kühlung und Ausfallreaktion übernehmen
- •Datenresidenz- oder Air-Gap-Anforderungen machen Cloud-Verarbeitung zu einem Compliance-Problem, nicht nur zu einer Kostenfrage
- •Das Rechenzentrum hat bereits ausreichend Strom- und Kühlkapazität oder kann sie ohne großes Bauprojekt ergänzen
Cloud-Modell nutzen, wenn:
- •Der Workload ist unregelmäßig, saisonal oder noch in F&E/Experimentierphase — die Auslastung läge auf eigener Hardware deutlich unter 50%
- •GPU-Kapazität muss schneller skaliert werden als ein Hardware-Beschaffungs- und Lieferzyklus erlaubt
- •Eine mehrjährige Personal- und Facility-Bindung für einen Workload mit noch unklarer langfristiger Form soll vermieden werden
- •Multi-Region-Verfügbarkeit ist wichtiger als der reine Preis pro GPU-Stunde — Cloud-Regionen stehen heute bereit, neue Rechenzentren nicht
Schnelle Entscheidung:
- →Bei Unsicherheit und einem tatsächlich neuen Workload: mit reservierter oder On-Demand-Cloud-Kapazität starten, 2-3 Monate reale Auslastung messen und dann den Kauf-Case mit echten Zahlen statt Prognose durchrechnen.
Wie berechnet man den Break-Even-Punkt zwischen Mieten und Kaufen?
Die Auslastungsrate — der Anteil der Stunden, in denen die GPU-Kapazität tatsächlich produktiv arbeitet — ist die eine Variable, die diesen Vergleich mehr bestimmt als jeder andere Faktor. Ein Server mit 20% Auslastung zahlt volle Abschreibung und Stromkosten für Hardware, die 80% der Zeit ungenutzt ist; nur bei tatsächlicher Nutzung abgerechnete Cloud-Kapazität hat dieses Problem nicht, verlangt dafür aber einen Aufschlag pro Stunde, um das Auslastungsrisiko des Anbieters abzudecken.
Die Break-Even-Formel im Kern: die voll beladenen 3-Jahres-On-Prem-Kosten (Capex + Strom + Kühlung + Personalzeit) durch die voll beladenen 3-Jahres-Cloud-Kosten bei 100% Auslastung teilen. Dieses Verhältnis entspricht ungefähr der Auslastung, bei der beide Optionen gleich teuer sind — darunter ist Cloud günstiger, darüber On-Prem.
Das ist eine Modellierungsübung, spezifisch für die eigenen Stromkosten, den Personal-Overhead und den ausgehandelten Cloud-Tarif — das Rechenbeispiel im nächsten Abschnitt als Rahmen zum Nachrechnen mit eigenen Zahlen verstehen, nicht als Zahl zum Übernehmen.
- Auslastung über ~65% dauerhaft: On-Prem gewinnt im Modell unten fast immer — für ungenutzte Kapazität zahlt man ohnehin, und die Leerlaufkosten eigener Hardware liegen unter der stundenweisen Cloud-Abrechnung.
- Auslastung 35-65%: die echte "kommt darauf an"-Zone — Modell mit eigenem Stromtarif, Personalzuteilung und ausgehandeltem Cloud-Rabatt vor der Entscheidung neu rechnen.
- Auslastung unter ~35%: Cloud gewinnt fast immer — volle Capex und Abschreibung für Hardware, die die meiste Zeit ungenutzt bleibt, lohnt sich selten.
Wie sehen die TCO über 12, 24 und 36 Monate tatsächlich aus?
Ein beispielhafter 8x-H100-Vergleich zeigt, dass die On-Prem-Kosten pro Jahr in etwa gleich bleiben, während die Cloud-Kosten direkt mit der Nutzung skalieren — der Schnittpunkt ist eine Funktion der Auslastung, nicht der verstrichenen Zeit. Diese Zahlen nutzen 250.000 USD mittleren On-Prem-Capex und einen gemischten reservierten Cloud-Tarif von 3,50 USD/GPU-Stunde als beispielhafte Basis — vor der Budgetierung durch eigene Anbieterangebote ersetzen.
Bei 100% Auslastung summiert sich der Cloud-Preis schnell: 8 GPUs ein Jahr durchgehend im Einsatz sind rund 70.080 GPU-Stunden, was bei 3,50 USD/GPU-Stunde reservierter Rate rund 245.000 USD/Jahr entspricht — eine 3-Jahre voll ausgelastete Cloud-Bindung kann so über 700.000 USD kosten, deutlich mehr als On-Prem-Capex plus Overhead.
- Diese Tabelle nach Auslastungsspalte lesen, nicht nur nach Horizont. Bei 100% dauerhafter Auslastung ist On-Prem in jedem gezeigten Zeithorizont günstiger. Bei 30% Auslastung bleibt Cloud selbst nach 36 Monaten günstiger — der Schnittpunkt im Beispielmodell liegt bei rund 55-65% Auslastung, nicht bei einem festen Zeitraum.
- Diese Tabelle vor einer Budgetentscheidung mit eigenem Anbieterangebot, Stromtarif ($/kWh) und Personalzuteilung neu aufbauen — die Zahlen hier sind ein Rahmen, kein Angebot.
| Horizont | On-Prem-TCO (beispielhaft) | Cloud Reserved TCO bei 100% Auslastung | Cloud Reserved TCO bei 30% Auslastung |
|---|---|---|---|
| 12 Monate | ~290.000 USD (Capex + 1 Jahr Overhead) | ~245.000 USD | ~74.000 USD |
| 24 Monate | ~325.000 USD (Capex + 2 Jahre Overhead) | ~490.000 USD | ~147.000 USD |
| 36 Monate | ~360.000 USD (Capex + 3 Jahre Overhead) | ~735.000 USD | ~221.000 USD |
Welche Hardware kaufen, wenn die Entscheidung für On-Prem fällt?
Zeigt die Auslastungsrechnung auf Kauf, ist die konkrete Hardware-Frage ein eigenes Thema, das dieser Artikel nicht neu aufrollt. Dell PowerEdge XE9680, Lenovo ThinkSystem SR675 V3, HPE Cray XD670 und Supermicro SYS-821GE-TNHR sind die vier Anbieter mit 8-GPU-H100/H200-SXM5-Rack-Plattformen im Bereich 200.000-400.000+ USD — Spezifikationen, Kühlanforderungen und Netzwerk-Fabric-Entscheidungen pro Anbieter im Enterprise-GPU-Server-Kaufratgeber.
Dieser Ratgeber behandelt die Frage "welcher Server" im Detail; dieser Artikel beantwortet "ob überhaupt ein Server gekauft werden sollte" — beide vor der Budgetfestlegung lesen.
Welche Enterprise-Reserved-Cloud-GPU-Optionen gibt es?
AWS, Microsoft Azure, Google Cloud und CoreWeave verkaufen jeweils mehrjährige Committed-Use-GPU-Verträge mit Rabatt gegenüber On-Demand-Preisen — Rabatt und Vertragsstruktur unterscheiden sich genug, um direkt zu vergleichen, statt automatisch den bestehenden Cloud-Anbieter zu wählen.
- AWS oder Azure wählen, wenn: die Kerninfrastruktur bereits dort läuft — der Committed-Use-Rabatt kommt zusätzlich zu einer bestehenden Enterprise-Vereinbarung und Abrechnungsbeziehung.
- Google Cloud wählen, wenn: die ML-/Daten-Pipeline bereits auf GCP läuft — CUDs greifen bei passender Nutzung in den meisten Konfigurationen automatisch, ohne separaten Reservierungskauf.
- CoreWeave wählen, wenn: der Workload GPU-first ist und ein Anbieter gewünscht wird, der gezielt auf GPU-Kapazität ausgelegt ist statt ein Allzweck-Hyperscaler — aktuelle H100/H200/GB200-Verfügbarkeit und Vertragskonditionen direkt bestätigen, Preise gibt es nur auf Anfrage.
- Keiner dieser Anbieter veröffentlicht Enterprise-Committed-Use-Vertragspreise offen — jede Rabattspanne oben ist eine öffentlich referenzierte Näherung; vor der Budgetierung ein formelles Angebot einholen.
| Anbieter | Committed-Produkt | GPU-Optionen | Typische Rabattspanne | Am besten für |
|---|---|---|---|---|
| AWS | EC2 Capacity Blocks for ML / Reserved Instances / Savings Plans | P5 (H100), P5e (H200) | ~30-50% ggü. On-Demand | Teams, die bereits auf AWS standardisiert sind |
| Microsoft Azure | Reserved VM Instances (1/3 Jahre) | ND H100 v5, ND H200 v5 | ~30-45% ggü. Pay-as-you-go | Unternehmen mit bestehendem Microsoft Enterprise Agreement |
| Google Cloud | Committed Use Discounts (CUDs) | A3 (H100), A3 Mega (H100) | ~37% (1J) bis ~55% (3J) | Teams, die bereits mit ML-Tooling auf GCP sind |
| CoreWeave | Reservierte Kapazitätsverträge | H100, H200, GB200 | Verhandelt, nur auf Anfrage | GPU-first-Workloads ohne Hyperscaler-Abhängigkeit |
Welche Option passt zu welchem Workload-Muster?
Die Beschaffungsentscheidung an der tatsächlichen Form des Workloads ausrichten, nicht an der Budgetgröße. Diese vier Muster decken die meisten Enterprise-KI-Deployments ab.
| Workload-Muster | Empfohlener Weg | Warum |
|---|---|---|
| 24/7-Inferenz im großen Maßstab | On-Prem (oder Hybrid-Baseline) | Dauerhafte Auslastung über ~55-65% spricht im TCO-Modell konsistent für eigene Hardware statt Reserved Cloud |
| Saisonale/unregelmäßige Nachfrage | Cloud (On-Demand oder kurze Reserved-Laufzeiten) | Volle Capex für Hardware zu zahlen, die den Großteil des Jahres ungenutzt ist, schlägt selten die stundenweise Cloud-Abrechnung |
| F&E/Experimentierphase | Cloud (On-Demand) | Form und Umfang des Workloads sind noch unbekannt — eine Mehrjahresbindung fixiert eine Vermutung |
| Multi-Region, Compliance-getrieben | Cloud (Multi-Region Reserved) | Konforme Rechenzentrumskapazität in mehreren Jurisdiktionen aufzubauen ist langsamer und teurer als bestehende Cloud-Regionen zu nutzen |
Wie sieht ein hybrider On-Prem-plus-Cloud-Ansatz aus?
Die meisten Unternehmen mit dauerhaften KI-Workloads landen bei On-Prem-Hardware, die auf die konstante Grundlast dimensioniert ist, mit Cloud-Kapazität für saisonale oder unvorhersehbare Spitzen — keine Alles-oder-nichts-Entscheidung zwischen beiden. Das nutzt den Kostenvorteil von On-Prem bei hoher, planbarer Auslastung, während die Elastizität der Cloud für Traffic verfügbar bleibt, der sonst die meiste Zeit im Jahr ungenutzte Kapazität wäre.
Praktisch bedeutet das: den On-Prem-Kauf auf die eigene 24/7-Grundlast dimensionieren (die Auslastungsuntergrenze, die zuverlässig vorhersehbar ist) und Spitzentraffic oberhalb dieser Grundlast an On-Demand- oder kurzfristig reservierte Cloud-Kapazität weiterleiten. Das vermeidet, On-Prem-Hardware für Spitzenlast zu überdimensionieren, die nur einen Bruchteil des Jahres auftritt.
- Grundlast-Dimensionierung: die tatsächliche mediane oder untere Perzentil-Auslastung über 2-3 Monate messen, bevor der On-Prem-Kauf dimensioniert wird — eine Dimensionierung auf Spitzenlast unterläuft den Zweck des Hybrid-Modells.
- Spitzenlast-Routing: ein API-Gateway oder Load Balancer, der Überlast-Traffic bei Sättigung der On-Prem-Kapazität an Cloud-Inferenz-Endpunkte umleitet, hält die Architektur betrieblich einfach.
- Vertragslaufzeit passend wählen: den Cloud-Anteil auf kürzeren Laufzeiten oder On-Demand-Preisen belassen statt einer passenden Mehrjahres-Reserved-Bindung — der Sinn des Hybrid-Modells ist Flexibilität auf der Cloud-Seite, nicht eine doppelte Bindung.
- Jährlich neu bewerten: mit reifendem Workload und wachsenden Auslastungsdaten verschiebt sich das richtige Verhältnis von Grundlast zu Spitze — den Hybrid-Split jährlich neu prüfen, nicht als dauerhafte Architektur festschreiben.
Welche Beschaffungsfehler machen Unternehmen bei dieser Entscheidung?
- Angebotspreis statt voll beladener TCO vergleichen. Ein On-Prem-Capex-Angebot ohne Strom-, Kühlungs- und Personal-Overhead gegen einen Cloud-On-Demand-Tarif ohne Reserved-Rabatt zu stellen, ergibt einen Vergleich, der keiner Option ehrlich gerecht wird.
- On-Prem-Hardware auf prognostizierte Spitzenlast statt gemessene Grundlast dimensionieren. Das führt zu Überkapazität, die den Großteil des Jahres ungenutzt bleibt — genau die Falle, die das Hybrid-Modell vermeiden soll.
- Einen 3-Jahres-Reserved-Cloud-Vertrag unterschreiben, bevor die Workload-Form bekannt ist. Reserved-Verträge binden an einen Tarif; ändert sich der Workload wesentlich, werden Rabatt und Laufzeit zur Belastung statt zur Ersparnis.
- Egress- und Lock-in-Kosten beim Anbietervergleich allein nach Tarif ignorieren. Der günstigste zitierte Preis pro GPU-Stunde ist nicht die niedrigste Gesamtsumme, wenn ein späterer Anbieterwechsel den Umbau der Datenpipelines erfordert.
- Die On-Prem-vs-Cloud-Entscheidung als endgültig behandeln. Auslastungsmuster ändern sich mit reifendem Produkt — die richtige Antwort beim Start ist oft 18 Monate später nicht mehr richtig; das Modell erneut prüfen, nicht einmalig festlegen.
Häufig gestellte Fragen
Bei welcher Auslastung liegt der Break-Even zwischen Kaufen und Mieten von GPU-Kapazität?
In einem beispielhaften 3-Jahres-TCO-Modell mit 250.000 USD On-Prem-Server und 3,50 USD/GPU-Stunde gemischtem Reserved-Cloud-Tarif liegt der Break-Even bei rund 55-65% dauerhafter Auslastung — darunter ist Cloud meist günstiger, darüber meist On-Prem. Das Modell vor der Übernahme als eigene Zahl mit den eigenen Stromkosten, der Personalzuteilung und dem ausgehandelten Cloud-Tarif neu rechnen.
Wie viel kostet ein On-Prem-Enterprise-GPU-Server tatsächlich inklusive aller Nebenkosten?
Die Hardware selbst kostet rund 200.000-400.000+ USD für eine 8x-H100/H200-Konfiguration, und Support-Verträge, Netzwerk-Fabric und Kühlungs-Nachrüstung addieren üblicherweise weitere 15-30% — Anbieterpreise im Detail im Enterprise-GPU-Server-Kaufratgeber.
Welchen Rabatt bieten reservierte Cloud-GPU-Verträge tatsächlich gegenüber On-Demand-Preisen?
Öffentlich referenzierte Spannen liegen bei rund 30-55% Rabatt für 1-3-Jahres-Committed-Use-Verträge bei AWS, Azure und Google Cloud; CoreWeaves Reserved-Preise sind verhandelt und nur auf Anfrage. Keiner dieser Anbieter veröffentlicht exakte Enterprise-Vertragspreise — vor der Budgetierung ein formelles Angebot einholen.
Was passiert bei vorzeitiger Kündigung eines reservierten Cloud-GPU-Vertrags?
Die meisten Reserved- und Committed-Use-Cloud-Verträge kosten bei vorzeitiger Kündigung rückwirkend den ausgehandelten Rabatt, und bei manchen Vertragsstrukturen auch den nicht abgeschriebenen Anteil einer Vorauszahlung. Die konkreten Kündigungsbedingungen vor Vertragsschluss klären — das ist ein wesentlicher Teil der Entscheidung, kein Kleingedrucktes.
Ist On-Prem-Hardware im Enterprise-Maßstab günstiger als Cloud-Miete?
Das hängt allein von der dauerhaften Auslastung ab, nicht vom Maßstab. Hohe, planbare, nahezu konstante Auslastung spricht für On-Prem; unregelmäßige, saisonale oder experimentelle Workloads sprechen für Cloud, weil ungenutzte eigene Hardware trotzdem volle Abschreibung kostet, während ungenutzte reservierte Cloud-Kapazität trotzdem den vereinbarten Tarif kostet — beide liegen näher beieinander, als das Marketing beider Seiten suggeriert.
Was ist ein hybrider On-Prem-plus-Cloud-Ansatz und wann ist er sinnvoll?
Ein Hybrid-Ansatz dimensioniert On-Prem-Hardware auf die planbare 24/7-Grundlast und leitet saisonale oder unvorhersehbare Spitzen an Cloud-Kapazität weiter, statt On-Prem auf Spitzenlast zu überdimensionieren. Das passt für die meisten dauerhaften Enterprise-KI-Workloads mit relevanter Nachfrageschwankung — was auf die Mehrheit produktiver Inferenz-Deployments zutrifft.
Wie wirkt sich die Egress-Preisgestaltung auf die Kaufen-vs-Mieten-Entscheidung aus?
Egress-Gebühren für Datenabflüsse aus dem Netzwerk eines Cloud-Anbieters sind bei leichtem API-Traffic unbedeutend, werden aber relevant für Teams, die regelmäßig große Trainingsdatensätze oder Modell-Checkpoints zwischen Umgebungen verschieben — das erwartete Egress-Volumen vor dem Anbietervergleich separat modellieren.
Sollte ein Multi-Region- oder Compliance-getriebenes Deployment standardmäßig auf Cloud setzen?
Meist ja. Konforme Rechenzentrumskapazität in mehreren Jurisdiktionen aufzubauen ist langsamer und deutlich teurer als bestehende Cloud-Regionen zu nutzen, die bereits Datenresidenz- und Compliance-Zertifizierungen des Anbieters mitbringen — die Compliance-Seite dieser Entscheidung im Ratgeber zu Datenresidenz und souveräner KI.
Wie lange dauert der Kauf eines On-Prem-GPU-Servers von Bestellung bis Produktion?
Lieferzeiten für 8-GPU-Konfigurationen haben je nach GPU-Verfügbarkeit zwischen mehreren Wochen und wenigen Monaten geschwankt, zusätzlich zu interner Beschaffung, Rack-Installation und Strom-/Kühlbereitschaft — den gesamten Zeitplan einkalkulieren, nicht nur die Anbieter-Lieferzeit, im Vergleich zur nahezu sofortigen Cloud-Bereitstellung.
Bieten AWS, Azure und Google Cloud alle die gleiche Art von Committed-Use-Rabatt?
Der Mechanismus unterscheidet sich je Anbieter — AWS nutzt EC2 Capacity Blocks, Reserved Instances und Savings Plans; Azure nutzt Reserved VM Instances; Google Cloud nutzt Committed Use Discounts, die in den meisten Konfigurationen automatisch auf passende Nutzung angewendet werden, ohne separaten Reservierungskauf. Die Rabattspannen sind grob ähnlich (rund 30-55% bei 1-3 Jahren Laufzeit), aber die Vertragsmechanik unterscheidet sich genug, um die Flexibilität zu beeinflussen — die tatsächlichen Vertragsbedingungen vergleichen, nicht nur den Headline-Rabatt.
Quellen
- AWS EC2 Capacity Blocks for ML Preisliste -- aws.amazon.com/ec2/capacityblocks
- Microsoft Azure Reserved VM Instances Preisliste -- azure.microsoft.com/en-us/pricing/reserved-vm-instances
- Google Cloud Committed Use Discounts Dokumentation -- cloud.google.com/docs/cuds
- CoreWeave Preisliste -- coreweave.com/pricing
- Dell PowerEdge XE9680 Produktseite -- dell.com/en-us/shop/ipovw/poweredge-xe9680
- Enterprise GPU Server Buying Guide 2026 (PromptQuorum, intern) -- Hardware-Preise und Strom-/Kühlungswerte aus diesem begleitenden Artikel übernommen.