RTX 3090 für lokale LLMs 2026: Kaufen oder mieten?

Beide Wege liefern dieselbe GPU und dieselben 24 GB VRAM. Die eigentliche Frage ist, wie viele Stunden Sie sie tatsächlich nutzen werden — und ob Ihre Daten das Netzwerk verlassen dürfen.

Die RTX 3090 überzeugt aus einem Grund: 24 GB VRAM zum niedrigsten Preis, den irgendjemand dafür verlangt. Alles andere an der Karte ist 2026 unspektakulär — sie ist ein Design von 2020, zieht 350 W, und eine aktuelle Karte schlägt sie bei jeder Effizienzkennzahl. Das ändert nichts daran, dass Modellgewichte entweder in den Grafikspeicher passen oder nicht.

VRAM ist eine Klippe, keine Steigung. Ein Modell, das passt, läuft mit voller Geschwindigkeit; ein Modell, das auch nur um ein Gigabyte überläuft, weicht in den Systemspeicher aus und bricht auf einen Bruchteil der Geschwindigkeit ein. Das macht 24 GB zu einer Fähigkeitsschwelle statt zu einer Leistungszahl — und die 3090 ist die günstigste Karte, die sie erreicht.

Die zweite wichtige Zahl ist die Speicherbandbreite. Die Token-Generierung bei einem quantisierten Modell ist speicherbandbreiten-, nicht rechenlimitiert, weshalb 936 GB/s ein besserer Indikator für das gefühlte Tempo ist als jede CUDA-Core-Zahl. Deshalb bleibt die 3090 auch gegenüber neueren Mittelklassekarten mit mehr Rechenleistung, aber schmalerem Speicherbus konkurrenzfähig.

In der Praxis bedeutet das: komfortabler Spielraum für ein Modell der 27B-Klasse bei 4-Bit-Quantisierung, schnelle Inferenz bei 7B–14B-Modellen mit langem Kontext — und mit einer zweiten Karte die Möglichkeit, ein Modell der 70B-Klasse ohne Offloading vollständig im VRAM zu halten.

"Passt in 24 GB" und "läuft komfortabel im interaktiven Betrieb" sind zwei verschiedene Aussagen — Kaufratgeber, die das vermischen, wecken falsche Erwartungen. Ein Modell kann technisch laden und trotzdem keinen Platz für Kontext lassen, was bedeutet, dass es für einen kurzen einzelnen Prompt funktioniert und bei längeren Gesprächen zusammenbricht. Die folgende Tabelle trennt beide Aussagen.

Die Variable, die ein Modell zwischen diesen Spalten verschiebt, ist die Kontextlänge: Jedes Token des Gesprächsverlaufs und jedes generierte Token braucht Platz im KV-Cache, zusätzlich zu den eigentlichen Gewichten. Ein 27B-Modell bei 4-Bit-Quantisierung mit 4K Kontext passt komfortabel; dasselbe Modell mit 32K Kontext kann den durch die Quantisierung gewonnenen Spielraum wieder aufbrauchen.

Die 24 GB der RTX 3090 sind besonders relevant für Ollama und LM Studio, da beide standardmäßig ein Modell vollständig in den GPU-Speicher laden, wenn es passt, und bei Nichtpassen auf langsameres CPU/GPU-Offloading zurückfallen. Mit 24 GB verfügbar können beide Tools Modelle der 27B-Klasse vollständig auf der Karte laufen lassen, statt sie aufzuteilen.

Die tatsächliche Geschwindigkeit in Token pro Sekunde hängt vom konkreten Modell, der Quantisierungsstufe, der Kontextlänge, dem verwendeten Backend-Build (bei beiden läuft im Hintergrund llama.cpp), dem Anteil des Prompts, der noch verarbeitet werden muss gegenüber dem, was bereits im Cache liegt, sowie davon ab, was sonst noch auf derselben Maschine läuft. Keines der beiden Tools veröffentlicht offizielle RTX-3090-Benchmarks — behandeln Sie jede einzelne "X Token/Sek."-Angabe, die Sie anderswo sehen, als das Setup einer einzelnen Person, nicht als Garantie für Ihr eigenes.

Praktisch: Installieren Sie eines der beiden Tools, laden Sie ein Modell der 27B-Klasse bei 4-Bit-Quantisierung, und prüfen Sie die GPU-Speichernutzung in nvidia-smi (oder der eigenen Anzeige des Tools) während des Betriebs — liegt die Nutzung komfortabel unter 24 GB, läuft das Modell vollständig auf der Karte und Sie erhalten die volle Speicherbandbreite der RTX 3090.

Jede RTX 3090 hat dieselben 24 GB VRAM, die Frage der Modellkompatibilität ist also mit der Wahl "RTX 3090" bereits geklärt. Was sich zwischen den Karten unterscheidet, ist, wie erträglich der Besitz ist. Kein einzelnes Kühlerdesign eines Herstellers ist über alle Angebote hinweg objektiv das beste — der Zustand im Gebrauchtmarkt variiert stärker als das Design —, aber das sind die Faktoren, die einen Blick wert sind, bevor Sie kaufen.

Das Argument fürs Mieten ist nicht, dass es immer günstiger ist — es ist, dass eine untätige GPU genauso viel kostet wie eine ausgelastete. Eine Karte, die in einem Desktop steckt und nur am Wochenende genutzt wird, hat ihren vollen Kaufpreis bereits gekostet. Eine gemietete GPU kostet zwischen den Sitzungen nichts.

Die Gründe fürs Mieten sind konkret, nicht philosophisch: keine Vorabkosten, kein Wertverlustrisiko bei einer fünf Jahre alten Karte, keine Einschränkungen durch Netzteil, Gehäuse oder Kühlung, kein verlorenes Wochenende, wenn ein Lüfter ausfällt. Man kann auch eine Karte mieten, die man nie kaufen würde — ein Modell der 70B-Klasse für einen Nachmittag auf zwei gemieteten GPUs zu testen kostet ein paar Dollar, gegenüber rund 1.700 $ für ein gebrauchtes Paar.

Das ehrliche Gegenargument: Mieten bringt echte Reibungsverluste. Sie laden Daten auf fremde Rechner hoch, warten auf eine Instanz, und bei Marktplatz-Anbietern erwischt man gelegentlich einen Host, der mitten im Job verschwindet. Das sind keine Gründe, es abzutun — es sind Gründe, warum die Entscheidung von Ihrer Arbeitslast abhängt, nicht allein vom Stundenpreis.

Gegen eine Median-Miete von 0,15 $/Stunde braucht eine 850-$-Karte rund 12.300 GPU-Stunden, um sich zu amortisieren — etwa vier Jahre bei acht Stunden täglich oder siebzehn Jahre bei zwei. Das ist die Zahl, die die meisten Kaufratgeber auslassen, und sie sollte den Kauf entscheiden.

Die Rechnung zieht ab, was der Betrieb der Karte kostet. Bei 450 W am Netzteil und dem US-Durchschnitt von 0,18 $/kWh im Jahr 2026 kostet lokale Inferenz etwa 0,08 $ pro Stunde an Strom — Sie vergleichen also nicht 850 $ gegen 0,15 $/Stunde, sondern gegen die rund 0,07 $/Stunde, die Sie tatsächlich sparen.

Annahmen: 850-$-Karte, 450 W Systemverbrauch, 0,18 $/kWh. Setzen Sie Ihren eigenen Strompreis ein — er verändert das Ergebnis stärker als alles andere in der Tabelle, und in Märkten über 0,30 $/kWh verschwindet das Kaufargument weitgehend.

Verzichten Sie darauf, wenn Ihre Modelle in 16 GB passen. Wenn Sie 7B- und 14B-Modelle bei 4-Bit fahren und nie etwas Größeres anfassen, ist eine günstigere aktuelle 16-GB-Karte leiser, zieht deutlich weniger Strom und kommt mit Garantie. Den 24-GB-Aufpreis für Spielraum zu zahlen, den man nie nutzt, ist der häufigste Fehler bei diesem Kauf.

Verzichten Sie auch darauf, wenn Sie zum Trainieren statt zum Inferenzieren kaufen. Substanzielles Fine-Tuning auf einer einzelnen 24-GB-Karte bedeutet aggressive Quantisierung und lange Wartezeiten; eine größere Karte für ein paar Stunden zu mieten ist sowohl schneller als auch günstiger.

Und verzichten Sie darauf, wenn Ihr Strom teuer ist. Ab 0,30 $/kWh nähern sich die reinen Betriebskosten den günstigeren Cloud-Preisen an, und das Argument fürs Besitzen verschwindet weitgehend.

Kaufen Sie eine gebrauchte RTX 3090, wenn Sie sie über die nächsten zwei Jahre mehr als etwa vier Stunden täglich nutzen — oder wenn Ihre Daten das Gebäude nicht verlassen dürfen: Sie ist immer noch der günstigste Weg, 24 GB VRAM zu besitzen. Mieten Sie, wenn Ihre Nutzung gelegentlich oder stoßweise ist oder Sie noch herausfinden, ob lokale Inferenz zu Ihrer Arbeitslast passt. Sind Sie unsicher, mieten Sie zuerst.

Für häufige lokale LLM-Nutzung und Datenschutz: kaufen. Für gelegentliches Experimentieren: mieten. Bei unsicherer oder sich verändernder Nutzung: erst mieten und die Entscheidung in sechs Monaten neu bewerten, sobald Sie Ihre tatsächlichen Stunden kennen. Für alle, die speziell günstiges 24-GB-VRAM suchen, bleibt eine gebrauchte RTX 3090 in gutem Zustand 2026 überzeugend — der Preisanstieg durch die Speicherknappheit hat daran nichts geändert, nur den Break-even weiter hinausgeschoben. Für einen Neukauf, bei dem Effizienz, Garantie und aktuelle Funktionen wichtiger sind als der Anschaffungspreis, vergleichen Sie stattdessen mit einer aktuellen Karte.

Fazit: Der Vorteil der RTX 3090 sind 24 GB VRAM zu Gebrauchtmarktpreisen. Ihre Kosten sind Alter, hoher Stromverbrauch, Wärme, Lautstärke und fehlende Garantie. Keine Seite dieses Trade-offs hat sich 2026 geändert — nur der Kaufpreis, und der hat sich gegen den Kauf entwickelt.