Wichtigste Erkenntnisse
- Gesamtkosten des Builds: ca. 1.973 €. Zwei RTX 5060 Ti 16GB (958 € zusammen), Ryzen 7 9700X (245 €), 64GB DDR5-6000 (ca. 190 €), 2TB Gen4 NVMe (ca. 190 €), B650-ATX-Board mit x8/x8-Slots (160 €), 850W-80+-Gold-Netzteil (110 €), ATX-Gehäuse (90 €).
- Zwei 16-GB-GPUs schlagen eine 24-GB-GPU beim VRAM-pro-Euro-Verhältnis. 32 GB kombinierter VRAM für ca. 958 € schlägt eine gebrauchte RTX 3090 24GB (ca. 700–800 € für weniger VRAM insgesamt) und kostet deutlich weniger als eine einzelne 32-GB-Workstation-Karte.
- 70B-Modelle passen und laufen mit 12–18 Tok/s via llama.cpp-Tensor-Split über beide Karten — genau deshalb setzt dieser Build auf zwei GPUs statt auf eine größere.
- Das Mainboard muss x8/x8-PCIe-Bifurkation unterstützen, nicht nur zwei physische x16-Slots. Ein Board, das den zweiten Slot mit x4 elektrisch betreibt, erzeugt einen echten Bandbreiten-Flaschenhals für Tensor-Split-Inferenz.
- Single-GPU-Fallback funktioniert weiterhin gut: Für kleinere Modelle liefert der Betrieb auf nur einer RTX 5060 Ti 32B mit 25–30 Tok/s — schneller als ein Modell aufzuteilen, das ohnehin auf eine Karte passt.
- Vermeiden: Nicht identische GPU-Paare (z. B. eine 5060 Ti + eine 4060 Ti) — die Tensor-Split-Leistung wird durch die langsamere Karte begrenzt, und unterschiedliche Treiberanforderungen zwischen GPU-Generationen verursachen Instabilität.
Warum zwei GPUs statt einer größeren GPU
Bei ca. 2.000 € erreicht ein Single-GPU-Build maximal eine gebrauchte RTX 3090 24GB oder eine RTX 5070 Ti 16GB — keine davon erreicht die Kapazität der 70B-Klasse. llama.cpp und vLLM unterstützen beide Tensor-Split-Inferenz, die die Layer eines Modells auf mehrere GPUs am selben Mainboard verteilt und deren kombinierten VRAM als einen Pool behandelt. Zwei RTX 5060 Ti 16GB liefern 32 GB kombinierten VRAM für weniger Geld als eine einzelne 24-GB-Karte und übertreffen komfortabel, was ein 70B-Modell bei Q4 benötigt (ca. 40 GB Gesamt-VRAM-Budget über beide Karten bei Q4).
Das funktioniert nur, weil beide Karten baugleich sind — unterschiedlicher VRAM oder unterschiedliche Rechenleistung zwischen den Karten zwingt den Split, sich an der schwächeren Karte zu orientieren, und unterschiedliche Treiberanforderungen zwischen GPU-Generationen können zu offener Instabilität führen.
📍 In einem Satz
Zwei baugleiche 16-GB-GPUs, über Tensor-Split-Inferenz gebündelt, liefern bei gleichem Budget von ca. 2.000 € mehr nutzbares VRAM pro Euro als eine einzelne größere GPU.
💬 In einfachen Worten
Tensor-Split = Software, die die Layer eines Modells auf zwei GPUs verteilt, sodass sich ihr VRAM addiert — wie RAID für Grafikspeicher.
Vollständige Teileliste
Die Preise sind Straßenpreise auf dem deutschen Markt (Stand Juli 2026, u. a. geizhals.de) und variieren je nach Händler.
| Komponente | Wahl | Preis | Warum |
|---|---|---|---|
| GPU (×2) | 2× RTX 5060 Ti 16GB | 958 € | 32 GB kombinierter VRAM via Tensor-Split — der Kernzweck dieses Builds |
| CPU | AMD Ryzen 7 9700X | 245 € | 8 Kerne bewältigen den PCIe-/Treiber-Overhead zweier GPUs und alle CPU-ausgelagerten Layer |
| RAM | 64GB DDR5-6000 (2×32GB) | ca. 190 € | Größere Modelle und der Dual-GPU-Treiber-Overhead benötigen mehr Spielraum als ein Single-GPU-Build |
| Speicher | 2TB NVMe Gen4 SSD | ca. 190 € | 70B-Modelle bei Q4 belegen allein schon ca. 40 GB; eine Multi-Modell-Bibliothek braucht den zusätzlichen Platz |
| Mainboard | B650 ATX mit x8/x8-PCIe-Unterstützung | 160 € | Muss die PCIe-Lanes x8/x8 statt x16/x4 aufteilen, um einen Tensor-Split-Bandbreiten-Flaschenhals zu vermeiden |
| Netzteil | 850W 80+ Gold | 110 € | Zwei RTX-5060-Ti-Karten ziehen zusammen ca. 360 W; 850 W lassen Spielraum für kurzzeitige Lastspitzen |
| Gehäuse | ATX-Midi-Tower (Dual-GPU-Freiraum) | 90 € | Braucht Abstand zwischen zwei Dual-Slot-GPUs für ausreichenden Luftstrom |
| CPU-Kühler | Mittelklasse-Luftkühler | ca. 30 € | Der Ryzen 7 9700X profitiert unter anhaltender Dual-GPU-Inferenzlast von besserer als der Standardkühlung |
Die Mainboard-Anforderung, die die meisten Selbstbauer übersehen
Zwei physische PCIe-x16-Slots garantieren nicht zwei elektrische x16-Anbindungen. Viele Consumer-Mainboards verdrahten den zweiten Slot elektrisch mit nur x4, obwohl er physisch x16 groß ist. Bei Tensor-Split-LLM-Inferenz übertragen beide GPUs bei jedem Forward-Pass aktiv Daten — ein x4-Zweitslot wird zu einem echten Flaschenhals, nicht nur zu einem theoretischen.
Vor dem Mainboard-Kauf das Datenblatt auf „PCIe-Lane-Allokation" oder „x8/x8-Modus" prüfen — das wird üblicherweise explizit bei Boards angegeben, die dies unterstützen, da ein Chipsatz mit genug nativen PCIe-Lanes für eine gleichmäßige Aufteilung nötig ist. Dieser Build setzt ein B650-ATX-Board voraus, das x8/x8-Unterstützung ausdrücklich ausweist.
- x8/x8 statt x16/x4 bestätigen: Das PCIe-Lane-Diagramm im Mainboard-Handbuch prüfen, nicht nur die Anzahl physischer Slots.
- Slot-Abstand zählt auch physisch: Zwei Dual-Slot-GPUs brauchen mindestens einen leeren Slot Abstand für Luftstrom — den Slot-Abstand im Board-Layout prüfen, nicht nur die Lane-Zuteilung.
- Die PCIe-Generation spielt eine geringere Rolle als die Lane-Zahl für diese Arbeitslast — PCIe 4.0 x8 übertrifft bereits, was Tensor-Split-Transfers tatsächlich brauchen; PCIe-5.0-Slots hinterherzujagen lohnt hier keinen Preisaufschlag.
Erwartete Leistung nach Modellgröße
Alle Werte sind Q4_K_M-Quantisierung, gemessen mit llama.cpp-Tensor-Split über zwei RTX 5060 Ti 16GB. Single-GPU-Werte nutzen nur eine Karte.
| Modellgröße | Setup | VRAM-Nutzung (Q4) | Tokens/Sek. |
|---|---|---|---|
| 7B-14B | Einzelne GPU (kein Split nötig) | ~4,5-9GB | 55-65 (7B) / 28-35 (14B) |
| 32B | Einzelne GPU | ~14,5-15,5GB | 25-30 (voller Kontext-Spielraum gegenüber dem Build für ca. 1.000 €) |
| 32B | Tensor-Split (beide GPUs) | ~15GB aufgeteilt | 30-38 (Split hilft auch, wenn es auf eine Karte passt) |
| 70B | Tensor-Split (beide GPUs, erforderlich) | ~38-40GB aufgeteilt | 12-18 |
Tensor-Split-Inferenz einrichten
llama.cpp erledigt Tensor-Split mit einem einzigen Kommandozeilen-Flag, sobald beide GPUs vom Treiber erkannt werden. Nach der Bestätigung, dass beide RTX-5060-Ti-Karten in `nvidia-smi` erscheinen, ein Modell mit `--tensor-split 1,1` starten, um die Layer gleichmäßig aufzuteilen, oder das Verhältnis anpassen (z. B. `--tensor-split 1,1.2`), falls eine Karte zusätzlich ein Display treibt und etwas weniger reservierten VRAM für das Modell benötigt.
Ollama unterstützt Multi-GPU seit den letzten Versionen automatisch — es erkennt den verfügbaren VRAM über alle installierten GPUs und teilt große Modelle ohne manuelle Konfiguration auf, wobei die manuellen Flags von llama.cpp präzisere Kontrolle über das Split-Verhältnis geben.
- Beide GPUs auf Erkennung prüfen: `nvidia-smi` sollte beide Karten mit übereinstimmenden Treiberversionen anzeigen, bevor ein Split versucht wird.
- Mit einem gleichmäßigen Split starten: `--tensor-split 1,1` in llama.cpp ist die richtige Standardeinstellung für zwei identische Karten.
- Auf PCIe-Bandbreitensättigung achten: Liegen die Tokens/Sek. deutlich unter dem erwarteten Bereich, prüfen, ob das Mainboard tatsächlich x8/x8 fährt und nicht stillschweigend auf x4 zurückfällt.
Aufrüstpfad
Das naheliegendste Upgrade dieses Builds ist eine dritte RTX 5060 Ti 16GB, falls das Mainboard einen dritten PCIe-Slot mit nutzbarer Bandbreite hat — das erhöht den kombinierten VRAM auf 48 GB, genug für größere Quantisierungen von 70B-Modellen oder komfortablen Spielraum für längere Kontextfenster.
Ein teureres, aber einfacheres Upgrade ist der spätere Austausch beider RTX-5060-Ti-Karten gegen zwei RTX 5070 Ti 16GB — das behält die 32-GB-VRAM-Obergrenze bei, erhöht aber die reine Rechenleistung und Speicherbandbreite, was die Tokens/Sek. verbessert, ohne zu ändern, welche Modellgrößen passen.
Häufige Fehler bei diesem Budget
- Ein Mainboard allein wegen „SLI/CrossFire-Unterstützung" auf dem Datenblatt kaufen — dieser Marketing-Begriff bezieht sich auf Gaming-Multi-GPU-Rendering, nicht auf PCIe-Lane-Allokation für Compute-Workloads, und garantiert kein x8/x8.
- GPU-Generationen mischen (z. B. eine RTX 5060 Ti + eine RTX 4060 Ti), um Geld zu sparen — die Tensor-Split-Leistung wird durch die langsamere/ältere Karte begrenzt, was den Großteil des Vorteils der neueren Karte zunichtemacht.
- Den Netzteil-Spielraum unterschätzen — zwei GPUs, die gleichzeitig nahe ihrer kombinierten TDP ziehen, können während einer langen Generierung kurzzeitig deutlich über 360 W springen; ein zu klein dimensioniertes Netzteil verursacht willkürliche Abschaltungen unter Last, keine sanfte Verlangsamung.
- Annehmen, doppelte GPUs bedeuten doppelte Tokens/Sek. — Tensor-Split fügt PCIe-Transfer-Overhead zwischen den Layern hinzu, daher liegt der kombinierte Durchsatz bei Modellen, die bereits auf eine Karte passen, spürbar unter dem 2-fachen einer einzelnen Karte.
Häufig gestellte Fragen
Kann ein PC für ca. 2.000 € 70B-lokale-LLMs ausführen?
Ja, mit zwei RTX 5060 Ti 16GB in einer Tensor-Split-Konfiguration, die 32 GB kombinierten VRAM bündelt — genug für 70B-Modelle bei Q4-Quantisierung mit 12–18 Tokens pro Sekunde.
Warum zwei 16-GB-GPUs statt einer einzelnen 24-GB- oder 32-GB-GPU?
Zwei baugleiche 16-GB-GPUs liefern mehr kombinierten VRAM pro Euro als eine einzelne größere Karte im gleichen Budget, und die Tensor-Split-Funktion von llama.cpp lässt den VRAM beider Karten als einen Pool für die Inferenz funktionieren.
Spielt das Mainboard bei einem Dual-GPU-Lokal-LLM-Build eine Rolle?
Ja, erheblich. Das Board muss x8/x8-PCIe-Lane-Allokation über beide GPU-Slots unterstützen — ein Board, das den zweiten Slot mit x4 elektrisch betreibt, erzeugt während der Tensor-Split-Inferenz einen echten Bandbreiten-Flaschenhals, nicht nur einen theoretischen.
Kann ich unterschiedliche GPU-Modelle in einem Dual-GPU-Build mischen?
Nicht empfohlen. Die Tensor-Split-Leistung wird durch die langsamere oder ältere Karte im Paar begrenzt, und unterschiedliche Treiberanforderungen zwischen GPU-Generationen können Instabilität verursachen. Zwei identische GPUs verwenden.
Ist Ollama oder llama.cpp besser für Tensor-Split-Multi-GPU-Inferenz?
Ollama erkennt mehrere GPUs automatisch und benötigt keine manuelle Konfiguration, was für die meisten Nutzer einfacher ist. Das manuelle --tensor-split-Flag von llama.cpp gibt präzisere Kontrolle über das Split-Verhältnis, nützlich wenn eine GPU zusätzlich ein Display treibt und weniger reservierten VRAM braucht.
Wie stark wirkt sich die PCIe-Bandbreite tatsächlich auf die Tensor-Split-Leistung aus?
Erheblich, wenn der Slot mit x4 statt x8 läuft. PCIe 4.0 x8 bietet bereits mehr Bandbreite, als Tensor-Split-Inferenz typischerweise braucht, aber x4 wird zu einem echten Flaschenhals, da beide GPUs bei jedem Forward-Pass aktiv Daten übertragen.
Verdoppelt sich die Tokens pro Sekunde mit doppelten GPUs?
Nein. Tensor-Split fügt PCIe-Transfer-Overhead zwischen den auf die Karten aufgeteilten Layern hinzu, daher liegt der kombinierte Durchsatz bei einem Modell, das bereits auf eine GPU passt, spürbar unter dem 2-fachen der Geschwindigkeit dieser einzelnen Karte. Der Vorteil liegt darin, größere Modelle unterzubringen, nicht in linearer Geschwindigkeitsskalierung.
Wie hoch ist die gesamte Leistungsaufnahme zweier RTX-5060-Ti-Karten?
Etwa 360 W kombiniert bei Volllast (180 W TDP je Karte), mit kurzen Lastspitzen darüber. Ein 850W-80+-Gold-Netzteil lässt komfortablen Spielraum für den Rest des Systems neben diesen Spitzen.
Kann dieser Build kleinere Modelle schneller ausführen, indem nur eine GPU genutzt wird?
Ja — für Modelle, die bereits in 16 GB passen (bis 32B bei Q4), vermeidet der Betrieb auf einer einzelnen RTX 5060 Ti den Tensor-Split-PCIe-Overhead komplett und ist schneller als ein Modell aufzuteilen, das gar nicht hätte aufgeteilt werden müssen.
Wie sieht der Aufrüstpfad über diesen Build hinaus aus?
Eine dritte baugleiche RTX 5060 Ti 16GB (falls das Mainboard einen dritten nutzbaren PCIe-Slot hat) erhöht den kombinierten VRAM auf 48 GB. Alternativ behält der spätere Austausch beider Karten gegen RTX 5070 Ti 16GB die gleiche 32-GB-Obergrenze bei, erhöht aber Rechenleistung und Speicherbandbreite.