Wichtigste Erkenntnisse
- AMD RX 6800 XT (16GB, 300-350 € gebraucht) und RX 7900 XTX (24GB, 400-500 € gebraucht) sind die einzigen praktikablen Optionen für lokale LLMs.
- Rechenleistung pro Euro: AMD ist 20-30% günstiger als NVIDIA, aber die Software-Reibung kostet 5-10 Stunden Einrichtungszeit.
- Ollama: Begrenzte AMD-Unterstützung (ROCm-Pfad ist fehlerhaft, CPU-Fallback ist langsam). Nicht empfohlen.
- vLLM: Volle AMD ROCm-Unterstützung seit v0.6.0, aber die Einrichtung erfordert manuelle Treiber. Funktioniert gut, wenn Sie das Einrichtungschaos überstanden haben.
- Text Generation WebUI: Exzellente AMD-Unterstützung via ROCm. Beste Benutzererfahrung auf AMD.
- Llama.cpp: Native AMD-Unterstützung (HIP-Backend). Solide Leistung. Empfohlener AMD-Pfad.
- Einrichtungskosten: Planen Sie 5-10 Stunden Debugging von ROCm-Treibern, HIPCC-Kompilierung und Kernel-Kompatibilität.
- Fazit (April 2026): Verwenden Sie AMD nur, wenn Sie bereits AMD-Hardware haben, oder wenn Sie ein großartiges gebrauchtes Angebot finden (€300 für eine 16-GB-Karte). Andernfalls ist NVIDIA CUDA immer noch einfacher.
Welche AMD-GPUs lohnen sich wirklich?
- RX 6800 XT (16 GB GDDR6): Der Wert-König für AMD. 2020er-Release. Immer noch solide für 7B-22B-Inferenz. Gebraucht: 300-350 €.
- RX 6900 XT (16 GB GDDR6): Marginal schneller als 6800 XT. Selten. Gebraucht: 350-400 €. Die Preiserhöhung lohnt sich nicht.
- RX 7900 XT (20 GB GDDR6): Neuere RDNA 3-Architektur. 20% schneller als 6800 XT. Gebraucht: 400-480 €. Gut für 70B Q4.
- RX 7900 XTX (24 GB GDDR6): Top-AMD-Consumer-GPU. 24 GB VRAM ist spielverändernd für 70B. Gebraucht: 450-550 €. Vergleichbar mit RTX 4090-Geschwindigkeit.
- Radeon Pro W6800 (32 GB): Enterprise-Karte, günstiger gebraucht (~200-300 €). Langsamer, aber 32 GB ist hervorragend für 70B Q8. Nische.
Wie vergleichen sich AMD-GPUs mit RTX bei Preis und Geschwindigkeit?
| GPU | VRAM | TFLOPS | Preis gebraucht | Leistung/€ vs. RTX | Equivalent RTX |
|---|---|---|---|---|---|
| RX 6800 XT | 16 GB | 1.952 | 300-350 € | +25% | RTX 3080 (langsamer) |
| RX 7900 XT | 20 GB | 2.540 | 400-480 € | +20% | RTX 4080 (ähnlich) |
| RX 7900 XTX | 24 GB | 2.750 | 450-550 € | +15% | RTX 4090 (ähnliche Geschwindigkeit) |
| RTX 3080 | 10 GB | 1.456 | 350-400 € | -- | -- |
| RTX 4090 | 24 GB | 2.752 | 1.000-1.300 € | -- | -- |
Welche ROCm-Einrichtungsherausforderungen gibt es?
1. Installieren Sie AMD ROCm-Treiber: `apt-get install rocm-dkms` (Ubuntu). Unter Windows ist ein manuelles .exe-Installationsprogramm erforderlich. Dauert 30 Minuten.
2. Überprüfen Sie den HIP-Compiler: `hipcc --version`. Fehlgeschlagen beim ersten Versuch. Debuggen Sie die Kernel-Kompatibilität für Ihre GPU.
3. Installieren Sie HIPCC (AMDs HIP-zu-C++-Compiler): `apt-get install hip-runtime-amd`. Eine weitere Abhängigkeitskette.
4. Testen Sie mit einem kleinen LLM: Führen Sie Inferenzen durch, um zu überprüfen, ob die GPU-Beschleunigung funktioniert. Fallback auf CPU ist häufig.
5. Beheben Sie Inkompatibilitäten der Treiberversion: ROCm v5.7 funktioniert mit Kernel 5.15, aber nicht mit 6.x. Verbraucht 2-4 Stunden Debugging.
NVIDIA CUDA zum Vergleich: `nvidia-cuda-toolkit` → ein apt-get, sofortiger GPU-Zugriff. AMD erfordert 5-10× mehr Reibung.
Können Sie Ollama und vLLM auf AMD ausführen?
Ollama auf AMD: Experimentell/fehlerhaft seit April 2026. ROCm-Pfad funktioniert manchmal, CPU-Fallback ist langsam. Nicht empfohlen.
vLLM auf AMD: Volle ROCm-Unterstützung seit v0.6.0. Funktioniert gut, erfordert aber manuelle ROCm/HIP-Treibereinrichtung. Gut, wenn Sie das Einrichtungschaos überstanden haben.
Text Generation WebUI: Exzellente AMD ROCm-Unterstützung. Beste Benutzererfahrung auf AMD. Empfohlen.
Llama.cpp: Native HIP-Backend. Solide Leistung. Einfachster AMD-Pfad. Empfohlen.
LM Studio: Nur NVIDIA. Keine AMD-Unterstützung.
Seit April 2026: vLLM + llama.cpp sind Ihre AMD-Pfade. Ollama ist nicht zuverlässig.
Wann sollten Sie AMD statt NVIDIA kaufen?
AMD kaufen, wenn:
- Sie eine gebrauchte RX 7900 XTX für <450 € finden (unter Preis gegenüber RTX 4090 Wert).
- Sie bereits AMD-Hardware besitzen und Ökosystem-Konsistenz mögen.
- Sie einen Cluster bauen und Rechenleistung pro Euro über Benutzerfreundlichkeit stellen.
AMD nicht kaufen, wenn:
- Sie eine Plug-and-Play-Erfahrung wünschen. NVIDIA CUDA ist schneller funktionsfähig.
- Sie Ollama brauchen. AMD-Unterstützung ist unzuverlässig.
- Sie zeitlich begrenzt sind. ROCm-Debugging kann 10+ Stunden dauern.
Häufige AMD-Adoptionfehler
- RX 6700 (12 GB) kaufen, denkend, es ist ein 3060-12GB-Äquivalent - es ist 20% langsamer und oft schwer gebraucht zu finden.
- Annahme, dass ROCm „einfach funktioniert" wie CUDA - planen Sie 5-10 Stunden Fehlerbehebung von Treiber- und Kernel-Kompatibilität.
- Ollama mit AMD verwenden, erwartet nahtlose Integration - ROCm-Pfad ist fehlerhaft; llama.cpp oder vLLM sind bessere Wetten.
Häufig gestellte Fragen
Sollte ich AMD RX 6800 XT oder NVIDIA RTX 3080 für lokale LLMs kaufen?
RTX 3080, wenn Sie Einfachheit bevorzugen (CUDA „funktioniert einfach"). RX 6800 XT, wenn Sie 25% besseren Wert und 5-10 Stunden ROCm-Einrichtung nicht stört.
Ist AMD RX 7900 XTX besser als RTX 4090?
Ähnliche Geschwindigkeit, gleicher VRAM (24 GB). RX 7900 XTX ist 200-300 € günstiger gebraucht (450-550 € vs. 1.000-1.300 €). ROCm-Einrichtung ist der Kompromiss.
Kann ich AMD-GPUs mit Ollama verwenden?
Technisch ja, aber erwarten Sie fehlerhaftes Verhalten. CPU-Fallback ist häufig. Verwenden Sie stattdessen vLLM oder llama.cpp für AMD.
Was ist der beste AMD-Pfad für lokale LLMs 2026?
Llama.cpp (HIP-Backend) + Text Generation WebUI. Beide haben solide AMD-Unterstützung. Vermeiden Sie Ollama.
Brauche ich Ubuntu für AMD ROCm, oder funktioniert Windows?
Windows-Unterstützung existiert (HIP auf Windows), aber es ist neuere und fehlerhaft. Ubuntu ist der empfohlene Pfad.
Ist RX 6700 oder 6750 gut für 7B-Modelle?
RX 6700 (12 GB) funktioniert, ist aber 20% langsamer als RX 6800 XT. Kaufen Sie nur, wenn <250 €. Andernfalls dehnen Sie auf 6800 XT aus.
Kann ich AMD- und NVIDIA-GPUs in einem System mischen?
Theoretisch ja, aber das Management ist ein Albtraum. Jede GPU benötigt ihre eigene CUDA/HIP-Laufzeit. Nicht empfohlen.
Erfüllt AMD ROCm die DSGVO-Anforderungen für deutsche Unternehmen?
Ja. AMD ROCm verarbeitet alle Daten lokal auf Ihrer Hardware, ohne in die Cloud zu gehen. Dies erfüllt die DSGVO Article 28 (Verarbeiter-Anforderungen) und BSI-Grundschutz-Kataloge automatisch, da Daten nicht an Dritte übertragen werden.
Ist AMD ROCm für den deutschen Mittelstand geeignet?
Sehr geeignet. Der Mittelstand profitiert von der Kosteneinsparung (20-30% unter NVIDIA) und der vollständigen Datenkontrolle vor Ort. Die Einrichtungshürde (5-10 Stunden) ist einmalig. Nach dem Setup ist AMD eine solide Wahl für SMBs, die IT-Sicherheit und Kosteneffizienz schätzen.
Weiterführende Literatur
Quellen
- AMD ROCm-Dokumentation und GitHub: HIP-Compiler, Treiberkompatibilitätsmatrix, LLM-Inferenz-Beispiele
- vLLM GitHub: AMD/ROCm Backend-Implementierung und Unterstützungsstatus (v0.6.0+)
- Llama.cpp GitHub: HIP-Backend für AMD-GPU-Unterstützung