Wichtigste Erkenntnisse
- RTX 4060 Ti 16GB gewinnt für die meisten Nutzer: 16 GB für 14B Q8, ~520 € im Juli 2026, 165 W
- RTX 3060 12GB ist die ~334 € Zweitplatzierte — günstigere NVIDIA-Wahl, 12 GB VRAM für 7B–13B-Modelle
- Intel Arc B580 12GB ist die ~250 € Budget-Option — 12 GB VRAM für 7B–13B-Modelle
- ⚠️ Preisalarm: Gebrauchte RTX 3090 kostet jetzt 950–1.150 € — aus der Sub-500-€-Liste entfernt
- ⚠️ Preisalarm: RTX 4070 12GB kostet jetzt ~599 € — aus der Sub-500-€-Liste entfernt
- ⚠️ Preisalarm: RX 7800 XT 16GB kostet jetzt ~682 € — aus der Sub-500-€-Liste entfernt
- Brauchst du 30B-Modell-Fähigkeit? Budget mindestens 1.000 € für eine gebrauchte RTX 3090 (24 GB) oder spare für eine RTX 4080 SUPER (16 GB, ~999 €)
- Alle drei GPUs auf dieser Liste laufen mit Ollama, LM Studio und llama.cpp sofort einsatzbereit
Beste GPUs für LLM-Inferenz unter 500 € — Rangfolge
📍 In einem Satz
Die RTX 4060 Ti 16GB (~520 €) ist die beste GPU unter 500 € für lokale LLM-Inferenz, da 16 GB VRAM 14B-Modelle mit Q8-Qualität ohne Engpass aufnimmt.
💬 In einfachen Worten
VRAM bestimmt, welche KI-Modelle du lokal ausführen kannst. 16 GB reichen für 14B-Modelle. 24 GB (gebrauchte RTX 3090) ermöglichen 30B-Modelle. Unter 12 GB bist du auf 7B-Modelle beschränkt.
Reichen 8 GB VRAM für lokale KI-Modelle?
8 GB VRAM beschränken auf 7B-Modelle bei Q4-Quantisierung. 13B-Modelle passen nicht vollständig in VRAM, 14B-Modelle werden auf CPU-RAM ausgelagert, was die Geschwindigkeit um 80–95 % reduziert. Für sinnvolle lokale LLM-Nutzung 2026 sind 12 GB das praktische Minimum, 16 GB empfohlen.
Kann ich AMD GPUs für lokale KI verwenden?
Ja, mit Einschränkungen. Ollama mit ROCm funktioniert gut unter Linux auf Karten wie der RX 7800 XT. Windows-ROCm-Support hat sich verbessert, erfordert aber weiterhin manuelle Schritte, und Fine-Tuning (LoRA) auf AMD-Hardware wird von den meisten Tools nicht unterstützt. Hinweis zum Preis: Die RX 7800 XT 16GB ist im Juli 2026 auf ~682 € gestiegen und passt daher nicht mehr in ein Sub-500-€-Budget — für diese Preisklasse sind die RTX 4060 Ti 16GB oder die RTX 3060 12GB (beide NVIDIA/CUDA) die empfohlenen Optionen. Für Windows oder Fine-Tuning bleib bei NVIDIA.
Kann ich eine gebrauchte RTX 3090 noch für unter 500 € kaufen?
Nein — im Juli 2026 werden gebrauchte RTX 3090 für 950–1.150 € auf eBay.de gehandelt. Der Preis ist seit 2024 deutlich gestiegen, da LLM-Enthusiasten den Wert der 24 GB VRAM erkannt haben. Sie ist keine Sub-500-€-Option mehr. Für 30B-Modell-Fähigkeit (erfordert 24 GB VRAM) sollte man 1.000 €+ für eine gebrauchte RTX 3090 budgetieren oder eine RTX 4080 SUPER (16 GB, ~999 € neu) für schnellere 14B-Q8-Leistung in Betracht ziehen.