Können Sie lokale LLMs auf einer Radeon RX 6800M ausführen?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Wichtigste Erkenntnisse
- ✓Die RX 6800M ist ein mobiler RDNA-2-Chip (Navi 22, 12 GB VRAM) — NICHT die Desktop-RX-6800 (Navi 21, 16 GB VRAM)
- ✓Vulkan ist der verlässliche Weg unter Windows und Linux; ROCm unterstützt die 6800M offiziell nicht, und die ROCm-Liste von Ollama beginnt unter Windows bei der RX 7600
- ✓Geschätzte Geschwindigkeit: etwa 45–60 tok/s bei einem 8B-Modell in Q4_K_M und 25–35 tok/s bei einem 14B-Modell — hochgerechnet aus einem Benchmark der gleichen GPU-Architektur (RX 6700 XT), nicht von PromptQuorum gemessen
- ✓Immer am Netzteil betreiben: Laptop-GPUs haben im Akkubetrieb strengere Leistungsgrenzen, was die Inferenz verlangsamt

Schnelle Antwort
Ja. Die Radeon RX 6800M hat 12 GB GDDR6 VRAM und führt lokale LLMs über das Vulkan-Backend von Ollama oder llama.cpp unter Windows und Linux gut aus. ROCm unterstützt diesen Chip offiziell nicht; unter Linux funktioniert es nur über eine inoffizielle Überschreibung. Ein 8B-Modell in Q4_K_M liegt bei geschätzt 45–60 tok/s, abgeleitet von einem Benchmark der gleichen GPU-Architektur (RX 6700 XT), nicht von PromptQuorum gemessen.
- ▸Windows und Linux: Vulkan ist der zuverlässige Weg (Ollama aktiviert ihn standardmäßig)
- ▸ROCm: Die 6800M steht weder auf der AMD- noch auf der Ollama-Supportliste; Linux braucht HSA_OVERRIDE_GFX_VERSION=10.3.0 und kann instabil sein
- ▸12 GB VRAM reichen für Modelle bis 14B in Q4_K_M bei moderatem Kontextfenster
Was die Radeon RX 6800M tatsächlich ausführen kann
Die Radeon RX 6800M ist ein mobiler RDNA-2-Chip (Navi 22, gfx1031) mit 12 GB GDDR6 VRAM — nicht die Desktop-RX-6800, die den größeren Navi-21-Chip mit 16 GB nutzt. Mit 12 GB passen Modelle bis 14B in Q4_K_M ohne Layer-Offloading, die gleiche Kapazität wie bei einer Desktop-RTX-3060 mit 12 GB. Längere Kontextfenster belegen zusätzlich KV-Cache-Speicher.
Die Generierungsgeschwindigkeit bei einem Nutzer wird meist durch die Speicherbandbreite begrenzt. Die 6800M nutzt denselben Navi-22-Chip und dasselbe 12-GB-Speicherlayout wie die Desktop-RX-6700-XT, die im llama.cpp-Vulkan-Scoreboard etwa 84 tok/s bei Llama 2 7B Q4_0 mit dem Vulkan-Backend erreicht. Skaliert auf größere Modelldateien ergeben sich die Schätzungen unten. Leistungsgrenzen und Kühlung im Laptop können die 6800M unter eine Desktop-Karte drücken.
Diese Werte sind aus diesem öffentlichen Benchmark abgeleitete Schätzungen, keine Tests, die PromptQuorum auf einer 6800M durchgeführt hat. Führen Sie llama-bench auf Ihrem eigenen Gerät aus, um echte Zahlen zu erhalten. Für einen CUDA-Vergleich mit 8 GB VRAM siehe den AMD 5700X + RTX 3070 Ti Rig-Vergleich.
| Modell | VRAM (Q4_K_M) | Geschätzte Geschwindigkeit (Vulkan) |
|---|---|---|
| Llama 3.1 8B | ~5 GB | ~45–60 tok/s |
| Qwen3 8B | ~5 GB | ~45–60 tok/s |
| Phi-4 14B | ~9 GB | ~25–35 tok/s |
| Qwen3 14B | ~9 GB | ~25–35 tok/s |
Einrichten von lokalen LLMs auf der 6800M
Installieren Sie unter Windows und Linux Ollama — es nutzt für AMD-GPUs das Vulkan-Backend ohne ROCm. Laut Ollama-GPU-Dokumentation ist Vulkan standardmäßig aktiviert, wenn das Backend installiert ist; unter Linux können zusätzliche Vulkan-Pakete nötig sein. Alternativ nutzen Sie ein vorkompiliertes Vulkan-Binary von llama.cpp und laden ein GGUF mit -ngl 99, um alle Layer auf die GPU auszulagern.
ROCm ist der schwierigere Weg. Die RX 6800M steht nicht in der ROCm-Supporttabelle von AMD und nicht in der AMD-Liste von Ollama; unter Windows deckt die ROCm-Liste von Ollama nur die RX 7600 und neuer ab. Unter Linux nutzen Community-Berichte HSA_OVERRIDE_GFX_VERSION=10.3.0, damit ROCm den Chip als gfx1030 behandelt. Das ist inoffiziell und kann abstürzen oder auf die CPU zurückfallen — versuchen Sie zuerst Vulkan.
Immer am Netzteil betreiben — Laptop-GPUs haben im Akkubetrieb strengere Leistungsgrenzen, was die Inferenz verlangsamt. Für den vollständigen GPU-Vergleich zwischen NVIDIA und AMD siehe den Leitfaden zu den besten GPUs für lokale LLMs.
ollama run llama3.1:8b aus und prüfen Sie dann ollama ps — die Spalte PROCESSOR sollte 100% GPU anzeigen. Bei CPU prüfen Sie das Ollama-Serverprotokoll auf Meldungen zur GPU-Erkennung.Radeon RX 6800M vs. Desktop-RX-6800
Suchen nach „RX 6800“ landen oft beim mobilen Chip, doch die beiden Karten unterscheiden sich. Die Desktop-RX-6800 hat 16 GB VRAM und mehr Speicherbandbreite, passt also zu größeren Modellen und generiert schneller. Das llama.cpp-Vulkan-Scoreboard nennt etwa 101 tok/s für die Desktop-RX-6800 gegenüber etwa 84 tok/s für die RX 6700 XT (Llama 2 7B Q4_0, Vulkan).
Die Desktop-RX-6800 steht auf der Linux-AMD-Supportliste von Ollama, die 6800M nicht. Alles andere auf dieser Seite zu Vulkan gilt für beide Karten.
| Merkmal | RX 6800M (Laptop) | RX 6800 (Desktop) |
|---|---|---|
| GPU-Chip | Navi 22 (gfx1031) | Navi 21 (gfx1030) |
| VRAM | 12 GB GDDR6 | 16 GB GDDR6 |
| Speicherbandbreite | 384 GB/s | 512 GB/s |
| Ollama-AMD-Supportliste (Linux) | Nicht gelistet | Gelistet |
| Ollama-ROCm unter Windows | Nicht gelistet | Nicht gelistet |
Verwandte Leitfäden
Schnelle Antworten zu Radeon 6800M und lokalen LLMs
Unterstützt die Radeon 6800M ROCm offiziell?▾
HSA_OVERRIDE_GFX_VERSION=10.3.0, aber das ist ein inoffizieller Workaround. Vulkan ist der unterstützte Weg für diese Karte.Wie viel VRAM hat die Radeon RX 6800M?▾
Funktioniert Ollama auf der RX 6800M?▾
Ist die Desktop-RX-6800 für lokale LLMs besser als die 6800M?▾
Ist die 6800M für LLMs schneller als die RTX 3070 Mobile?▾
llama-bench auf Ihrem Gerät.