Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Können Sie lokale LLMs auf einer Radeon RX 6800M ausführen?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Wichtigste Erkenntnisse

  • ✓Die RX 6800M ist ein mobiler RDNA-2-Chip (Navi 22, 12 GB VRAM) — NICHT die Desktop-RX-6800 (Navi 21, 16 GB VRAM)
  • ✓Vulkan ist der verlässliche Weg unter Windows und Linux; ROCm unterstützt die 6800M offiziell nicht, und die ROCm-Liste von Ollama beginnt unter Windows bei der RX 7600
  • ✓Geschätzte Geschwindigkeit: etwa 45–60 tok/s bei einem 8B-Modell in Q4_K_M und 25–35 tok/s bei einem 14B-Modell — hochgerechnet aus einem Benchmark der gleichen GPU-Architektur (RX 6700 XT), nicht von PromptQuorum gemessen
  • ✓Immer am Netzteil betreiben: Laptop-GPUs haben im Akkubetrieb strengere Leistungsgrenzen, was die Inferenz verlangsamt
Können Sie lokale LLMs auf einer Radeon RX 6800M ausführen?

Schnelle Antwort

Ja. Die Radeon RX 6800M hat 12 GB GDDR6 VRAM und führt lokale LLMs über das Vulkan-Backend von Ollama oder llama.cpp unter Windows und Linux gut aus. ROCm unterstützt diesen Chip offiziell nicht; unter Linux funktioniert es nur über eine inoffizielle Überschreibung. Ein 8B-Modell in Q4_K_M liegt bei geschätzt 45–60 tok/s, abgeleitet von einem Benchmark der gleichen GPU-Architektur (RX 6700 XT), nicht von PromptQuorum gemessen.

  • ▸Windows und Linux: Vulkan ist der zuverlässige Weg (Ollama aktiviert ihn standardmäßig)
  • ▸ROCm: Die 6800M steht weder auf der AMD- noch auf der Ollama-Supportliste; Linux braucht HSA_OVERRIDE_GFX_VERSION=10.3.0 und kann instabil sein
  • ▸12 GB VRAM reichen für Modelle bis 14B in Q4_K_M bei moderatem Kontextfenster
Hardware-Specific

Was die Radeon RX 6800M tatsächlich ausführen kann

Die Radeon RX 6800M ist ein mobiler RDNA-2-Chip (Navi 22, gfx1031) mit 12 GB GDDR6 VRAM — nicht die Desktop-RX-6800, die den größeren Navi-21-Chip mit 16 GB nutzt. Mit 12 GB passen Modelle bis 14B in Q4_K_M ohne Layer-Offloading, die gleiche Kapazität wie bei einer Desktop-RTX-3060 mit 12 GB. Längere Kontextfenster belegen zusätzlich KV-Cache-Speicher.

Die Generierungsgeschwindigkeit bei einem Nutzer wird meist durch die Speicherbandbreite begrenzt. Die 6800M nutzt denselben Navi-22-Chip und dasselbe 12-GB-Speicherlayout wie die Desktop-RX-6700-XT, die im llama.cpp-Vulkan-Scoreboard etwa 84 tok/s bei Llama 2 7B Q4_0 mit dem Vulkan-Backend erreicht. Skaliert auf größere Modelldateien ergeben sich die Schätzungen unten. Leistungsgrenzen und Kühlung im Laptop können die 6800M unter eine Desktop-Karte drücken.

Diese Werte sind aus diesem öffentlichen Benchmark abgeleitete Schätzungen, keine Tests, die PromptQuorum auf einer 6800M durchgeführt hat. Führen Sie llama-bench auf Ihrem eigenen Gerät aus, um echte Zahlen zu erhalten. Für einen CUDA-Vergleich mit 8 GB VRAM siehe den AMD 5700X + RTX 3070 Ti Rig-Vergleich.

ModellVRAM (Q4_K_M)Geschätzte Geschwindigkeit (Vulkan)
Llama 3.1 8B~5 GB~45–60 tok/s
Qwen3 8B~5 GB~45–60 tok/s
Phi-4 14B~9 GB~25–35 tok/s
Qwen3 14B~9 GB~25–35 tok/s

Einrichten von lokalen LLMs auf der 6800M

Installieren Sie unter Windows und Linux Ollama — es nutzt für AMD-GPUs das Vulkan-Backend ohne ROCm. Laut Ollama-GPU-Dokumentation ist Vulkan standardmäßig aktiviert, wenn das Backend installiert ist; unter Linux können zusätzliche Vulkan-Pakete nötig sein. Alternativ nutzen Sie ein vorkompiliertes Vulkan-Binary von llama.cpp und laden ein GGUF mit -ngl 99, um alle Layer auf die GPU auszulagern.

ROCm ist der schwierigere Weg. Die RX 6800M steht nicht in der ROCm-Supporttabelle von AMD und nicht in der AMD-Liste von Ollama; unter Windows deckt die ROCm-Liste von Ollama nur die RX 7600 und neuer ab. Unter Linux nutzen Community-Berichte HSA_OVERRIDE_GFX_VERSION=10.3.0, damit ROCm den Chip als gfx1030 behandelt. Das ist inoffiziell und kann abstürzen oder auf die CPU zurückfallen — versuchen Sie zuerst Vulkan.

Immer am Netzteil betreiben — Laptop-GPUs haben im Akkubetrieb strengere Leistungsgrenzen, was die Inferenz verlangsamt. Für den vollständigen GPU-Vergleich zwischen NVIDIA und AMD siehe den Leitfaden zu den besten GPUs für lokale LLMs.

Testen Sie Ihr Setup: Führen Sie ollama run llama3.1:8b aus und prüfen Sie dann ollama ps — die Spalte PROCESSOR sollte 100% GPU anzeigen. Bei CPU prüfen Sie das Ollama-Serverprotokoll auf Meldungen zur GPU-Erkennung.

Radeon RX 6800M vs. Desktop-RX-6800

Suchen nach „RX 6800“ landen oft beim mobilen Chip, doch die beiden Karten unterscheiden sich. Die Desktop-RX-6800 hat 16 GB VRAM und mehr Speicherbandbreite, passt also zu größeren Modellen und generiert schneller. Das llama.cpp-Vulkan-Scoreboard nennt etwa 101 tok/s für die Desktop-RX-6800 gegenüber etwa 84 tok/s für die RX 6700 XT (Llama 2 7B Q4_0, Vulkan).

Die Desktop-RX-6800 steht auf der Linux-AMD-Supportliste von Ollama, die 6800M nicht. Alles andere auf dieser Seite zu Vulkan gilt für beide Karten.

MerkmalRX 6800M (Laptop)RX 6800 (Desktop)
GPU-ChipNavi 22 (gfx1031)Navi 21 (gfx1030)
VRAM12 GB GDDR616 GB GDDR6
Speicherbandbreite384 GB/s512 GB/s
Ollama-AMD-Supportliste (Linux)Nicht gelistetGelistet
Ollama-ROCm unter WindowsNicht gelistetNicht gelistet

Verwandte Leitfäden

Schnelle Antworten zu Radeon 6800M und lokalen LLMs

Unterstützt die Radeon 6800M ROCm offiziell?▾
Nein. Die RX 6800M (gfx1031) steht weder in der ROCm-Supporttabelle von AMD noch in der AMD-Liste von Ollama. Unter Linux läuft sie manchmal mit HSA_OVERRIDE_GFX_VERSION=10.3.0, aber das ist ein inoffizieller Workaround. Vulkan ist der unterstützte Weg für diese Karte.
Wie viel VRAM hat die Radeon RX 6800M?▾
12 GB GDDR6 an einem 192-Bit-Bus. Das reicht bequem für 8B-Modelle und für 14B-Modelle in Q4_K_M bei moderatem Kontextfenster. Die 12 GB sind dedizierter GPU-Speicher; der Systemspeicher kommt nicht hinzu.
Funktioniert Ollama auf der RX 6800M?▾
Ja, über Vulkan. Laut Ollama-Dokumentation ist Vulkan standardmäßig aktiviert, wenn das Backend installiert ist. Der ROCm-Pfad von Ollama listet die 6800M nicht; erwarten Sie also Vulkan statt ROCm, außer Sie nutzen die inoffizielle Linux-Überschreibung.
Ist die Desktop-RX-6800 für lokale LLMs besser als die 6800M?▾
Ja, bei Kapazität und Bandbreite: 16 GB statt 12 GB VRAM und etwa 512 GB/s statt 384 GB/s. Sie steht außerdem auf der Linux-AMD-Supportliste von Ollama. Siehe die Vergleichstabelle oben.
Ist die 6800M für LLMs schneller als die RTX 3070 Mobile?▾
Die 12 GB VRAM der 6800M gegenüber 8 GB bei den meisten RTX-3070-Mobile-Konfigurationen sind für die Modellpassung wichtiger als die reine Geschwindigkeit. Bei gleicher Modellgröße profitiert die RTX 3070 Mobile von ausgereiftem CUDA-Support. Vergleichen Sie echte Ergebnisse mit llama-bench auf Ihrem Gerät.
Wie heiß wird die 6800M bei dauerhafter LLM-Nutzung?▾
Dauerhafte Inferenz belastet die GPU ähnlich wie eine Gaming-Session; je nach Kühlung können Laptop-Temperaturen in den 80er-°C-Bereich steigen. Überwachen Sie Ihre eigenen Temperaturen, halten Sie die Lüftungsöffnungen frei und erwägen Sie ein moderates Undervolting in Radeon Software (Windows) oder CoreCtrl (Linux), falls der Laptop drosselt. Undervolting erfolgt auf eigenes Risiko: Es kann zu Instabilität führen und die Garantie beeinträchtigen.
MCP