PromptQuorumPromptQuorum

Peut-on faire tourner des LLMs locaux sur une Radeon RX 6800M ?

Réponse rapide

Oui. La Radeon RX 6800M dispose de 12 Go de VRAM GDDR6 et peut faire tourner des LLMs locaux. Sur Linux, utilisez ROCm pour l'accélération GPU. Sur Windows, utilisez llama.cpp avec Vulkan ou en fallback CPU. Llama 3 8B Q4_K_M tourne à ~12 tok/s sur Linux avec ROCm.

  • ▸Linux + ROCm : accélération GPU complète, ~12 tok/s sur Llama 3 8B Q4
  • ▸Windows : llama.cpp avec backend Vulkan pour déchargement GPU partiel
  • ▸12 Go de VRAM supporte les modèles jusqu'à 14B en Q4_K_M

Mis à jour : 2026-05

Hardware-Specific

Points clés

  • ✓Radeon RX 6800M dispose de 12 Go de VRAM GDDR6 — le plus grand VRAM d'un GPU AMD mobile de sa génération
  • ✓Linux + ROCm offre une accélération GPU complète : Llama 3 8B Q4_K_M tourne à ~12 tok/s
  • ✓Le support ROCm Windows pour la 6800M est limité — utilisez llama.cpp avec le backend Vulkan
  • ✓12 Go de VRAM supporte les modèles jusqu'à 14B en Q4_K_M pour des tâches de codage sérieuses

Capacité VRAM et support plateforme de la Radeon RX 6800M

La Radeon RX 6800M est un GPU mobile avec 12 Go de VRAM GDDR6 — suffisant pour faire tourner des modèles jusqu'à 14B paramètres en quantisation Q4_K_M sans déchargement de couches. C'est le plus grand pool VRAM de tous les GPU AMD mobiles de sa génération.

Le support logiciel est la contrainte principale. Sur Linux, ROCm fournit une accélération GPU OpenCL/HIP complète et Ollama détecte la 6800M automatiquement. Exécutez ollama pull llama3:8b puis ollama run llama3:8b. Le débit mesuré sur Llama 3 8B Q4_K_M est d'environ 12 tok/s.

Sur Windows, AMD ROCm ne supporte pas la 6800M dans sa pile de pilotes grand public (mi-2026). La solution pratique est llama.cpp compilé avec Vulkan, qui décharge les couches de calcul sur le GPU et atteint une accélération partielle. Attendez 6 à 8 tok/s sur Llama 3 8B Q4_K_M via Vulkan.

PlateformeBackendVitesse Llama 3 8B Q4
LinuxROCm (Ollama)~12 tok/s
WindowsVulkan (llama.cpp)~6–8 tok/s
Windows/LinuxCPU uniquement~3–5 tok/s

Sélection de modèles pour 12 Go de VRAM

12 Go de VRAM représente une vraie amélioration par rapport aux cartes 8 Go. Vous pouvez faire tourner des modèles 13B en Q4_K_M (~8,5 Go) et même des modèles 14B en Q4 sans atteindre le plafond. Cela ouvre la voie à des modèles comme Mistral Nemo 12B qui tiennent exactement dans 12 Go.

Pour les tâches de codage, DeepSeek Coder 6,7B en Q4_K_M n'utilise que ~5 Go de VRAM et tourne près de 20 tok/s sur la 6800M sous Linux. Cela laisse une capacité substantielle pour des fenêtres de contexte plus larges. Avec 12 Go, vous avez aussi de la place pour des contextes plus longs sans éviction du cache KV.

Pour une comparaison des cartes 12 Go VRAM chez NVIDIA et AMD et les modèles qu'elles supportent, consultez le guide des meilleures GPU pour LLMs locaux.

Réponses rapides sur Radeon 6800M et LLMs locaux

Ollama fonctionne-t-il sur Radeon RX 6800M sous Linux ?▾
Oui. Ollama supporte ROCm sur Linux et détecte automatiquement les GPU AMD. La 6800M est reconnue comme appareil RDNA 2. Exécutez ollama pull llama3:8b puis ollama run llama3:8b. Vérifiez l'utilisation GPU avec rocm-smi pendant l'exécution du modèle.
Puis-je utiliser la Radeon RX 6800M pour des LLMs locaux sur Windows ?▾
ROCm ne supporte pas la 6800M sur Windows (mi-2026). Utilisez plutôt llama.cpp compilé avec Vulkan. Téléchargez un binaire Vulkan précompilé depuis la page des releases llama.cpp et chargez votre modèle GGUF avec -ngl 33 pour décharger les couches sur le GPU.
Quel est le plus grand modèle qui tient dans 12 Go de VRAM ?▾
En Q4_K_M, les modèles 13B utilisent environ 8,5 Go et les modèles 14B environ 9 Go — les deux tiennent dans 12 Go. Vous pouvez aussi faire tourner un modèle 7B en Q8 (~8 Go) pour une meilleure qualité. Les modèles 20B+ nécessitent Q3 ou moins.
La Radeon RX 6800M est-elle bonne pour l'inférence LLM locale par rapport à NVIDIA ?▾
À VRAM égale, les GPU NVIDIA surpassent généralement AMD sur Windows grâce à une meilleure intégration CUDA/llama.cpp. Sur Linux, l'écart se réduit avec ROCm. L'avantage VRAM de la 6800M (12 Go vs 8 Go) compense souvent le surcoût logiciel.
← Retour aux Prompt Bites