Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.

Meilleur LLM local pour coder avec AMD 5700X + RTX 3070 Ti ?

Par · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

Points clés

  • ✓Qwen3 8B (5,2 Go) est le meilleur modèle unique pour coder sur une RTX 3070 Ti de 8 Go ; Qwen2.5-Coder 7B (4,7 Go) convient à l'autocomplétion. Les deux tiennent en VRAM
  • ✓Les modèles de code 14B (qwen2.5-coder:14b pèse 9,0 Go, qwen3:14b 9,3 Go) dépassent 8 Go et ne tournent qu'avec offload CPU partiel, ce qui ralentit fortement la génération
  • ✓Qwen3-Coder 30B est un téléchargement de 19 Go (mixture-of-experts) ; avec 8 Go de VRAM, l'essentiel reste en RAM système : une expérience avec 32 Go de RAM, pas un modèle du quotidien
  • ✓Le Ryzen 7 5700X n'est pas la limite ici : c'est la VRAM. Gardez un contexte de 8K à 16K tokens et restez en Q4 ou plus pour le code
Meilleur LLM local pour coder avec AMD 5700X + RTX 3070 Ti ?

Réponse rapide

Avec une RTX 3070 Ti de 8 Go de VRAM, utilisez Qwen3 8B (qwen3:8b, 5,2 Go à télécharger) pour le chat de code et les explications, et Qwen2.5-Coder 7B (qwen2.5-coder:7b, 4,7 Go) pour l'autocomplétion dans l'éditeur. Les deux tiennent entièrement en VRAM. Le Ryzen 7 5700X n'est pas le goulot d'étranglement : ce sont les 8 Go de VRAM, donc les modèles de code 14B (environ 9 Go) ne tiennent pas entièrement sur le GPU.

  • ▸Qwen3 8B : 5,2 Go à télécharger, contexte 40K, meilleur modèle unique pour le chat de code avec 8 Go
  • ▸Qwen2.5-Coder 7B : 4,7 Go, entraîné pour l'autocomplétion fill-in-the-middle
  • ▸Les modèles de code 14B et Qwen3-Coder 30B exigent un offload CPU sur cette carte et sont bien plus lents
Hardware-Specific

Qwen3 8B et Qwen2.5-Coder 7B tiennent sur une carte de 8 Go

Pour coder sur une RTX 3070 Ti (8 Go), utilisez Qwen3 8B pour le chat, les explications et le refactoring, et Qwen2.5-Coder 7B pour l'autocomplétion en ligne. Les deux sont sur Ollama en quantification Q4 par défaut : qwen3:8b pèse 5,2 Go avec 40K de contexte, qwen2.5-coder:7b 4,7 Go avec 32K. Il reste environ 2 à 3 Go pour le cache KV et le bureau.

Qwen2.5-Coder est entraîné au fill-in-the-middle (FIM), le mode de complétion que des extensions comme Continue utilisent pour l'autocomplétion par tabulation. Qwen3 8B raisonne mieux en général et propose un mode réflexion désactivable avec /no_think pour des réponses plus rapides. Si vous ne voulez qu'un modèle, commencez par Qwen3 8B. Tailles et contextes sont ceux d'ollama.com ; nous n'avons pas mesuré cette configuration, donc aucune vitesse n'est annoncée.

Pour les GPU plus grands et plus de modèles, voir le guide meilleurs LLM locaux pour coder.

ModèleTag OllamaTéléchargementTient dans 8 Go ?Idéal pour
Qwen3 8Bqwen3:8b5,2 GoOui, entièrement en VRAMChat, explications, refactoring
Qwen2.5-Coder 7Bqwen2.5-coder:7b4,7 GoOui, entièrement en VRAMAutocomplétion dans l'éditeur (FIM)
Qwen2.5-Coder 1.5Bqwen2.5-coder:1.5b986 MoOui, avec de la margeAutocomplétion légère à côté d'un modèle de chat
Qwen2.5-Coder 14Bqwen2.5-coder:14b9,0 GoNon, offload CPU requisModèle de code plus grand, avec offload
Qwen3-Coder 30Bqwen3-coder:30b19 GoNon, surtout en RAM systèmeCodage agentique à partir de 32 Go de RAM, lent

Ce qui ne tient pas : 14B, 30B et long contexte

Un modèle doit tenir en VRAM avec son cache KV, et 8 Go se remplissent plus vite que la taille du téléchargement ne le laisse croire. Quand des couches passent en RAM système, Ollama fonctionne encore, mais la génération chute car la DDR4 est bien plus lente que les 608 Go/s de GDDR6X de la carte. Les 8 cœurs Zen 3 du 5700X gèrent mieux l'offload qu'un CPU à 4 cœurs, mais c'est un pis-aller, pas un plan.

Qwen3-Coder 30B est listé chez Ollama à 19 Go avec 256K de contexte. C'est un modèle mixture-of-experts à environ 3B de paramètres actifs : il peut tourner avec la plupart des poids en RAM système, mais sur une carte de 8 Go c'est là que se trouve l'essentiel. Attendez-vous à des réponses lentes en usage agentique avec seulement 8 Go de VRAM ; les résultats varient selon la RAM et les réglages. Voyez-y une expérience avec 32 Go de RAM.

Un long contexte fait grossir le cache KV. Gardez 8K à 16K tokens sur cette carte et n'augmentez que si nvidia-smi montre de la VRAM libre. Pour le code, restez en Q4 ou plus ; Q3 et en dessous peut introduire des erreurs de syntaxe subtiles.

Configurer chat et autocomplétion dans VS Code

Installez Ollama, téléchargez les deux modèles, puis pointez une extension comme Continue vers http://localhost:11434 : qwen3:8b pour le chat, qwen2.5-coder:7b pour l'autocomplétion. Lancez ollama ps et regardez la colonne PROCESSOR. 100% GPU signifie que le modèle tient ; une répartition CPU/GPU signifie que modèle et contexte dépassent 8 Go. Sur cette carte, Ollama peut décharger un modèle 7B à 8B pour charger l'autre ; pour l'autocomplétion à côté du chat, prenez plutôt qwen2.5-coder:1.5b (986 Mo).

ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama ps

Changer de GPU, pas de CPU

Pour des modèles de code 14B à pleine vitesse, le GPU est la cible de mise à niveau. Une carte de 12 Go comme la RTX 3060 12 Go ou la RTX 4070 exécute entièrement en VRAM un modèle Q4 d'environ 9 Go comme qwen2.5-coder:14b. Voir meilleur LLM de code pour 12 Go de VRAM et meilleur modèle 14B pour coder.

Le 5800X3D est la meilleure mise à niveau CPU AM4, mais son 3D V-Cache profite au jeu et aux tâches limitées par le CPU ; l'inférence sur GPU est limitée par la bande passante de la VRAM, et le 5700X n'est pas la limite.

Le guide d'achat GPU complet : meilleurs GPU pour LLM locaux.

Réponses rapides sur les LLM de code pour AMD 5700X + RTX 3070 Ti

Quels modèles LLM pour coder utiliser en local avec un AMD 5700X et une RTX 3070 Ti ?▾
Qwen3 8B (qwen3:8b, 5,2 Go) pour le chat et les explications et Qwen2.5-Coder 7B (qwen2.5-coder:7b, 4,7 Go) pour l'autocomplétion. Les deux tiennent entièrement dans les 8 Go de VRAM de la 3070 Ti.
Puis-je exécuter un modèle de code 14B sur une RTX 3070 Ti 8 Go ?▾
Pas entièrement sur le GPU : qwen2.5-coder:14b pèse 9,0 Go, au-delà de la limite de 8 Go. Avec offload CPU partiel il tourne, mais bien plus lentement. Une carte de 12 Go l'exécute entièrement en VRAM.
Le Ryzen 7 5700X est-il un goulot d'étranglement pour les LLM locaux ?▾
Non. Quand le modèle tient en VRAM, le GPU fixe la vitesse de génération. Le CPU n'intervient que pour les couches déchargées en RAM système.
Une RTX 3070 Ti peut-elle exécuter Qwen3-Coder 30B ?▾
Seulement avec l'essentiel des 19 Go en RAM système. C'est un modèle mixture-of-experts à environ 3B de paramètres actifs : il démarre, mais les réponses sont lentes en usage agentique. Prévoyez 32 Go de RAM et voyez-y une expérience.
Quel modèle pour l'autocomplétion et lequel pour le chat ?▾
Qwen2.5-Coder 7B (ou la version 1.5B) pour l'autocomplétion par tabulation, car il est entraîné au fill-in-the-middle, et Qwen3 8B pour le chat, les explications et le refactoring.
La vitesse de la RAM compte-t-elle pour l'offload CPU ?▾
Oui, comme facteur secondaire. Une DDR4 plus rapide augmente le débit des couches en RAM, mais le GPU reste la contrainte principale pour les couches qui tiennent en VRAM.
MCP