Q4_K_M ou Q8_0 : lequel choisir ?
Par Hans Kuepper · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source
Q4_K_M et Q8_0 sont deux formats de quantification de llama.cpp : sur Llama 3 8B, Q8_0 est pratiquement identique à f16 en perplexité (+0,02 %), tandis que Q4_K_M ajoute +2,8 % mais tient dans un fichier de 4,58 GiB au lieu de 7,96 GiB (Llama 3.1 8B : 7,95 GiB).
Points clés
- ✓8 Go de VRAM ou moins : utiliser Q4_K_M — son fichier 8B fait 4,58 GiB, alors que Q8_0 (7,95 GiB) ne tient plus une fois le cache KV ajouté
- ✓12+ Go de VRAM : Q8_0 vaut le coup pour une sortie proche de f16, mais il est plus lent : 50,93 contre 71,93 tokens/s pour Llama 3.1 8B dans le README de quantize de llama.cpp
- ✓Pour la plupart des utilisateurs Ollama au quotidien, Q4_K_M est le bon choix

Réponse rapide
Utilisez Q4_K_M avec 8 Go de VRAM ou moins et Q8_0 avec 12+ Go. Pour Llama 3 8B, Q4_K_M fait 4,58 GiB et Q8_0 7,96 GiB ; Q8_0 reste plus proche de la pleine précision.
- ▸Q4_K_M : 4,58 GiB pour Llama 3.1 8B, environ 5,1 GiB avec un cache KV de 4k (calculé)
- ▸Q8_0 : 7,95 GiB pour Llama 3.1 8B, environ 8,5 GiB avec un cache KV de 4k (calculé)
- ▸Perplexité vs f16 sur Llama 3 8B : Q4_K_M +2,8 %, Q8_0 +0,02 % (llama.cpp, calculé)
Le verdict rapide
Sur Llama 3 8B, Q8_0 est pratiquement identique à f16 en perplexité, et Q4_K_M ajoute une petite hausse. Le test de perplexité de llama.cpp sur wikitext donne 6,2332 pour f16, 6,2343 pour Q8_0 et 6,4071 pour Q4_K_M sans matrice d'importance : +0,02 % et +2,8 % (calculé ; README perplexity de llama.cpp). La perplexité est un score de modélisation du langage, pas un benchmark de tâches ; elle ne montre donc pas dans quelle mesure une tâche précise de chat, de code ou de résumé change.
Q4_K_M est le choix par défaut courant car le fichier de Llama 3.1 8B fait 4,58 GiB au lieu de 7,95 GiB et reste proche de f16 sur ce test. Choisissez Q8_0 quand la mémoire n'est pas la limite. Nous n'avons pas mesuré nous-mêmes la qualité par tâche ; si une tâche compte pour vous, essayez les deux quantisations dessus.
Si vos résultats paraissent mauvais avec Q4_K_M, la taille du modèle et la structure du prompt sont une première piste probable : l'écart de perplexité mesuré par llama.cpp avec f16 est faible.
Comparaison côte à côte
Le tableau utilise les tailles de fichier de Llama 3.1 8B du README de quantize de llama.cpp, un cache KV calculé (32 couches, 8 têtes clé-valeur, dimension de tête 128, f16 : 0,5 GiB pour 4 096 tokens) et la perplexité de Llama 3 8B du README perplexity de llama.cpp. Les deux formats fonctionnent avec Ollama, LM Studio et llama.cpp sans configuration particulière.
Pour comprendre Q4_K_M et la compression k-quant, voir le guide explicatif Q4_K_M. Pour la référence complète, voir les niveaux de quantisation comparés.
Aucune des sources ci-dessus ne teste le rappel sur de longs documents, les mathématiques multi-étapes ou la génération de long code ; cette page n'affirme donc rien à ce sujet. Q8_0 a une perplexité plus basse que Q4_K_M ; si vous avez la mémoire, c'est le choix le moins risqué selon cette mesure. Testez les deux pour les tâches où les petites erreurs comptent. Pour un rappel, voir ce que signifie Q4_K_M.
| Métrique | Q4_K_M | Q8_0 |
|---|---|---|
| Taille du fichier (Llama 3.1 8B) | 4,58 GiB | 7,95 GiB |
| VRAM avec cache KV 4k (calculé, hors surcoût d'exécution) | ~5,1 GiB | ~8,5 GiB |
| Perplexité, Llama 3 8B (f16 : 6,23) | 6,41 (+2,8 %) | 6,23 (+0,02 %) |
| Tokens/s, Llama 3.1 8B (README) | 71,93 | 50,93 |
| Idéal pour | 6–8 Go de VRAM | 12+ Go de VRAM |
Réponses rapides sur Q4_K_M vs Q8_0
Q8_0 est-il sensiblement meilleur que Q4_K_M ?▾
Q8_0 est-il plus rapide que Q4_K_M ?▾
Puis-je alterner entre Q4_K_M et Q8_0 selon les tâches ?▾
ollama pull llama3:8b-instruct-q4_K_M et ollama pull llama3:8b-instruct-q8_0 sont des téléchargements séparés. Vous basculez en spécifiant le tag dans ollama run.