Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.

Q4_K_M ou Q8_0 : lequel choisir ?

Par · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

Q4_K_M et Q8_0 sont deux formats de quantification de llama.cpp : sur Llama 3 8B, Q8_0 est pratiquement identique à f16 en perplexité (+0,02 %), tandis que Q4_K_M ajoute +2,8 % mais tient dans un fichier de 4,58 GiB au lieu de 7,96 GiB (Llama 3.1 8B : 7,95 GiB).

Points clés

  • ✓8 Go de VRAM ou moins : utiliser Q4_K_M — son fichier 8B fait 4,58 GiB, alors que Q8_0 (7,95 GiB) ne tient plus une fois le cache KV ajouté
  • ✓12+ Go de VRAM : Q8_0 vaut le coup pour une sortie proche de f16, mais il est plus lent : 50,93 contre 71,93 tokens/s pour Llama 3.1 8B dans le README de quantize de llama.cpp
  • ✓Pour la plupart des utilisateurs Ollama au quotidien, Q4_K_M est le bon choix
Q4_K_M ou Q8_0 : lequel choisir ?

Réponse rapide

Utilisez Q4_K_M avec 8 Go de VRAM ou moins et Q8_0 avec 12+ Go. Pour Llama 3 8B, Q4_K_M fait 4,58 GiB et Q8_0 7,96 GiB ; Q8_0 reste plus proche de la pleine précision.

  • ▸Q4_K_M : 4,58 GiB pour Llama 3.1 8B, environ 5,1 GiB avec un cache KV de 4k (calculé)
  • ▸Q8_0 : 7,95 GiB pour Llama 3.1 8B, environ 8,5 GiB avec un cache KV de 4k (calculé)
  • ▸Perplexité vs f16 sur Llama 3 8B : Q4_K_M +2,8 %, Q8_0 +0,02 % (llama.cpp, calculé)
Quantization & VRAM

Le verdict rapide

Sur Llama 3 8B, Q8_0 est pratiquement identique à f16 en perplexité, et Q4_K_M ajoute une petite hausse. Le test de perplexité de llama.cpp sur wikitext donne 6,2332 pour f16, 6,2343 pour Q8_0 et 6,4071 pour Q4_K_M sans matrice d'importance : +0,02 % et +2,8 % (calculé ; README perplexity de llama.cpp). La perplexité est un score de modélisation du langage, pas un benchmark de tâches ; elle ne montre donc pas dans quelle mesure une tâche précise de chat, de code ou de résumé change.

Q4_K_M est le choix par défaut courant car le fichier de Llama 3.1 8B fait 4,58 GiB au lieu de 7,95 GiB et reste proche de f16 sur ce test. Choisissez Q8_0 quand la mémoire n'est pas la limite. Nous n'avons pas mesuré nous-mêmes la qualité par tâche ; si une tâche compte pour vous, essayez les deux quantisations dessus.

Si vos résultats paraissent mauvais avec Q4_K_M, la taille du modèle et la structure du prompt sont une première piste probable : l'écart de perplexité mesuré par llama.cpp avec f16 est faible.

Comparaison côte à côte

Le tableau utilise les tailles de fichier de Llama 3.1 8B du README de quantize de llama.cpp, un cache KV calculé (32 couches, 8 têtes clé-valeur, dimension de tête 128, f16 : 0,5 GiB pour 4 096 tokens) et la perplexité de Llama 3 8B du README perplexity de llama.cpp. Les deux formats fonctionnent avec Ollama, LM Studio et llama.cpp sans configuration particulière.

Pour comprendre Q4_K_M et la compression k-quant, voir le guide explicatif Q4_K_M. Pour la référence complète, voir les niveaux de quantisation comparés.

Aucune des sources ci-dessus ne teste le rappel sur de longs documents, les mathématiques multi-étapes ou la génération de long code ; cette page n'affirme donc rien à ce sujet. Q8_0 a une perplexité plus basse que Q4_K_M ; si vous avez la mémoire, c'est le choix le moins risqué selon cette mesure. Testez les deux pour les tâches où les petites erreurs comptent. Pour un rappel, voir ce que signifie Q4_K_M.

MétriqueQ4_K_MQ8_0
Taille du fichier (Llama 3.1 8B)4,58 GiB7,95 GiB
VRAM avec cache KV 4k (calculé, hors surcoût d'exécution)~5,1 GiB~8,5 GiB
Perplexité, Llama 3 8B (f16 : 6,23)6,41 (+2,8 %)6,23 (+0,02 %)
Tokens/s, Llama 3.1 8B (README)71,9350,93
Idéal pour6–8 Go de VRAM12+ Go de VRAM

Réponses rapides sur Q4_K_M vs Q8_0

Q8_0 est-il sensiblement meilleur que Q4_K_M ?▾
Peut-être, mais ces sources ne montrent pas où. Q8_0 a moins d'erreur de quantisation : +0,02 % de perplexité vs f16 sur Llama 3 8B, contre +2,8 % pour Q4_K_M (llama.cpp, calculé). La perplexité ne mesure pas directement la qualité en chat, code ou résumé ; testez donc les deux sur votre propre tâche.
Q8_0 est-il plus rapide que Q4_K_M ?▾
Non. Q8_0 est plus lourd et demande plus de bande passante mémoire par token. Le README de quantize de llama.cpp indique 71,93 tokens/s pour Q4_K_M et 50,93 tokens/s pour Q8_0 sur Llama 3.1 8B (la vitesse dépend du matériel). Voir ce que signifie Q4_K_M pour la raison de fond.
Puis-je alterner entre Q4_K_M et Q8_0 selon les tâches ?▾
Seulement en téléchargeant et exécutant des tags de modèle différents. Dans Ollama : ollama pull llama3:8b-instruct-q4_K_M et ollama pull llama3:8b-instruct-q8_0 sont des téléchargements séparés. Vous basculez en spécifiant le tag dans ollama run.
Et Q4_K_S — vaut-il mieux l'utiliser à la place de Q4_K_M ?▾
Q4_K_S est plus petit de 0,22 GiB que Q4_K_M (4,36 contre 4,58 GiB pour Llama 3.1 8B) et a une perplexité plus élevée (6,50 contre 6,41 sur Llama 3 8B sans matrice d'importance). N'utilisez Q4_K_S que si Q4_K_M ne tient pas ; sinon Q4_K_M est le meilleur choix.
MCP