Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.

Qu'est-ce que la quantisation Q4_K_M ?

Par · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

Q4_K_M est un format k-quant de llama.cpp : une quantisation 4 bits avec un mélange de types de tenseurs de taille moyenne. Sur Llama 3 8B, il atteint une perplexité de 6,41 contre 6,70 pour Q4_0, avec un fichier plus grand de 0,24 GiB.

Points clés

  • ✓Q4_K_M = quantisation 4 bits avec compression k-quant à qualité moyenne — perplexité plus basse que Q4_0 pour un fichier un peu plus grand
  • ✓Llama 3.1 8B en Q4_K_M fait 4,58 GiB sur disque ; avec un cache KV de 4k tokens (environ 0,5 GiB, calculé), il faut environ 5,1 GiB de VRAM hors surcoût d'exécution
  • ✓Utilisez Q4_K_M par défaut — dans le test Llama 3 8B, il ajoute moins de 3 % de perplexité par rapport à f16 pour environ 58 % de la taille de Q8_0
Qu'est-ce que la quantisation Q4_K_M ?

Réponse rapide

Q4_K_M signifie quantisation 4 bits avec compression k-quant à qualité moyenne. Perplexité plus basse que Q4_0, plus petite que Q8_0. À utiliser comme standard.

  • ▸Q = quantisé, 4 = 4 bits, K = k-quant, M = moyen
  • ▸Perplexité plus basse que Q4_0 (6,41 contre 6,70 sur Llama 3 8B) pour un fichier plus grand de 0,24 GiB
  • ▸Utiliser Q4_K_M comme quantisation par défaut
Quantization & VRAM

Ce que signifie chaque lettre de Q4_K_M

Q4_K_M existe parce que l'ancien format 4 bits Q4_0 perd plus de qualité que nécessaire. Sur Llama 3 8B, le test de perplexité de llama.cpp donne 6,41 pour Q4_K_M et 6,70 pour Q4_0 (plus bas est meilleur ; f16 : 6,23), pour un fichier plus grand de 0,24 GiB (4,58 contre 4,34 GiB). Source : README perplexity de llama.cpp.

Le « K » désigne la famille k-quant introduite dans la pull request #1684 de llama.cpp. Q4_K_M mélange deux types de tenseurs : du Q6_K 6 bits pour la moitié des tenseurs attention.wv et feed_forward.w2 ainsi que pour output.weight, et du Q4_K 4 bits pour les autres tenseurs. Sur Llama 3.1 8B, cela donne en moyenne 4,89 bits par poids (README de quantize de llama.cpp), au-dessus des 4 nominaux.

Le « M » est la variante de taille dans la famille. Q4_K_S (small) utilise Q4_K pour tous les tenseurs : 4,36 GiB contre 4,58 GiB pour Q4_K_M sur Llama 3.1 8B, avec une perplexité plus élevée (6,50 contre 6,41 sur Llama 3 8B sans matrice d'importance). Q5_K_M est l'étape suivante à 5,33 GiB.

K-quant travaille sur des blocs de poids. Q4_K regroupe 32 poids en un bloc et 8 blocs en un super-bloc, et stocke échelles et minimums de bloc sur 6 bits, soit 4,5 bits par poids (pull request #1684). Q4_K_M atteint 4,89 à cause de ses tenseurs Q6_K, d'où sa place entre Q4_K_S (4,67) et Q5_K_M (5,70) en taille. Quand le niveau M ne suffit pas, voir Q4_K_M vs Q8_0.

Comment Q4_K_M se compare aux autres quantisations

Le tableau reprend le test de perplexité de llama.cpp sur Llama 3 8B (wikitext, sans matrice d'importance ; plus bas est meilleur). Les pourcentages sont calculés par rapport à f16 (6,2332). Q4_K_M ajoute moins de 3 % de perplexité pour 4,58 GiB, environ 58 % de la taille de Q8_0 (calculé : 4,58 / 7,96).

Pour une comparaison directe Q4_K_M vs Q8_0, voir le guide de décision Q4_K_M vs Q8_0. Pour la référence complète des quantisations, voir la comparaison des niveaux de quantisation.

FormatTaille, Llama 3 8B (GiB)Perplexité (écart vs f16)
Q4_04,346,70 (+7,5 %)
Q4_K_M4,586,41 (+2,8 %)
Q5_K_M5,336,29 (+0,9 %)
Q8_07,966,23 (+0,02 %)

Réponses rapides sur la quantisation

Q4_K_M est-il identique à Q4_0 ?▾
Non. Sur Llama 3 8B, Q4_K_M atteint une perplexité de 6,41 contre 6,70 pour Q4_0, pour un fichier plus grand de 0,24 GiB (4,58 contre 4,34 GiB ; llama.cpp, sans matrice d'importance). Préférez Q4_K_M à Q4_0. Voir le guide Q4_K_M vs Q8_0 pour savoir quand monter en gamme.
Quelle quantisation utiliser avec 8 Go de VRAM ?▾
Q4_K_M pour les modèles 8B : le fichier de Llama 3.1 8B fait 4,58 GiB, soit environ 5,1 GiB avec un cache KV de 4k tokens (calculé, hors surcoût d'exécution). Q5_K_M fait 5,33 GiB, environ 5,8 GiB avec le même cache (calculé), et réduit la hausse de perplexité par rapport à f16 de +2,8 % à +0,9 % sur Llama 3 8B. Avec un contexte de 4k, les deux tiennent dans 8 Go avant le surcoût d'exécution ; Q8_0 (fichier de 7,95 GiB) non.
Que signifie le "M" dans Q4_K_M ?▾
Medium (moyen) — la variante de taille dans la famille k-quant. Q4_K_S (small) est plus petit (4,36 GiB contre 4,58 GiB sur Llama 3.1 8B) avec une perplexité plus élevée, Q4_K_M (medium) est le standard habituel. L'outil quantize de llama.cpp n'a pas de type Q4_K_L ; l'étape suivante est Q5_K_M.
Quels modèles sur Ollama utilisent Q4_K_M par défaut ?▾
Plusieurs. Pour Llama 3.1 8B, Qwen3 8B, Mistral 7B et Phi-4 mini, le tag par défaut de la bibliothèque Ollama partage son empreinte (digest) avec un tag dont le nom contient q4_K_M (pour Mistral 7B : le tag v0.3) (vérifié le 2026-11-06) ; les pages de la bibliothèque n'indiquent pas la quantisation par défaut et d'autres modèles peuvent différer, consultez donc la liste des tags du modèle. Les autres quantisations sont des tags distincts dont le nom varie selon le modèle, par exemple llama3.1:8b-instruct-q5_K_M ou llama3.1:8b-instruct-q8_0.
MCP