Qu'est-ce que la quantisation Q4_K_M ?
Par Hans Kuepper · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source
Q4_K_M est un format k-quant de llama.cpp : une quantisation 4 bits avec un mélange de types de tenseurs de taille moyenne. Sur Llama 3 8B, il atteint une perplexité de 6,41 contre 6,70 pour Q4_0, avec un fichier plus grand de 0,24 GiB.
Points clés
- ✓Q4_K_M = quantisation 4 bits avec compression k-quant à qualité moyenne — perplexité plus basse que Q4_0 pour un fichier un peu plus grand
- ✓Llama 3.1 8B en Q4_K_M fait 4,58 GiB sur disque ; avec un cache KV de 4k tokens (environ 0,5 GiB, calculé), il faut environ 5,1 GiB de VRAM hors surcoût d'exécution
- ✓Utilisez Q4_K_M par défaut — dans le test Llama 3 8B, il ajoute moins de 3 % de perplexité par rapport à f16 pour environ 58 % de la taille de Q8_0

Réponse rapide
Q4_K_M signifie quantisation 4 bits avec compression k-quant à qualité moyenne. Perplexité plus basse que Q4_0, plus petite que Q8_0. À utiliser comme standard.
- ▸Q = quantisé, 4 = 4 bits, K = k-quant, M = moyen
- ▸Perplexité plus basse que Q4_0 (6,41 contre 6,70 sur Llama 3 8B) pour un fichier plus grand de 0,24 GiB
- ▸Utiliser Q4_K_M comme quantisation par défaut
Ce que signifie chaque lettre de Q4_K_M
Q4_K_M existe parce que l'ancien format 4 bits Q4_0 perd plus de qualité que nécessaire. Sur Llama 3 8B, le test de perplexité de llama.cpp donne 6,41 pour Q4_K_M et 6,70 pour Q4_0 (plus bas est meilleur ; f16 : 6,23), pour un fichier plus grand de 0,24 GiB (4,58 contre 4,34 GiB). Source : README perplexity de llama.cpp.
Le « K » désigne la famille k-quant introduite dans la pull request #1684 de llama.cpp. Q4_K_M mélange deux types de tenseurs : du Q6_K 6 bits pour la moitié des tenseurs attention.wv et feed_forward.w2 ainsi que pour output.weight, et du Q4_K 4 bits pour les autres tenseurs. Sur Llama 3.1 8B, cela donne en moyenne 4,89 bits par poids (README de quantize de llama.cpp), au-dessus des 4 nominaux.
Le « M » est la variante de taille dans la famille. Q4_K_S (small) utilise Q4_K pour tous les tenseurs : 4,36 GiB contre 4,58 GiB pour Q4_K_M sur Llama 3.1 8B, avec une perplexité plus élevée (6,50 contre 6,41 sur Llama 3 8B sans matrice d'importance). Q5_K_M est l'étape suivante à 5,33 GiB.
K-quant travaille sur des blocs de poids. Q4_K regroupe 32 poids en un bloc et 8 blocs en un super-bloc, et stocke échelles et minimums de bloc sur 6 bits, soit 4,5 bits par poids (pull request #1684). Q4_K_M atteint 4,89 à cause de ses tenseurs Q6_K, d'où sa place entre Q4_K_S (4,67) et Q5_K_M (5,70) en taille. Quand le niveau M ne suffit pas, voir Q4_K_M vs Q8_0.
Comment Q4_K_M se compare aux autres quantisations
Le tableau reprend le test de perplexité de llama.cpp sur Llama 3 8B (wikitext, sans matrice d'importance ; plus bas est meilleur). Les pourcentages sont calculés par rapport à f16 (6,2332). Q4_K_M ajoute moins de 3 % de perplexité pour 4,58 GiB, environ 58 % de la taille de Q8_0 (calculé : 4,58 / 7,96).
Pour une comparaison directe Q4_K_M vs Q8_0, voir le guide de décision Q4_K_M vs Q8_0. Pour la référence complète des quantisations, voir la comparaison des niveaux de quantisation.
| Format | Taille, Llama 3 8B (GiB) | Perplexité (écart vs f16) |
|---|---|---|
| Q4_0 | 4,34 | 6,70 (+7,5 %) |
| Q4_K_M | 4,58 | 6,41 (+2,8 %) |
| Q5_K_M | 5,33 | 6,29 (+0,9 %) |
| Q8_0 | 7,96 | 6,23 (+0,02 %) |
Réponses rapides sur la quantisation
Q4_K_M est-il identique à Q4_0 ?▾
Quelle quantisation utiliser avec 8 Go de VRAM ?▾
Que signifie le "M" dans Q4_K_M ?▾
Quels modèles sur Ollama utilisent Q4_K_M par défaut ?▾
llama3.1:8b-instruct-q5_K_M ou llama3.1:8b-instruct-q8_0.