GGUF vs GPTQ vs AWQ : quel format de quantification utiliser ?
Réponse rapide
Utilisez GGUF pour un usage local via Ollama ou llama.cpp — il fonctionne sur CPU et GPU sans exigence supplémentaire. Préférez AWQ à GPTQ pour un déploiement en production avec vLLM ou TGI, car il conserve une meilleure qualité à largeur de bits égale.
- ▸GGUF : le format natif de llama.cpp — inférence hybride CPU+GPU, format par défaut d'Ollama et LM Studio.
- ▸GPTQ : GPU uniquement, quantification post-entraînement basée sur un calibrage — un des premiers standards pour un déploiement 4-bit efficace.
- ▸AWQ (Activation-aware Weight Quantization) : GPU uniquement, généralement meilleur rapport qualité/bit que GPTQ, courant dans les déploiements de production vLLM/TGI.
Mis à jour : 2026-07
Points clés
- ✓GGUF : le bon choix par défaut pour un usage local — fonctionne sur CPU et GPU via llama.cpp/Ollama, sans exigence CUDA exclusive
- ✓GPTQ : GPU uniquement, un des premiers standards pour le déploiement 4-bit, toujours pris en charge par ExLlama et vLLM
- ✓AWQ : GPU uniquement, conserve généralement une meilleure qualité que GPTQ à largeur de bits égale — préféré pour le déploiement en production
- ✓Si vous utilisez Ollama ou LM Studio en local, c'est presque toujours GGUF qu'il vous faut, pas GPTQ ni AWQ
Meilleur choix : GGUF en local, AWQ pour la production
GGUF est le format de quantification adapté à presque tous ceux qui exécutent des modèles en local via Ollama, LM Studio ou llama.cpp directement — il prend en charge l'inférence CPU et GPU à partir du même fichier, y compris le déchargement CPU partiel lorsqu'un modèle ne tient pas entièrement en VRAM. Cette flexibilité explique pourquoi GGUF est devenu le format standard des outils grand public pour LLM en local : il fonctionne que vous disposiez d'un GPU puissant, modeste, ou d'aucun GPU du tout.
GPTQ a été l'une des premières méthodes de quantification 4-bit largement adoptées pour une inférence GPU efficace. Elle utilise un jeu de données de calibrage pour minimiser la perte de qualité lors de la quantification post-entraînement, mais elle est GPU uniquement — sans réel repli CPU — et a généralement été dépassée en rapport qualité/bit par des méthodes plus récentes.
AWQ (Activation-aware Weight Quantization) est l'alternative GPU uniquement plus moderne à GPTQ. En protégeant les poids les plus importants pour l'amplitude d'activation plutôt qu'en quantifiant tout de manière uniforme, AWQ préserve généralement davantage de qualité à largeur de bits égale. C'est un choix courant pour les piles de déploiement en production comme vLLM et TGI, où le fonctionnement GPU uniquement est déjà acquis.
GGUF vs GPTQ vs AWQ en un coup d'œil
Choisissez GGUF si vous utilisez Ollama, LM Studio ou llama.cpp en local — c'est le seul des trois à offrir un vrai support CPU et une flexibilité de déchargement partiel. Choisissez GPTQ uniquement si vous travaillez avec un pipeline ou un outil existant (comme d'anciennes configurations ExLlama) qui l'exige spécifiquement. Choisissez AWQ si vous déployez sur une pile de production GPU (vLLM, TGI) et souhaitez le meilleur rapport qualité/bit parmi les options GPU uniquement.
Les trois formats représentent le même modèle sous-jacent à précision réduite — le format détermine quels outils peuvent le charger et la manière dont il gère les manques de mémoire GPU, pas les capacités intrinsèques du modèle.
Lectures complémentaires
- ▸Qu'est-ce que la quantification Q4_K_M ? — le niveau de quantification le plus courant de GGUF expliqué
- ▸Q4_K_M vs Q8_0 — choisir un niveau de quantification GGUF
- ▸Ollama vs vLLM vs TGI — quel outil de déploiement correspond à quel format