Quel est le meilleur outil pour le benchmark des tokens/sec d'un LLM local ?

Meilleur choix : llama-bench

llama-bench est le choix par défaut pour quiconque a besoin d'un chiffre de tokens par seconde reproductible et comparable entre configurations matérielles. Il fait partie du build llama.cpp, s'exécute en ligne de commande et indique deux chiffres distincts pour chaque test : la vitesse de traitement du prompt (la rapidité avec laquelle le modèle lit l'entrée) et la vitesse de génération (la rapidité avec laquelle il produit de nouveaux tokens). Ces deux chiffres se comportent très différemment sous charge, donc un outil qui les confond ne donne pas une image complète.

L'option `--verbose` d'Ollama est l'alternative pratique pour une vérification rapide. La commande `ollama run --verbose` affiche un chiffre de tokens/sec à la fin d'une réponse de chat normale, sans nécessiter de dispositif de benchmark séparé. C'est pratique, mais le chiffre provient d'une seule génération non contrôlée — pas d'une exécution répétée à contexte fixe — il est donc plus bruité et moins adapté pour comparer deux configurations matérielles différentes.

LM Studio et d'autres interfaces de bureau affichent un indicateur de tokens/sec en direct similaire dans leur interface de chat. Utilisez-le pour un contrôle visuel rapide pendant que vous utilisez déjà l'outil, mais ne vous y fiez pas pour une décision d'achat matériel — il n'offre pas les contrôles du nombre d'exécutions ni de la longueur de contexte qui rendent un résultat de benchmark fiable.

Ce qu'il faut rechercher dans un outil de benchmark

Un outil de benchmark fiable pour LLM local maintient constants la longueur de contexte, le niveau de quantification et le contenu du prompt entre les exécutions, et indique la vitesse de traitement du prompt et la vitesse de génération de tokens sous forme de chiffres distincts. Sans ces contrôles, un chiffre de « tokens/sec » issu d'une seule exécution ne renseigne presque rien sur la performance de la même configuration avec un prompt plus long ou une quantification différente.

Utilisez un outil de benchmark si vous comparez des GPU avant un achat, si vous évaluez si un niveau de quantification vaut le compromis de qualité, ou si vous publiez des chiffres de performance. Ignorez le benchmark formel et observez simplement le compteur de tokens/sec en direct si vous voulez juste une impression approximative de l'utilisabilité d'un modèle pour le chat.

À éviter : les chiffres d'une seule exécution rapportés sans longueur de contexte ni niveau de quantification associés — ils ne sont comparables à rien. À éviter : les outils qui ne rapportent qu'un chiffre combiné de tokens/sec, car la vitesse de traitement du prompt et la vitesse de génération évoluent différemment selon la longueur de contexte et le matériel.

Matériel à associer à votre benchmark

Si vous effectuez un benchmark dans le but de décider d'une mise à niveau, exécutez la même commande llama-bench sur votre GPU actuel et sur le GPU candidat avec le même fichier de modèle et la même quantification, puis comparez les deux chiffres de traitement du prompt et de génération côte à côte.

Divulgation : Cet article contient des liens affiliés. Nous pouvons percevoir une commission si vous effectuez un achat via ces liens, sans coût supplémentaire pour vous.