¿Cuál es la mejor herramienta para medir tokens/seg en un LLM local?

Mejor opción: llama-bench

llama-bench es la opción por defecto correcta para quien necesite una cifra de tokens por segundo repetible y comparable entre hardwares. Se incluye como parte del build de llama.cpp, se ejecuta desde la línea de comandos y reporta dos cifras separadas en cada prueba: velocidad de procesamiento del prompt (qué tan rápido lee el modelo la entrada) y velocidad de generación (qué tan rápido produce nuevos tokens). Estas dos cifras se comportan de forma muy distinta bajo carga, así que una herramienta que las combina no te da el panorama completo.

La opción `--verbose` de Ollama es la alternativa práctica para una comprobación rápida. Ejecutar `ollama run --verbose` imprime una cifra de tokens/seg al final de una respuesta de chat normal, sin necesitar un arnés de benchmark aparte. Es conveniente, pero la cifra proviene de una única generación no controlada — no de una ejecución repetida a contexto fijo — por lo que es más ruidosa y menos adecuada para comparar dos piezas de hardware distintas.

LM Studio y otros frontends de escritorio muestran una lectura de tokens/seg en vivo similar en su interfaz de chat. Úsala para una comprobación visual rápida mientras ya estás usando la herramienta, pero no confíes en ella para una decisión de compra de hardware — no expone los controles de número de ejecuciones o longitud de contexto que hacen confiable un resultado de benchmark.

Qué buscar en una herramienta de benchmarking

Una herramienta de benchmarking confiable para LLM locales mantiene constantes la longitud de contexto, el nivel de cuantización y el contenido del prompt entre ejecuciones, y reporta la velocidad de procesamiento del prompt y la velocidad de generación de tokens como cifras separadas. Sin esos controles, una cifra de "tokens/seg" de una sola ejecución casi no te dice nada sobre cómo rendirá la misma configuración con un prompt más largo o una cuantización distinta.

Usa una herramienta de benchmarking si estás comparando GPU antes de una compra, evaluando si un nivel de cuantización vale la pena por la pérdida de calidad, o reportando cifras de rendimiento públicamente. Sáltate el benchmark formal y observa el contador de tokens/seg en vivo si solo quieres una idea aproximada de si un modelo es usable para chat.

Evita: cifras de una sola ejecución reportadas sin longitud de contexto o nivel de cuantización asociados — no se pueden comparar con nada. Evita: herramientas que solo reportan una cifra combinada de tokens/seg, ya que la velocidad de procesamiento del prompt y la de generación escalan de forma distinta según el contexto y el hardware.

Hardware para acompañar tu benchmark

Si estás haciendo benchmarking con el objetivo de decidir si actualizar, ejecuta el mismo comando de llama-bench en tu GPU actual y en la GPU candidata usando el mismo archivo de modelo y cuantización, y luego compara las dos cifras de procesamiento del prompt y generación una junto a la otra.

Divulgación: Este artículo contiene enlaces de afiliados. Podemos ganar una comisión si compras a través de estos enlaces, sin costo adicional para ti.