llama-bench: la mejor herramienta para medir la velocidad de un LLM local

Mejor opción: llama-bench

llama-bench es la opción por defecto correcta para quien necesite una cifra de velocidad repetible y comparable entre hardwares. Es parte de llama.cpp, se ejecuta desde la línea de comandos y reporta dos cifras separadas en cada prueba: velocidad de procesamiento del prompt (qué tan rápido lee el modelo la entrada) y velocidad de generación (qué tan rápido produce nuevos tokens). Estas dos cifras se comportan de forma muy distinta bajo carga, así que una herramienta que las combina en una sola cifra te oculta la mitad del panorama.

Recurre a llama-bench cuando compares dos GPU antes de una compra, pruebes un nuevo Mac o PC, compares niveles de cuantización, publiques resultados o decidas si vale la pena una actualización de hardware. Repite cada prueba automáticamente y reporta el promedio, así que no necesitas ejecutarlo cinco veces a mano.

La pregunta de seguimiento más común es qué controlan realmente las opciones de longitud de contexto y longitud de prompt/generación. En resumen: llama-bench te permite fijar la longitud del prompt de prueba y cuántos tokens genera, de forma independiente entre sí, para que puedas probar un intercambio corto tipo chat o un prompt largo tipo documento sin cambiar nada más de la ejecución — esa separación es lo que hace comparables dos resultados.

llama-bench no es un producto comercial — es una parte gratuita y de código abierto del proyecto llama.cpp en GitHub, incluida automáticamente cuando compilas o instalas llama.cpp.

Prueba rápida: Ollama --verbose

La opción `--verbose` de Ollama es la forma más rápida de comprobar si tu configuración actual se siente lo bastante rápida — no un reemplazo de llama-bench. Ejecutar ollama run <model> --verbose imprime una cifra de tokens/seg al final de una respuesta de chat normal, sin necesitar un paso de benchmark aparte.

La cifra proviene de una única generación no controlada, no de una ejecución repetida a contexto fijo, por lo que es más ruidosa y no adecuada para comparar dos piezas de hardware distintas. Úsala para responder "¿esto es usable para chatear ahora mismo?", y usa llama-bench cuando la respuesta tenga que sostenerse frente a otra máquina.

Ollama es gratuita y de código abierto — consulta el sitio de Ollama para instrucciones de instalación.

Mejor opción de interfaz gráfica: LM Studio

LM Studio es la mejor opción si quieres una lectura en vivo de tokens/seg sin tocar una terminal. Su interfaz de chat muestra la velocidad de generación en tiempo real, lo cual es conveniente para comprobaciones rápidas de hardware, experimentar con modelos y comparar cuantizaciones lado a lado mientras trabajas.

Al igual que la opción `--verbose` de Ollama, la lectura en vivo de LM Studio es conveniente más que rigurosa — no expone los controles de número de ejecuciones o longitud de contexto que hacen confiable un resultado de llama-bench para una decisión de compra de hardware. LM Studio tiene un nivel gratuito; las descargas están en el sitio de LM Studio.

Haz benchmarking antes de comprar

La pregunta real detrás de la mayoría de las búsquedas de benchmarking no es "qué herramienta debo usar", sino "qué hardware debo comprar". Una cifra genérica de tokens/seg del post de un desconocido no responde eso — ejecuta el mismo modelo, cuantización y longitud de contexto en las dos GPU que realmente estás considerando antes de decidir.

Una vez que tengas cifras reales de tus propias ejecuciones de llama-bench, compáralas con las opciones de nuestra guía de mejores GPU para LLM locales si te quedas en un equipo de escritorio, nuestra guía de mejores mini PC para LLM locales para un equipo compacto siempre encendido, o nuestra guía del comparativa Apple Silicon vs GPU NVIDIA si prefieres memoria unificada en lugar de una GPU discreta.

Qué hace útil a un benchmark

Una comparación útil mantiene constantes el modelo, el nivel de cuantización, la longitud de contexto y el contenido del prompt entre ejecuciones, y reporta la velocidad de procesamiento del prompt y la velocidad de generación por separado. Sin esos controles, una sola cifra de tokens/seg casi no te dice nada sobre cómo rendirá la misma configuración con un prompt más largo o una cuantización distinta.

Ejecuta varias pasadas y promedia el resultado — una sola ejecución se ve sesgada por el throttling térmico, procesos en segundo plano y la carga en frío del modelo. Trata una cifra de tokens/seg no atribuida de un foro o red social como una anécdota aproximada, no como un benchmark, a menos que el modelo, la cuantización y la longitud de contexto estén indicados junto a ella.

Conclusión

Para un benchmark serio y comparable entre hardwares, usa llama-bench. Para una comprobación rápida de tu configuración actual, usa la salida `--verbose` de Ollama. Para la experiencia de interfaz gráfica más sencilla con visualización de rendimiento en vivo, usa LM Studio. Y si el objetivo real es decidir qué comprar, haz benchmarking del modelo y la cuantización exactos que te importan en ambas máquinas antes de decidirte — luego compara al ganador con nuestras guías de GPU, mini PC o Mac.