llama-bench: a melhor ferramenta para medir a velocidade de um LLM local

Melhor escolha: llama-bench

O llama-bench é a escolha padrão certa para quem precisa de um número de velocidade repetível e comparável entre hardwares. Ele faz parte do llama.cpp, roda pela linha de comando e reporta dois números separados para cada teste: velocidade de processamento do prompt (quão rápido o modelo lê a entrada) e velocidade de geração (quão rápido ele produz novos tokens). Esses dois números se comportam de forma muito diferente sob carga, então uma ferramenta que os combina em um único número esconde metade do quadro.

Recorra ao llama-bench ao comparar duas GPUs antes de uma compra, testar um novo Mac ou PC, comparar níveis de quantização, publicar resultados, ou decidir se um upgrade de hardware vale a pena. Ele repete cada teste automaticamente e reporta a média, então você não precisa rodá-lo cinco vezes manualmente.

A pergunta de acompanhamento mais comum é o que as opções de comprimento de contexto e comprimento de prompt/geração realmente controlam. Resumindo: o llama-bench permite fixar o tamanho do prompt de teste e quantos tokens ele gera, de forma independente um do outro, para que você possa testar uma troca curta tipo chat ou um prompt longo tipo documento sem mudar mais nada na execução — essa separação é o que torna dois resultados comparáveis.

O llama-bench não é um produto comercial — é uma parte gratuita e de código aberto do projeto llama.cpp no GitHub, incluído automaticamente sempre que você compila ou instala o llama.cpp.

Teste rápido: Ollama --verbose

A flag `--verbose` do Ollama é a forma mais rápida de verificar se sua configuração atual parece rápida o suficiente — não um substituto para o llama-bench. Rodar ollama run <model> --verbose imprime um número de tokens/seg ao final de uma resposta de chat normal, sem exigir uma etapa de benchmark separada.

O número vem de uma única geração não controlada, não de uma execução repetida com contexto fixo, então é mais ruidoso e não é adequado para comparar dois hardwares diferentes. Use-o para responder "isso é utilizável para chat agora mesmo", e use o llama-bench quando a resposta precisar se sustentar contra outra máquina.

O Ollama é gratuito e de código aberto — veja o site do Ollama para instruções de instalação.

Melhor opção de interface: LM Studio

O LM Studio é a melhor escolha se você quiser uma leitura ao vivo de tokens/seg sem tocar em um terminal. Sua interface de chat mostra a velocidade de geração em tempo real, o que é conveniente para checagens rápidas de hardware, experimentação de modelos e comparação de quantizações lado a lado enquanto você trabalha.

Assim como a flag `--verbose` do Ollama, a leitura ao vivo do LM Studio é conveniente, não rigorosa — não expõe os controles de número de execuções ou comprimento de contexto que tornam um resultado do llama-bench confiável para uma decisão de compra de hardware. O LM Studio tem um plano gratuito; downloads no site do LM Studio.

Faça benchmark antes de comprar

A pergunta real por trás da maioria das buscas por benchmark não é "qual ferramenta devo usar", e sim "qual hardware devo comprar". Um número genérico de tokens/seg do post de um estranho não responde isso — rode o mesmo modelo, quantização e comprimento de contexto nas duas GPUs que você realmente está considerando antes de decidir.

Depois de ter números reais das suas próprias execuções do llama-bench, compare-os com as opções do nosso guia de melhores GPUs para LLMs locais se você for continuar no desktop, nosso guia de melhores mini PCs para LLMs locais para uma máquina compacta sempre ligada, ou nosso guia do comparativo Apple Silicon vs. GPU NVIDIA se você quiser memória unificada em vez de uma GPU discreta.

O que torna um benchmark útil

Uma comparação útil mantém modelo, nível de quantização, comprimento de contexto e conteúdo do prompt constantes entre execuções, e reporta a velocidade de processamento do prompt e a velocidade de geração separadamente. Sem esses controles, um único número de tokens/seg quase não diz nada sobre como a mesma configuração se sai com um prompt mais longo ou uma quantização diferente.

Execute várias passagens e calcule a média do resultado — uma única execução é distorcida por throttling térmico, processos em segundo plano e carregamento a frio do modelo. Trate um número de tokens/seg não atribuído de um fórum ou post de rede social como uma anedota aproximada, não como um benchmark, a menos que o modelo, a quantização e o comprimento de contexto estejam declarados junto.

Conclusão

Para um benchmark sério e comparável entre hardwares, use o llama-bench. Para uma checagem rápida da sua configuração atual, use a saída `--verbose` do Ollama. Para a experiência de interface mais fácil com visualização de desempenho ao vivo, use o LM Studio. E se o objetivo real é decidir o que comprar, faça benchmark do modelo e da quantização exatos que importam para você nas duas máquinas antes de se comprometer — depois compare o vencedor com nossos guias de GPU, mini PC ou Mac.