Qual é a melhor ferramenta para benchmark de tokens/seg em um LLM local?

Ler em:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Esta página contém links de referência para produtos de terceiros. O PromptQuorum não está inscrito em nenhum programa de afiliados — são links simples que não geram comissão. Clicar nos links e os próximos passos são de sua inteira responsabilidade. Estes links não representam qualquer endosso ou verificação por parte do PromptQuorum.

Resposta rápida

O llama-bench, incluído com o llama.cpp, é a melhor ferramenta para benchmark da velocidade de inferência de um LLM local. Ele reporta separadamente a velocidade de processamento do prompt e a velocidade de geração sob um comprimento de contexto e nível de quantização fixos, tornando os resultados comparáveis entre diferentes hardwares.

▸llama-bench: a opção mais rigorosa — separa a velocidade de processamento do prompt da velocidade de geração e controla o comprimento de contexto e a quantização.
▸Ollama --verbose: a forma mais rápida de obter um número aproximado de tokens/seg a partir de uma sessão de chat normal, menos controlada que o llama-bench.
▸GUIs de terceiros (as estatísticas integradas do LM Studio) são convenientes para uma leitura rápida, mas não expõem o mesmo controle entre execuções.

Atualizado: 14 de julho de 2026

Tool ComparisonsIntermediário

Pontos principais

✓O llama-bench é a ferramenta de benchmark mais rigorosa — isola a velocidade de processamento do prompt da velocidade de geração sob configurações fixas
✓A flag --verbose do Ollama fornece uma estimativa rápida e aproximada de tokens/seg a partir de uma execução de chat normal, útil para verificações rápidas
✓Sempre fixe o comprimento de contexto e o nível de quantização entre execuções, ou a comparação não tem sentido
✓Execute várias passagens e calcule a média do resultado — uma única execução é afetada por throttling térmico e carregamento a frio

Melhor escolha: llama-bench

O llama-bench é a escolha padrão certa para quem precisa de um número de tokens por segundo repetível e comparável entre hardwares. Ele vem como parte do build do llama.cpp, roda pela linha de comando e reporta dois números separados para cada teste: velocidade de processamento do prompt (quão rápido o modelo lê a entrada) e velocidade de geração (quão rápido ele produz novos tokens). Esses dois números se comportam de forma muito diferente sob carga, então uma ferramenta que os mistura não te dá o quadro completo.

A flag `--verbose` do Ollama é a alternativa prática para uma verificação rápida. Rodar `ollama run --verbose` imprime um número de tokens/seg ao final de uma resposta de chat normal, sem exigir um framework de benchmark separado. É conveniente, mas o número vem de uma única geração não controlada — não de uma execução repetida com contexto fixo — então é mais ruidoso e menos adequado para comparar dois hardwares diferentes.

O LM Studio e outros frontends de desktop mostram uma leitura de tokens/seg ao vivo semelhante na interface de chat. Use isso para uma checagem visual rápida enquanto já está usando a ferramenta, mas não confie nisso para uma decisão de compra de hardware — não expõe os controles de número de execuções ou comprimento de contexto que tornam um resultado de benchmark confiável.

O que procurar em uma ferramenta de benchmark

Uma ferramenta de benchmark confiável para LLM local mantém o comprimento de contexto, o nível de quantização e o conteúdo do prompt constantes entre execuções, e reporta a velocidade de processamento do prompt e a velocidade de geração de tokens como números separados. Sem esses controles, um número de "tokens/seg" de uma única execução quase não te diz nada sobre como a mesma configuração vai performar com um prompt mais longo ou uma quantização diferente.

Use uma ferramenta de benchmark se você está comparando GPUs antes de uma compra, avaliando se um nível de quantização vale a perda de qualidade, ou reportando números de desempenho publicamente. Pule o benchmark formal e apenas observe o contador de tokens/seg ao vivo se você só quer uma noção aproximada de se um modelo é utilizável para chat.

Evite: números de uma única execução reportados sem comprimento de contexto ou nível de quantização associados — eles não podem ser comparados a nada. Evite: ferramentas que reportam apenas um número combinado de tokens/seg, já que a velocidade de processamento do prompt e a de geração escalam de forma diferente com o comprimento de contexto e o hardware.

Hardware para acompanhar seu benchmark

Se você está fazendo benchmark com o objetivo de decidir se deve fazer upgrade, rode o mesmo comando llama-bench na sua GPU atual e na GPU candidata usando o mesmo arquivo de modelo e quantização, depois compare os dois números de processamento de prompt e geração lado a lado.

Divulgação: Este artigo contém links de afiliados. Podemos ganhar uma comissão se você comprar através desses links, sem custo adicional para você.

Verificar preços de GPU com 16GB VRAM na Amazonlink de produto · divulgadoVerificar o preço do medidor de energia na Amazon (útil para comparações de tokens/seg por watt)link de produto · divulgado

Perguntas frequentes

Por que os resultados de benchmark variam entre execuções?▾

Throttling térmico, processos em segundo plano e o carregamento a frio do modelo afetam os resultados de uma única execução. Calcule a média de várias execuções (o llama-bench suporta execuções repetidas nativamente) para obter um número confiável em vez de confiar em uma única amostra.

O llama-bench funciona apenas com modelos GGUF?▾

Sim — o llama-bench faz parte do toolchain do llama.cpp, construído em torno do formato GGUF. Para fazer benchmark de um modelo GPTQ ou AWQ, você precisa de uma ferramenta diferente vinculada ao framework de serving que carrega esse formato, como os scripts de benchmark integrados do vLLM.

A velocidade de processamento do prompt ou a velocidade de geração é mais importante?▾

Depende do seu caso de uso. A sumarização de documentos longos é dominada pela velocidade de processamento do prompt, já que a maior parte do trabalho é ler a entrada. O chat interativo é dominado pela velocidade de geração, já que o modelo produz a maior parte da saída token por token após um prompt curto.

Posso comparar números de tokens/seg que encontro online com o meu próprio hardware?▾

Somente se o comprimento de contexto, o nível de quantização e o tamanho do modelo coincidirem exatamente. Um número de tokens/seg sem esses detalhes associados não é comparável à sua configuração — trate números não atribuídos de fóruns ou redes sociais como anedotas aproximadas, não como benchmarks.

Prompt Bites relacionados

← Voltar para Prompts em resumo