Melhor ferramenta de avaliacao de LLM 2026: Braintrust, Weave ou Promptfoo

Escolha por onde a avaliacao roda e quem le os resultados, nao pela lista de recursos de pontuacao: as tres cobrem as mesmas primitivas. Leia para baixo e pare na primeira linha que descreva voce.

Uma ferramenta de avaliacao de LLM passa um conjunto de casos de teste pelo seu prompt ou agente e pontua cada saida, para que voce saiba se uma mudanca melhorou ou piorou as coisas antes de chegar aos usuarios. Um conjunto de dados costuma ser uma serie de pares de entrada e saida esperada, extraidos de registros de producao, escritos a mao como casos limite ou gerados. Os avaliadores vao de verificacoes deterministas como comparacao de strings e validacao de esquema JSON, passando pela nota com LLM como juiz, em que um segundo modelo pontua contra uma rubrica, ate funcoes proprias que voce escreve.

Esse e um trabalho diferente de observar o que o sistema faz depois de no ar. A avaliacao responde "esta mudanca pode ir para producao?"; o monitoramento responde "o que ele esta fazendo agora?". Esta pagina trata da primeira pergunta. Para a visao no nivel do prompt, veja como avaliar a qualidade de um prompt.

As tres fazem LLM como juiz, avaliadores proprios e testes de regressao sobre conjuntos de dados, entao a comparacao e sobre modelo de hospedagem, estrutura de custo e elegibilidade. Os precos foram lidos nas paginas de cada fornecedor em 28 de agosto de 2026, e os numeros de repositorio na API do GitHub no mesmo dia.

O Braintrust e o que se escolhe quando pessoas que nao escrevem codigo precisam olhar os resultados da avaliacao. Seu valor se concentra na interface hospedada, no versionamento de conjuntos de dados e no fluxo de revisao humana, justamente a parte que de outro modo voce teria de construir.

O Weave e a resposta obvia se seu time ja acompanha experimentos no Weights & Biases, e uma venda mais dificil se nao acompanha. A integracao e o argumento: as avaliacoes chegam ao lado das execucoes que voce ja olha.

O Promptfoo e o que nao custa nada em escala alguma, porque voce mesmo o executa. E uma CLI e biblioteca, nao uma plataforma, entao as avaliacoes vivem como configuracao ao lado do seu codigo e rodam onde seus testes ja rodam.

A OpenAI anunciou que adquiria o Promptfoo em 9 de marco de 2026, e se comprometeu publicamente a mante-lo de codigo aberto. A declaracao da propria OpenAI diz: "Promptfoo will remain open source under the current license, and we will continue to service and support current customers." A aquisicao foi noticiada na epoca por TechCrunch, CNBC e Forbes, e confirmada nos sites da OpenAI e do Promptfoo.

As evidencias praticas sustentam o compromisso ate agora. Quase seis meses depois, o repositorio segue sob a organizacao `promptfoo`, segue com licenca MIT e recebeu mudancas no dia em que esta pagina foi verificada. E o que se quer ver.

O motivo para pensar no assunto mesmo assim e governanca, nao licenca. Uma ferramenta de avaliacao e aquilo com que voce julga modelos, e agora pertence a uma empresa que fabrica modelos. A licenca MIT significa que voce pode bifurcar o projeto se o rumo dele deixar de servi-lo, uma protecao real que Braintrust e Weave nao oferecem. Mas se sua estrategia de avaliacao depende de neutralidade entre fornecedores de modelos, isso merece uma decisao deliberada e nao uma suposicao.

O custo escala com volume de dados e gasto do modelo juiz, nao com assentos — e por isso usuarios ilimitados nos niveis gratuitos sao mais uteis do que parece a principio. A tabela calcula uma carga media de cerca de 50.000 pontuacoes de avaliacao por mes.

O Promptfoo e o unico dos tres em que a auto-hospedagem e o padrao e nao um upgrade empresarial. Por ser CLI e biblioteca, seus casos de teste e as saidas do modelo nunca deixam seu ambiente, salvo se voce escolher deliberadamente um nivel hospedado. Para um time sob regras de residencia de dados, isso elimina a pergunta em vez de responde-la.

O Braintrust oferece implantacao on-premise ou hospedada, mas so no Enterprise, o que significa preco sob medida e conversa comercial. E uma opcao real de implantacao e nao uma frase de marketing, mas voce nao consegue avalia-la em autoatendimento.

O nivel Enterprise do Weave oferece uma opcao de inquilino unico com chaves de criptografia gerenciadas pelo cliente, conformidade HIPAA e conectividade privada segura. Leia com atencao: inquilino unico com chaves proprias e uma instancia dedicada, o que nao e a mesma coisa que rodar dentro do seu proprio perimetro. Se sua exigencia e estritamente on-premise, confirme os detalhes com o Weights & Biases em vez de supor que a opcao de inquilino unico a satisfaz.

O formato do time decide isso mais que listas de recursos. Cinco perfis cobrem a maioria dos leitores.

Conjuntos de dados de avaliacao costumam ser construidos a partir do trafego de producao, o que os torna alguns dos dados mais sensiveis de uma pilha de LLM. Isso transforma a escolha entre hospedado e local numa questao de conformidade em tres mercados importantes.

Se seu conjunto de testes tem uma duzia de prompts e uma unica engenheira o executa, pule as tres e escreva um script pontuado na CI. Voce obtem o mesmo sinal de regressao sem conta, medidor ou janela de retencao, e podera migrar para uma plataforma depois sem ter perdido nada, porque o ativo e o conjunto de dados e ele vai com voce.

O limiar que vale esperar e quando gerenciar o conjunto de dados vira o trabalho: quando voce quer levar casos com falha da producao para o conjunto de testes rotineiramente, quando alguem que nao programa precisa dar nota as saidas, ou quando precisa comparar os resultados deste mes com os do trimestre passado. Esses sao problemas de gestao de dados, e e isso que voce esta de fato comprando. A pontuacao em si sempre foi a parte facil.