Mejor herramienta de evaluación de LLM 2026: Braintrust, Weave o Promptfoo

Elija por dónde se ejecuta la evaluación y quién lee los resultados, no por la lista de funciones de puntuación: las tres cubren las mismas primitivas. Lea hacia abajo y deténgase en la primera línea que le describa.

Una herramienta de evaluación de LLM pasa un conjunto de casos de prueba por su prompt o agente y puntúa cada salida, para que sepa si un cambio mejora o empeora las cosas antes de que llegue a los usuarios. Un conjunto de datos suele ser una serie de pares de entrada y salida esperada, extraídos de registros de producción, escritos a mano como casos límite o generados. Los evaluadores van desde comprobaciones deterministas como coincidencia de cadenas y validación de esquema JSON, pasando por la calificación con LLM como juez, donde un segundo modelo puntúa contra una rúbrica, hasta funciones propias que usted escribe.

Eso es distinto de observar qué hace el sistema una vez en marcha. La evaluación responde «¿es seguro publicar este cambio?»; la monitorización de producción responde «¿qué está haciendo ahora?». Esta página trata la primera pregunta. Para la vista a nivel de prompt del mismo problema, véase cómo evaluar la calidad de un prompt.

Las tres hacen LLM como juez, evaluadores propios y pruebas de regresión sobre conjuntos de datos, así que la comparación va de modelo de alojamiento, estructura de costes y elegibilidad. Los precios se leyeron de las páginas de cada proveedor el 28 de agosto de 2026, y las cifras de repositorio de la API de GitHub ese mismo día.

Braintrust es la elección cuando personas que no escriben código necesitan mirar los resultados de la evaluación. Su valor se concentra en la interfaz alojada, el versionado de conjuntos de datos y el flujo de revisión humana, que es justo la parte que de otro modo tendría que construir.

Weave es la respuesta obvia si su equipo ya sigue experimentos en Weights & Biases, y una venta más difícil si no lo hace. La integración es el argumento: las evaluaciones aparecen junto a las ejecuciones que ya está mirando.

Promptfoo es la que no cuesta nada a ninguna escala, porque la ejecuta usted. Es una CLI y una biblioteca más que una plataforma, así que las evaluaciones viven como configuración junto a su código y se ejecutan donde ya se ejecutan sus pruebas.

OpenAI anunció que adquiría Promptfoo el 9 de marzo de 2026, y se comprometió públicamente a mantenerlo de código abierto. La declaración de OpenAI dice: «Promptfoo will remain open source under the current license, and we will continue to service and support current customers». La adquisición fue recogida entonces por TechCrunch, CNBC y Forbes, y confirmada en las webs de OpenAI y de Promptfoo.

La evidencia sobre el terreno respalda el compromiso por ahora. Casi seis meses después, el repositorio sigue bajo la organización `promptfoo`, sigue con licencia MIT y recibió cambios el día en que se comprobó esta página. Es lo que uno querría ver.

El motivo para pensarlo de todos modos es de gobernanza, no de licencia. Una herramienta de evaluación es aquello con lo que juzga modelos, y ahora pertenece a una empresa que fabrica modelos. La licencia MIT significa que puede bifurcar el proyecto si su rumbo deja de servirle, una protección real que Braintrust y Weave no ofrecen. Pero si su estrategia de evaluación depende de la neutralidad entre proveedores de modelos, eso merece una decisión deliberada y no un supuesto.

El coste escala con el volumen de datos y el gasto del modelo juez, no con las plazas, y por eso los usuarios ilimitados de los niveles gratuitos son más útiles de lo que parece. La tabla calcula una carga mediana de unas 50.000 puntuaciones de evaluación al mes.

Promptfoo es la única de las tres donde el autoalojamiento es el modo por defecto y no una mejora empresarial. Al ser una CLI y una biblioteca, sus casos de prueba y las salidas del modelo nunca salen de su entorno salvo que elija deliberadamente un nivel alojado. Para un equipo bajo normas de residencia de datos, eso elimina la pregunta en lugar de responderla.

Braintrust ofrece despliegue on-premise o alojado, pero solo en Enterprise, lo que implica precio personalizado y conversación comercial. Es una opción de despliegue real y no una frase de marketing, pero no puede evaluarla en autoservicio.

El nivel Enterprise de Weave ofrece una opción de inquilino único con claves de cifrado gestionadas por el cliente, cumplimiento HIPAA y conectividad privada segura. Léalo con cuidado: inquilino único con claves propias es una instancia dedicada, que no es lo mismo que ejecutarse dentro de su propio perímetro. Si su requisito es estrictamente on-premise, confirme los detalles con Weights & Biases en lugar de suponer que la opción de inquilino único lo satisface.

La forma del equipo decide esto más que las listas de funciones. Cinco perfiles cubren a la mayoría de lectores.

Los conjuntos de datos de evaluación suelen construirse a partir del tráfico de producción, lo que los convierte en algunos de los datos más sensibles de una pila de LLM. Eso transforma la elección entre alojado y local en una cuestión de cumplimiento en tres mercados importantes.

Si su conjunto de pruebas son una docena de prompts y los ejecuta una sola ingeniera, sáltese las tres y escriba un script puntuado en CI. Obtiene la misma señal de regresión sin cuenta, contador ni ventana de retención, y podrá pasar a una plataforma más adelante sin haber perdido nada, porque el activo es el conjunto de datos y se mueve con usted.

El umbral que merece la pena esperar llega cuando gestionar el conjunto de datos se convierte en el trabajo: cuando quiere llevar casos fallidos de producción al conjunto de pruebas de forma rutinaria, cuando alguien que no programa debe calificar salidas, o cuando necesita comparar los resultados de este mes con los del trimestre pasado. Esos son problemas de gestión de datos, y es lo que en realidad está comprando. La puntuación en sí siempre fue la parte fácil.