Bestes LLM-Evaluationstool 2026: Braintrust, Weave oder Promptfoo

Entscheiden Sie danach, wo die Auswertung läuft und wer die Ergebnisse liest, nicht nach der Funktionsliste — alle drei decken dieselben Bewertungsgrundlagen ab. Lesen Sie von oben und halten Sie bei der ersten Zeile inne, die auf Sie zutrifft.

Ein LLM-Evaluationstool schickt einen Datensatz von Testfällen durch Ihren Prompt oder Agenten und bewertet jede Ausgabe, damit Sie vor dem Release erkennen, ob eine Änderung besser oder schlechter geworden ist. Ein Datensatz besteht meist aus Paaren von Eingabe und erwarteter Ausgabe — aus Produktionsprotokollen gezogen, als Grenzfälle von Hand geschrieben oder generiert. Die Scorer reichen von deterministischen Prüfungen wie Zeichenkettenvergleich und JSON-Schema-Validierung über LLM-as-Judge-Bewertung, bei der ein zweites Modell anhand einer Rubrik benotet, bis zu selbst geschriebenen Funktionen.

Das ist eine andere Aufgabe als zu beobachten, was das System im Betrieb tut. Evaluation beantwortet „ist diese Änderung auslieferbar", Produktionsüberwachung beantwortet „was tut es gerade". Diese Seite behandelt die erste Frage. Die Prompt-Ebene desselben Problems behandelt Prompt-Qualität bewerten.

Alle drei beherrschen LLM-as-Judge, eigene Scorer und datensatzbasierte Regressionstests; der Vergleich dreht sich also um Betriebsmodell, Kostenstruktur und Zugangsvoraussetzungen. Die Preise stammen von den Seiten der Anbieter vom 28. August 2026, die Repository-Zahlen vom selben Tag aus der GitHub-API.

Braintrust wählt man, wenn Menschen ohne Programmierkenntnisse die Evaluationsergebnisse ansehen müssen. Sein Wert steckt in der gehosteten Oberfläche, der Datensatzversionierung und dem Review-Ablauf — also genau in dem Teil, den Sie sonst selbst bauen müssten.

Weave ist die naheliegende Antwort, wenn Ihr Team Experimente ohnehin in Weights & Biases verfolgt, und schwerer zu begründen, wenn nicht. Die Integration ist das Argument: Evaluationen landen neben den Läufen, die Sie ohnehin ansehen.

Promptfoo ist das, was in jeder Größenordnung nichts kostet, weil Sie es selbst betreiben. Es ist eine CLI und Bibliothek statt einer Plattform, Evaluationen liegen also als Konfiguration neben Ihrem Code und laufen dort, wo Ihre Tests ohnehin laufen.

OpenAI hat die Übernahme von Promptfoo am 9. März 2026 angekündigt und öffentlich zugesagt, es quelloffen zu halten. Die eigene Formulierung lautet: „Promptfoo will remain open source under the current license, and we will continue to service and support current customers." Über die Übernahme berichteten damals TechCrunch, CNBC und Forbes; bestätigt ist sie auf den Seiten von OpenAI wie von Promptfoo.

Der Befund stützt die Zusage bislang. Fast sechs Monate später liegt das Repository weiterhin in der Organisation `promptfoo`, ist weiterhin MIT-lizenziert und wurde am Prüftag dieser Seite aktualisiert. Genau das will man sehen.

Dennoch lohnt das Nachdenken — wegen der Governance, nicht der Lizenz. Ein Evaluationswerkzeug ist das, womit Sie Modelle beurteilen, und es gehört nun einem Unternehmen, das Modelle herstellt. Die MIT-Lizenz erlaubt einen Fork, falls die Projektrichtung Ihnen irgendwann nicht mehr dient — ein realer Schutz, den Braintrust und Weave nicht bieten. Hängt Ihre Evaluationsstrategie aber an Neutralität zwischen Modellanbietern, sollte das eine bewusste Entscheidung sein und keine Annahme.

Die Kosten skalieren mit Datenmenge und Ausgaben für das bewertende Modell, nicht mit Plätzen — weshalb unbegrenzte Nutzende in den kostenlosen Stufen nützlicher sind, als es zunächst klingt. Die Tabelle kalkuliert eine mittlere Last von rund 50.000 Evaluations-Scores im Monat.

Promptfoo ist das einzige der drei, bei dem Selbstbetrieb der Normalfall ist und kein Enterprise-Upgrade. Weil es CLI und Bibliothek ist, verlassen Ihre Testfälle und Modellausgaben Ihre Umgebung nie, sofern Sie sich nicht bewusst für eine gehostete Stufe entscheiden. Für ein Team unter Datenresidenzvorgaben erübrigt das die Frage, statt sie zu beantworten.

Braintrust bietet On-Premises- oder gehostete Bereitstellung, aber nur mit Enterprise, also individueller Preis und Vertriebsgespräch. Es ist eine echte Bereitstellungsoption und keine Marketingzeile, nur eben nicht im Self-Service prüfbar.

Die Enterprise-Stufe von Weave bietet eine Single-Tenant-Option mit kundenverwalteten Schlüsseln, HIPAA-Konformität und sicherer privater Anbindung. Lesen Sie das genau: Single-Tenant mit eigenen Schlüsseln ist eine dedizierte Instanz und nicht dasselbe wie ein Betrieb innerhalb Ihres Perimeters. Lautet die Anforderung strikt On-Premises, klären Sie die Details mit Weights & Biases, statt anzunehmen, die Single-Tenant-Option erfülle sie.

Die Teamform entscheidet hier mehr als Funktionslisten. Fünf Profile decken die meisten Leserinnen und Leser ab.

Evaluationsdatensätze entstehen meist aus Produktionsverkehr und gehören damit zu den sensibelsten Daten im LLM-Stack. Das macht die Wahl zwischen gehostet und lokal in drei wichtigen Märkten zur Compliance-Frage.

Wenn Ihr Testsatz ein Dutzend Prompts umfasst und eine Entwicklerin ihn ausführt, überspringen Sie alle drei und schreiben Sie ein bewertetes Skript in der CI. Sie erhalten dasselbe Regressionssignal ohne Konto, Zähler oder Aufbewahrungsfenster und können später ohne Verlust auf eine Plattform wechseln, denn der Datensatz ist das Gut und er wandert mit.

Die Schwelle, auf die zu warten sich lohnt, ist der Punkt, an dem die Datensatzverwaltung zur eigentlichen Arbeit wird: wenn Sie fehlschlagende Fälle regelmäßig aus der Produktion in den Testsatz ziehen wollen, wenn jemand ohne Programmierkenntnisse Ausgaben benoten soll, oder wenn Sie die Ergebnisse dieses Monats mit denen des letzten Quartals vergleichen müssen. Das sind Verwaltungsprobleme, und genau die kaufen Sie ein. Das Bewerten selbst war immer der leichte Teil.