Prompt-Evaluierungsmetriken: Welche Metriken gelten für welche Ausgaben?

Prompt-Evaluierungsmetriken sind quantitative Signale, die Ihnen sagen, ob ein Prompt zuverlässig die beabsichtigte Ausgabe über die Eingaben hinweg produziert, die wichtig sind. Ohne Metriken ist die Prompt-Evaluierung subjektiv: zwei Ingenieure, die denselben Prompt gegen verschiedene Beispiele überprüfen, werden zu unterschiedlichen Schlussfolgerungen gelangen. Die richtige Metrik hängt davon ab, was Ihr Prompt produzieren soll. Ein JSON-Extraktions-Prompt benötigt andere Metriken als ein Kreativschreib-Prompt. Wenn Sie die richtige Metrik für Ihre Aufgabe wählen, können Sie die Prompt-Qualität systematisch evaluieren. Die Auswahl der falschen Metrik führt zu irreführenden Scores, die Sie nichts über echte Produktionsqualität sagen.

Der Ausgabetyp bestimmt, welche Metrik gültig ist. Die Verwendung von BLEU auf JSON-Ausgaben oder Bestehen/Durchfallen auf kreativer Generierung führt zu bedeutungslosen Scores.

Pass Rate ist der Prozentsatz der Testeingaben, bei denen die Prompt-Ausgabe die definierten Erfolgskriterien erfüllt — und sie ist die aussagekräftigste Metrik, da sie sich direkt auf die Produktionsfehlerquote abbildet. Eine Pass Rate von 92% bedeutet, dass 8% der echten Benutzeranfragen fehlschlagen. Pass Rate = bestandene Ausgaben / Gesamtzahl Testfälle Für strukturierte Ausgaben definieren Sie „Bestehen" präzise vor Testbeginn: gültiges JSON, erforderliche Felder vorhanden, Werte innerhalb zulässiger Enumerationen, Länge unter angegebenem Limit. Für Klassifizierung bedeutet „Bestehen" die richtige Etikette wurde zurückgegeben. Verfolgen Sie Pass Rate pro Prompt-Version. Ein Rückgang von mehr als 5 Prozentpunkten ist eine Regression. Ein Rückgang von mehr als 10 Prozentpunkten sollte die Produktionsbereitstellung blockieren. Ab April 2026 beobachtet PromptQuorum Median-Pass-Rates von 88–94% für GPT-4o JSON-Extraktions-Prompts bei erster Bereitstellung. Wenn Sie eine Prompt-Bibliothek aufbauen, etablieren Sie Baseline-Pass-Rates für jeden Prompt zur Regressionserkennung.

BLEU (Bilingual Evaluation Understudy) Score misst n-Gramm-Überlap zwischen einer Modellausgabe und einem Referenztext. Er ist die Standard-Metrik für maschinelle Übersetzung und geeignet für jede Aufgabe, bei der die Ausgabe stark mit einer Referenz übereinstimmen sollte. BLEU ist irreführend für: - JSON oder strukturierte Ausgabe: BLEU bewertet Format-Tokens, nicht semantische Korrektheit - Befolgung von Anweisungen: Ein Prompt, der alle Anweisungen befolgt, aber anders umschreibt, wird auf BLEU niedrig bewertet - Kreative Generierung: BLEU benachteiligt lexikalische Vielfalt, auch wenn die Qualität hoch ist Wann BLEU geeignet ist: Übersetzungsaufgaben, wenn eine Gold-Referenz existiert, Zusammenfassung gegen eine von Menschen geschriebene Zusammenfassung, extraktive QA mit erwarteten verbatim-Antworten.

Semantische Ähnlichkeit misst, wie nahe sich zwei Texte in der Bedeutung sind, durch Berechnung der Cosinus-Ähnlichkeit ihrer Embeddings. Sie übertrifft BLEU für Paraphrase- und Umschreibungsaufgaben, da sie Bedeutung statt Wortauswahl erfasst. Wie es funktioniert: Embedden Sie die Modellausgabe und die Referenz mit OpenAI text-embedding-3-small oder einem lokalen Embedding-Modell, dann berechnen Sie Cosinus-Ähnlichkeit. Scores über 0,85 deuten typischerweise auf semantisch gleichwertige Inhalte hin. Einschränkungen: Semantische Ähnlichkeit überprüft keine faktische Genauigkeit, erkennt Format-Verstöße nicht und kann halluzinierte Inhalte hoch bewerten, wenn die Halluzination semantisch ähnlich zur erwarteten Antwort ist.

LLM-as-Judge nutzt ein leistungsstarkes Modell — typischerweise GPT-4o oder Claude Opus 4,7 — zur Bewertung von Ausgaben gegen ein Bewertungsschema. Dies skaliert die Evaluierung auf Tausende von Testfällen ohne menschliche Überprüfung und behandelt Qualitätsdimensionen, die binäre Metriken nicht erfassen: Kohärenz, Ton, Vollständigkeit und faktische Genauigkeit. Der Judge-Ansatz erfordert: 1. Ein detailliertes Bewertungsschema (Kriterien pro Dimension) 2. Ein strukturiertes Ausgabeformat (z.B. JSON mit Score + Begründung) 3. Wenn Sie Prompts über Modelle hinweg testen, kalibrieren Sie den Judge gegen menschliche Urteile für Ihre spezifische Aufgabe

Verfolgen Sie Ihre primäre Metrik pro Prompt-Version und alarmieren Sie, wenn sie mehr als 5 Prozentpunkte unter der etablierten Baseline fällt. Führen Sie denselben Testsatz vor und nach jeder Prompt-Änderung, Model-Update oder Temperatur-Anpassung aus. Wenn Sie Prompt-Audit und Regressions-Risiko Erkennung implementieren, befolgen Sie diesen Workflow: 1. Zeichnen Sie den aktuellen Metrik-Score als Baseline auf (z.B. Pass Rate = 91%) 2. Führen Sie die Prompt-Änderung durch 3. Führen Sie den vollständigen Testsatz erneut aus 4. Vergleichen Sie neuen Score gegen Baseline 5. Wenn Rückgang > 5 Punkte: Blockieren, untersuchen, beheben Für automatisierte Regressionserkennung in CI/CD: Tools wie Promptfoo integrieren mit GitHub Actions und können einen PR fehlschlagen lassen, wenn Pass Rate unter Schwellenwert fällt.

Regulatorische Rahmen verlangen zunehmend dokumentierte KI-Qualitätsmetriken, mit spezifischen Anforderungen je nach Jurisdiktion und Risikoklassifizierung. - EU (AI Act 2025–2026): Hochrisiko-KI-Systeme müssen dokumentiertes Testen mit quantitativen Qualitätsmetriken nachweisen. Prompt-Evaluierungs-Aufzeichnungen — Testsätze, Pass Rates, Regressions-Baselines — bieten Audit-bereite Evidenz für AI Act Transparenzanforderungen. - USA (SOC 2 / NIST AI RMF): SOC 2 Type II Audits erwarten dokumentiertes QA für KI-gesteuerte Prozesse. Prompt-Evaluierungs-Metriken mit Versionsverlauf erfüllen Change-Management und Quality-Control-Audit-Anforderungen. - DACH (Deutschland, Österreich, Schweiz): BSI-Grundschutz-Kataloge verlangen für IT-Systeme mit KI-Komponenten das Protokollieren von Qualitäts-Metriken. Lokale Evaluierung ohne Drittanbieter-APIs erfüllt Datenresidenz-Anforderungen der DSGVO. DIN EN ISO 9001-QM-Integration dokumentiert die Evaluierungs-Baseline und -Regeln als Prozessüberwachungsnachweis. - Mehrsprachige Evaluierung: Wenn Sie Prompts über Sprachen hinweg bereitstellen, evaluieren Sie jede Sprachvariante separat. BLEU-Scores und semantische Ähnlichkeits-Schwellenwerte unterscheiden sich erheblich zwischen Sprachpaaren. Ein Prompt mit 0,92 Ähnlichkeit im Englischen könnte 0,78 im Deutschen erreichen wegen syntaktischer Unterschiede.