プロンプト評価指標：合格率・BLEUスコア・LLM-as-Judgeの選び方

プロンプト評価指標は、プロンプトが重要な入力全体にわたって意図した出力を確実に生成するかを示す定量的シグナルです。 指標がなければプロンプト評価は主観的になります。異なる例に対して同じプロンプトを検討する2人のエンジニアは異なる結論に達します。 正しい指標はプロンプトが何を生成すべきかに依存します。JSON抽出プロンプトは創作文プロンプトとは異なる指標が必要です。正しい指標をタスク用に選ぶと、プロンプト品質を体系的に評価できます。間違った指標を選ぶと、本当の本番環境品質について何も言わない誤解を招くスコアが生じます。

出力タイプが有効な指標を決定します。JSON上でBLEUを適用するか、創作生成で合格/不合格を適用すると、意味がないスコアが生じます。

合格率は、定義された成功基準を満たすテスト入力の割合です。最も実用的な指標です。本番環境の失敗率に直結するからです。 92%の合格率は、実際のユーザーリクエストの8%が失敗することを意味します。 合格率 = 合格出力 / テストケース総数 構造化出力の場合、テスト前に「合格」を正確に定義してください：有効なJSON、必須フィールド存在、列挙値内の値、指定限度以下の長さ。分類の場合、「合格」は正しいラベルが返されたことを意味します。 プロンプトバージョンごとに合格率を追跡します。5ポイント以上の低下は回帰です。10ポイント以上の低下は本番デプロイをブロックすべきです。2026年4月時点で、PromptQuorumは初回デプロイでGPT-4o JSON抽出プロンプトで88–94%の中央合格率を観察しています。プロンプトライブラリを構築する場合、各プロンプトのベースライン合格率を確立して回帰を検出してください。

BLEU（Bilingual Evaluation Understudy）はモデル出力と参照テキスト間のn-gram重複を測定します。 機械翻訳の標準指標で、出力が参照と密接に一致すべきあらゆるタスクに適切です。 BLEUが誤解を招く場合 ： - JSONまたは構造化出力： BLEUはフォーマットトークンを評点し、意味的正確性ではなく - 命令遵守： すべての命令に従うが異なるフレーズを使うプロンプトはBLEUで低スコアになる - 創作生成： BLEUは品質が高いときでも辞書の多様性にペナルティを与える BLEUが適切な場合：参照が存在する翻訳タスク、人間が書いた要約との比較、予想される逐語的回答を含むQA抽出。

意味的類似度は、埋め込みのコサイン類似度を計算することで、2つのテキストの意味がどの程度近いかを測定します。 言葉の選択ではなく意味を捉えるため、言い換え・言い直しタスクでBLEUを上回ります。 動作方法：OpenAI text-embedding-3-smallまたはローカル埋め込みモデルを使用してモデル出力と参照を埋め込み、コサイン類似度を計算します。0.85超のスコアは通常、意味的に等価なコンテンツを示します。 制限事項：意味的類似度は事実正確性をチェックしません、形式違反を検出しません、期待する回答に意味的に類似したハルシネーション内容を高く評点する可能性があります。

LLM-as-JudgeはGPT-4oやClaude Opus 4.7などの高性能モデルを使用してルーブリックに基づいて出力を評点します。 これにより評価が数千のテストケースに拡張可能になり、人間の審査なしで、二値指標では捉えられない品質次元を扱います。一貫性、トーン、完全性、事実的正確性。 Judgeアプローチには以下が必要です ： 1. 詳細なルーブリック（次元ごとに評点基準） 2. 構造化出力形式（例：スコア + 正当性を含むJSON） 3. 複数モデル間でプロンプトをテストする場合、あなたの特定タスクに対してJudgeを人間の判定と校正します

プロンプトバージョンごとに主要指標を追跡し、確立されたベースラインから5ポイント以上低下したらアラートを出します。 プロンプト変更、モデル更新、温度調整のたびに変更前後で同じテストセットを実行します。 プロンプト監査と回帰リスク検出を実装するとき、このワークフローに従ってください ： 1. 現在の指標スコアをベースラインとして記録（例：合格率 = 91%） 2. プロンプト変更を実施 3. 完全なテストセットを再実行 4. 新しいスコアをベースラインと比較 5. 低下 > 5ポイント：ブロック、調査、修正 CI/CDで自動回帰検出するために、PromptfooなどのツールはGitHub Actionsと統合し、合格率が閾値を下回ったときPRを失敗させます。

規制枠組みはますますAI品質メトリクスの記録を要求し、管轄区域とリスク分類に応じた具体的義務があります。 - METI AI Governance Guidelines 2024（日本）： 経済産業省のガイドラインでは、AI評価とモニタリングの記録が推奨されています。プロンプト評価メトリクス、テストセット、回帰ベースラインは、AI品質管理の証拠として機能します。 - EU AI Act 2025–2026： 高リスク AI システムは定量的品質メトリクスを用いた記録されたテストを実証する必要があります。プロンプト評価記録はAI Act透明性要件の監査対応証拠を提供します。 - データセキュリティ法（中国）： 中国でのプロンプト評価ログ（個人データを含む可能性あり）はオンショア保持する必要があります。ローカルLLMと在中評価インフラを検討。 - 多言語評価： プロンプトを複数言語で展開する場合、言語バリアントごとに別途評価します。BLEUスコアと意味的類似度閾値は言語ペア間で大きく異なります。英語で0.92の類似度は、文法的違いのため日本語で0.75になる可能性があります。