2026年 最適なLLM評価ツール：Braintrust・Weave・Promptfoo

採点機能の一覧ではなく、評価がどこで走り誰が結果を読むかで選んでください。三つとも同じ採点の基本要素を備えています。 以下を上から読み、自分に当てはまる最初の行で止めてください。

LLM評価ツールは、テストケースのデータセットをプロンプトやエージェントに通して各出力を採点し、変更が利用者に届く前に良くなったのか悪くなったのかを判断できるようにします。 データセットは通常、入力と期待出力の組で、本番ログから抽出したもの、境界ケースとして手書きしたもの、あるいは生成したものです。スコアラーは、文字列一致やJSONスキーマ検証のような決定的な検査から、二つ目のモデルが評価基準に沿って採点するLLM-as-Judge、さらに自分で書く独自関数まで幅があります。

これは、稼働後にシステムが何をしているかを見張るのとは別の仕事です。評価は「この変更を出して安全か」に答え、本番監視は「いま何をしているか」に答えます。本ページは前者を扱います。プロンプト単位で同じ問題を見る場合はプロンプト品質の評価方法をご覧ください。

三つともLLM-as-Judge、独自スコアラー、データセットによる回帰テストを備えているため、比較の軸はホスティング方式、費用構造、利用条件になります。 料金は2026年8月28日に各社の料金ページから、リポジトリの数値は同日にGitHub APIから取得しました。

Braintrustは、コードを書かない人が評価結果を見る必要があるときに選ぶものです。 その価値はホスト型の画面、データセットのバージョン管理、人によるレビューの流れに集中しており、これはまさに自前で作らねばならない部分です。

チームがすでにWeights & Biasesで実験を管理しているならWeaveが当然の答えで、そうでなければ説得力は落ちます。 論点は統合そのもので、評価がすでに見ている実行結果の隣に並びます。

Promptfooはどの規模でも費用がかからないもので、理由は自分で動かすからです。 プラットフォームではなくCLIとライブラリなので、評価はコードの隣に設定として置かれ、テストがすでに走っている場所で実行されます。

OpenAIは2026年3月9日にPromptfooの買収を発表し、オープンソースを維持すると公に約束しました。 OpenAI自身の文言は「Promptfoo will remain open source under the current license, and we will continue to service and support current customers.」です。買収は当時TechCrunch、CNBC、Forbesが報じ、OpenAIとPromptfooそれぞれのサイトでも確認できます。

現時点の実態はその約束を裏づけています。ほぼ半年を経てもリポジトリは`promptfoo`組織のままで、MITライセンスのままで、本ページの確認当日にも更新されています。望ましい状態です。

それでも考えておくべき理由は、ライセンスではなくガバナンスにあります。評価ツールはモデルを判定するための道具であり、それがいまモデルを作る企業の所有になりました。MITライセンスは、プロジェクトの方向性が自分たちに合わなくなればフォークできることを意味し、これはBraintrustにもWeaveにもない実質的な保護です。ただし評価戦略がモデルベンダー間の中立性に依拠しているなら、それは前提として流すのではなく、意識的に決めるべき事柄です。

費用は席数ではなくデータ量と採点用モデルの支出で増えます。だからこそ無料枠のユーザー数無制限は、見た目以上に効いてきます。 下表は月およそ5万スコアという中規模の負荷で試算しています。

三つのうち自社運用が既定であり、企業向けの上位機能ではないのはPromptfooだけです。 CLIとライブラリであるため、テストケースもモデルの出力も、ホスト型の枠をあえて選ばない限り自分の環境から出ません。データ所在地の規制下にあるチームにとって、これは問いに答えるのではなく問い自体を消し去ります。

Braintrustはオンプレミスまたはホスト型の導入を提供しますが、Enterpriseに限られ、個別価格と商談が前提になります。マーケティング上の文言ではなく実在する導入形態ですが、セルフサービスでは評価できません。

WeaveのEnterpriseは、顧客管理の暗号鍵、HIPAA準拠、安全なプライベート接続を伴うシングルテナントの選択肢を提供します。ここは慎重に読んでください。顧客管理鍵を伴うシングルテナントは専用インスタンスであり、自社の境界内で動かすことと同義ではありません。要件が厳密にオンプレミスなら、シングルテナントで満たされると決めてかからず、Weights & Biasesに詳細を確認してください。

機能一覧よりもチームの形が判断を左右します。 次の5類型でほとんどの読者を説明できます。

評価データセットはたいてい本番のトラフィックから作られるため、LLM基盤の中でもとりわけ機微なデータになります。そのため、ホスト型かローカルかという選択は主要3市場でコンプライアンスの問題になります。

テストセットが十数個のプロンプトで、実行するのがエンジニア一人なら、三つとも見送ってCIで採点するスクリプトを書いてください。 アカウントもメーターも保持期間もなしに同じ回帰の兆候が得られ、あとからプラットフォームへ移っても失うものはありません。資産はデータセットであり、それは一緒に移せるからです。

待つ価値のある閾値は、データセットの管理そのものが仕事になったときです。失敗したケースを本番から日常的にテストセットへ取り込みたくなったとき、コードを書かない人が出力を採点する必要が出たとき、あるいは今月の結果を前四半期と比べる必要が出たときです。これらはデータ管理の問題であり、実際に買っているのはそこです。採点自体は昔から簡単な部分でした。