ローカルLLMのトークン/秒をベンチマークする最良のツールは?
このページには参考用の第三者製品へのリンクが含まれています。PromptQuorumはいかなるアフィリエイトプログラムにも参加しておらず、これらはコミッションを得ない単なる参照リンクです。リンクのクリックと次のステップはご自身の責任です。これらのリンクはPromptQuorumによる推奨や検証を表すものではありません。
クイック回答
llama.cppに含まれるllama-benchが、ローカルLLMの推論速度をベンチマークする最良のツールです。固定したコンテキスト長と量子化レベルの下でプロンプト処理速度と生成速度を分けて報告するため、異なるハードウェア間で結果を比較できます。
- ▸llama-bench:最も厳密な選択肢。プロンプト処理速度と生成速度を分離し、コンテキスト長と量子化を制御します。
- ▸Ollama --verbose:通常のチャットセッションから大まかなトークン/秒の数値を得る最速の方法ですが、llama-benchほど制御されていません。
- ▸サードパーティ製GUI(LM Studioの内蔵統計など)は素早い確認には便利ですが、実行ごとの制御を同じレベルでは提供しません。
更新: 2026年7月14日
重要なポイント
- ✓llama-benchは最も厳密なベンチマークツールで、固定設定下でプロンプト処理速度と生成速度を分離します
- ✓Ollamaの--verboseフラグは通常のチャット実行から素早く大まかなトークン/秒を得られ、簡易チェックに有用です
- ✓コンテキスト長と量子化レベルは実行間で必ず固定してください。そうでなければ比較に意味がありません
- ✓複数回実行して結果を平均してください。1回の実行は熱によるスロットリングやコールドスタートの読み込みの影響を受けます
ベストピック:llama-bench
llama-benchは、再現可能でハードウェア間比較が可能なトークン毎秒の数値を必要とするすべての人にとって適切な既定の選択です。llama.cppのビルドの一部として提供され、コマンドラインから実行し、テストごとに2つの別々の数値を報告します。プロンプト処理速度(モデルが入力をどれだけ速く読むか)と生成速度(新しいトークンをどれだけ速く生成するか)です。この2つの数値は負荷のかかり方が大きく異なるため、両者を混同するツールでは全体像を把握できません。
Ollamaの`--verbose`フラグは、簡易的な動作確認に使える実用的な代替手段です。`ollama run
LM StudioなどのデスクトップフロントエンドもチャットUI内で同様のリアルタイムトークン/秒表示を提供します。すでにそのツールを使っている際の簡単な目視確認には使えますが、ハードウェア購入の判断には頼らないでください。ベンチマーク結果の信頼性を担保する実行回数やコンテキスト長の制御が公開されていません。
ベンチマークツールに求めるべきポイント
信頼できるローカルLLMベンチマークツールは、実行間でコンテキスト長・量子化レベル・プロンプト内容を一定に保ち、プロンプト処理速度とトークン生成速度を別々の数値として報告します。これらの制御がなければ、1回の実行から得られた「トークン/秒」の数値は、同じ構成がより長いプロンプトや異なる量子化でどう動作するかについてほとんど何も教えてくれません。
購入前にGPUを比較する場合、量子化レベルが品質面のトレードオフに見合うか評価する場合、あるいはパフォーマンス数値を公開する場合はベンチマークツールを使ってください。モデルがチャットに使えるかどうかの大まかな感触だけが欲しい場合は、正式なベンチマークを省略してライブのトークン/秒カウンターを見るだけで十分です。
避けるべきこと:コンテキスト長や量子化レベルが付随しない単一実行の数値。これらは何とも比較できません。避けるべきこと:プロンプト処理速度と生成速度を1つにまとめた数値しか報告しないツール。これら2つはコンテキスト長とハードウェアによって異なるスケーリングを示すためです。
ベンチマークに組み合わせるハードウェア
アップグレードの判断を目的にベンチマークを行う場合は、同じモデルファイルと量子化を使って、現在のGPUと候補のGPUで同じllama-benchコマンドを実行し、両者のプロンプト処理と生成の数値を並べて比較してください。
開示:この記事にはアフィリエイトリンクが含まれています。これらのリンク経由で購入された場合、追加費用なしで当サイトが手数料を得ることがあります。