llama-bench:ローカルLLMの速度をベンチマークする最良のツール
このページには参考用の第三者製品へのリンクが含まれています。PromptQuorumはいかなるアフィリエイトプログラムにも参加しておらず、これらはコミッションを得ない単なる参照リンクです。リンクのクリックと次のステップはご自身の責任です。これらのリンクはPromptQuorumによる推奨や検証を表すものではありません。
クイック回答
llama.cppに含まれるllama-benchが、ローカルLLMの速度をベンチマークする最良のツールです。固定したコンテキスト長と量子化レベルの下でプロンプト処理速度と生成速度を分けて報告するため、異なるハードウェア間で結果を比較できます。現在のセットアップの手早い確認には、代わりにOllamaの`--verbose`出力を使ってください。
- ▸総合ベストベンチマーク:llama-bench — プロンプト処理速度と生成速度を分離し、コンテキスト長と量子化を制御します。
- ▸最速の確認方法:Ollama --verbose — 通常のチャット応答から得られる大まかなトークン/秒の値で、別途ベンチマーク環境は不要です。
- ▸最良のGUIオプション:LM Studio — モデルのテスト・比較中にトークン/秒をリアルタイム表示、コマンドライン不要。
- ▸ハードウェア比較に最適:llama-bench — このリストの中で唯一、制御された再現可能な並列比較のために作られています。
重要なポイント
- ✓llama-benchは総合的に最良のベンチマークツールで、固定・再現可能な設定下でプロンプト処理速度と生成速度を分離します
- ✓Ollamaの--verboseフラグは「自分のセットアップは十分速いか」を確かめる最速の方法であり、制御されたハードウェア比較の代わりにはなりません
- ✓LM Studioはコマンドラインなしで素早いテスト・モデル実験・リアルタイム性能確認ができる最良のGUIオプションです
- ✓モデル・量子化・コンテキスト長は実行間で必ず同一に保ってください。設定が異なる比較は無意味な数値になります
- ✓複数回実行して平均を取ってください。設定が付随しないネット上の生のトークン/秒の数値は決して信用しないでください
ベストピック:llama-bench
llama-benchは、再現可能でハードウェア間比較が可能な速度数値を必要とするすべての人にとって適切な既定の選択です。llama.cppの一部として提供され、コマンドラインから実行し、テストごとに2つの別々の数値を報告します。プロンプト処理速度(モデルが入力をどれだけ速く読むか)と生成速度(新しいトークンをどれだけ速く生成するか)です。この2つの数値は負荷のかかり方が大きく異なるため、両者を1つの数値に混ぜるツールは全体像の半分を隠してしまいます。
購入前に2枚のGPUを比較する場合、新しいMacやPCをテストする場合、量子化レベルを比較する場合、結果を公開する場合、ハードウェアのアップグレードが見合うか判断する場合にllama-benchを使ってください。各テストを自動的に繰り返し平均を報告するため、手動で5回実行する必要はありません。
最もよくある追加の質問は、コンテキスト長やプロンプト/生成長のオプションが実際に何を制御するかです。簡単に言うと、llama-benchではテストプロンプトの長さと生成するトークン数を互いに独立して固定できるため、短いチャット的なやり取りでも長いドキュメント的なプロンプトでも、他の設定を一切変えずにテストできます。この分離があるからこそ、2つの結果を初めて比較できるのです。
llama-benchは商用製品ではありません。GitHub上のllama.cppプロジェクトの無料でオープンソースな一部であり、llama.cppをビルドまたはインストールすれば自動的に含まれます。
クイックテスト:Ollama --verbose
Ollamaの`--verbose`フラグは、現在のセットアップが十分速く感じられるかを確認する最速の方法です。llama-benchの代わりにはなりません。ollama run <model> --verboseを実行すると、通常のチャット応答の末尾にトークン/秒の値が表示され、別途ベンチマークの手順は不要です。
この数値は単一の制御されていない生成から得られたものであり、繰り返しの固定コンテキスト実行ではないため、ノイズが多く、2つの異なるハードウェアを比較する用途には向きません。「今これはチャットに使えるか」を確認するにはこれを使い、「別のマシンと比較しても通用する答えが必要」な場合はllama-benchを使ってください。
Ollamaは無料でオープンソースです。セットアップ手順はOllama公式サイトをご覧ください。
最良のGUIオプション:LM Studio
ターミナルを使わずにトークン/秒をリアルタイム表示したいなら、LM Studioが最良の選択です。チャットインターフェースで生成速度をリアルタイム表示するため、素早いハードウェアチェック、モデル実験、作業中の量子化の並列比較に便利です。
Ollamaの`--verbose`フラグと同様、LM Studioのリアルタイム表示は便利ではありますが厳密ではありません。ハードウェア購入の判断でllama-benchの結果を信頼できるものにする、実行回数やコンテキスト長の制御は提供していません。LM Studioには無料プランがあります。ダウンロードはLM Studio公式サイトから。
購入前にベンチマークする
ベンチマーク関連の検索の大半で本当に知りたいのは「どのツールを使うべきか」ではなく「どのハードウェアを買うべきか」です。見知らぬ人の投稿にある一般的なトークン/秒の数値ではそれに答えられません。決める前に、実際に検討している両方のGPUで同じモデル・量子化・コンテキスト長を実行してください。
自分のllama-bench実行から実際の数値が得られたら、デスクトップにとどまるならローカルLLM向けベストGPUガイド、コンパクトな常時稼働機ならローカルLLM向けベストミニPCガイド、ディスクリートGPUの代わりにユニファイドメモリが欲しいならApple SiliconとNVIDIA GPUの比較記事の選択肢と比較してください。
ベンチマークを有用にする条件
有用な比較は、実行間でモデル・量子化レベル・コンテキスト長・プロンプト内容を一定に保ち、プロンプト処理速度と生成速度を別々に報告します。これらの制御がなければ、単一のトークン/秒の数値は、同じ構成がより長いプロンプトや異なる量子化でどう動作するかについてほとんど何も教えてくれません。
複数回実行して結果を平均してください。単一の実行は熱によるスロットリング、バックグラウンドプロセス、モデルのコールドスタート読み込みの影響を受けます。モデル・量子化・コンテキスト長が併記されていない限り、フォーラムやSNSの出典が不明なトークン/秒の数値は、ベンチマークではなく大まかな体験談として扱ってください。
まとめ
本格的でハードウェア間比較が可能なベンチマークにはllama-benchを使ってください。現在のセットアップの手早い確認にはOllamaの`--verbose`出力を、リアルタイム性能表示付きの最も簡単なGUI体験にはLM Studioを使ってください。そして本当の目的が購入の判断であるなら、決断する前に、気になっているまさにそのモデルと量子化を両方のマシンでベンチマークし、勝者をGPU、ミニPC、Macの各ガイドと比較してください。