衡量本地LLM每秒token数的最佳工具是什么?
本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。这些链接不代表 PromptQuorum 的任何认可或验证。
快速回答
llama-bench随llama.cpp附带,是衡量本地LLM推理速度的最佳工具。它在固定上下文长度和量化级别下分别报告提示词处理速度和生成速度,使结果在不同硬件之间具有可比性。
- ▸llama-bench:最严谨的选项——将提示词处理速度与生成速度分离,并控制上下文长度和量化级别。
- ▸Ollama --verbose:从普通聊天会话中快速获得大致每秒token数的最快方式,但控制程度不如llama-bench。
- ▸第三方图形界面(如LM Studio内置的统计信息)便于快速查看,但不提供相同程度的运行间控制。
更新于: 2026年7月14日
关键要点
- ✓llama-bench是最严谨的基准测试工具——在固定设置下将提示词处理速度与生成速度分离
- ✓Ollama的--verbose标志可从普通聊天中快速获得大致的每秒token数,适合快速检查
- ✓务必在多次运行之间固定上下文长度和量化级别,否则比较毫无意义
- ✓多次运行并取平均值——单次运行会受到热节流和冷启动加载的影响
最佳选择:llama-bench
对于任何需要可重复、可跨硬件比较的每秒token数数值的人来说,llama-bench都是正确的默认选择。它作为llama.cpp构建的一部分发布,通过命令行运行,并为每次测试报告两个独立数值:提示词处理速度(模型读取输入的速度)和生成速度(模型生成新token的速度)。这两个数值在负载下的表现差异很大,因此混淆两者的工具无法提供完整的信息。
Ollama的`--verbose`标志是快速健全性检查的实用替代方案。运行`ollama run
LM Studio和其他桌面前端在聊天界面中提供类似的实时每秒token数读数。可以在使用工具时用它快速目测,但不要依赖它做硬件购买决策——它不提供影响基准测试结果可信度的运行次数或上下文长度控制。
选择基准测试工具时要关注什么
可信的本地LLM基准测试工具会在多次运行之间保持上下文长度、量化级别和提示词内容不变,并将提示词处理速度和token生成速度报告为独立的数值。没有这些控制,单次运行得到的"每秒token数"几乎无法说明同一配置在更长提示词或不同量化下的表现。
如果你在购买前比较GPU、评估某个量化级别是否值得质量上的取舍,或需要公开报告性能数据,请使用基准测试工具。如果只想大致了解某个模型是否适合聊天使用,可以跳过正式基准测试,直接观察实时每秒token数计数器。
要避免:未附带上下文长度或量化级别的单次运行数值——它们无法与任何东西比较。要避免:只报告单一合并每秒token数的工具,因为提示词处理速度和生成速度随上下文长度和硬件的变化规律不同。
搭配基准测试的硬件
如果你的基准测试目标是决定是否升级,请在现有GPU和候选GPU上使用相同的模型文件和量化运行同一个llama-bench命令,然后并排比较两者的提示词处理和生成数值。
披露:本文包含联盟链接。如果你通过这些链接购买商品,我们可能会获得佣金,你无需为此支付额外费用。