llmfit是什么?
llmfit的README把这款工具描述为“检查你的CPU、系统内存、GPU、显存和加速器配置,以便在常见量化版本中推荐模型”(译自英文原文)。
- 由GitHub用户AlexsJones维护;仓库创建于2026年2月,项目既没有公司,也没有专门的网站
- 成熟度:本次核查时GitHub星标约39,000+个;最新版本v1.1.20(2026-11-03);最新提交为2026-11-18,主要是每周的基准数据刷新和社区提交的基准测试,另有一次2026-11-17的修复
- 它不是什么:llmfit不是推理引擎。它从不加载模型,只负责推荐,然后交给Ollama等运行时
- Ray环境的集群模式在README中标注为“Preview”,迄今“仅针对模拟的Ray仪表盘测试过”
- PromptQuorum没有运行过llmfit;本评测基于README、docs文件夹、GitHub API和发布页面
llmfit的工作方式:检测、打分与基准测试
据README和docs/how-it-works.md,llmfit分几个步骤工作。
- 硬件检测 — 读取CPU核心数和系统内存,再探测GPU:NVIDIA使用nvidia-smi,AMD使用rocm-smi,Intel Arc使用sysfs/lspci,Apple Silicon使用system_profiler(统一内存计为显存),Ascend使用npu-smi
- 模型数据库 — 来自Hugging Face API的数百个模型在编译时嵌入二进制文件,因此用户升级llmfit本身就能获得目录更新
- 动态量化 — 不假定固定格式,而是从Q8_0一路向下检查到Q2_K,选出内存放得下的最高质量;若都放不下,就以一半的上下文重试
- 打分与速度 — 每个模型在质量、速度、适配度和上下文上获得0到100分,并按用例加权合成;速度来自内存带宽模型,每个数值都带有从“estimated”到“measured_local”的置信度标签
- 界面 — 默认是交互式终端界面,另有fit、recommend、info、bench、doctor、storage和serve等命令;serve会启动网页仪表盘和REST API(/api/v1/system、/api/v1/models)
- 提供方与基准测试 — 可检测已安装的模型,并通过Ollama、llama.cpp、MLX、Docker Model Runner和LM Studio发起下载;用bench测量真实的每秒token数和首个token延迟,还可选择把结果分享给项目
获取llmfit
llmfit通过终端安装;没有.dmg或.exe安装程序。 在Windows、macOS和Linux上,一条命令即可。
平台 | 命令或链接 |
|---|---|
| Windows(winget) | winget install --exact --id AlexsJones.llmfit |
| Windows(Scoop) | scoop install llmfit |
| macOS / Linux(Homebrew) | brew install AlexsJones/llmfit/llmfit |
| macOS / Linux(脚本) | llmfit.axjns.dev |
| Python(uv) | uv tool install -U llmfit |
| Docker | docker run -it --rm ghcr.io/alexsjones/llmfit --tui |
| 预编译二进制文件 | Releases |
| 源代码(MIT) | GitHub |
当前版本:v1.1.20,于2026-11-03发布在发布页面;仓库最后一次推送在2026-11-18(2026-11-19核查)。发布页面只提供.tar.gz和.zip压缩包,因此需要终端。没有独立的产品网站:GitHub仓库是主页面,llmfit.axjns.dev只托管安装脚本。据README,Windows发布的二进制文件自v1.1.19起通过SignPath签名。与任何“curl管道到shell”的命令一样,请先阅读安装脚本,或改用包管理器。
隐私与数据处理
据README(2026-11-19核查),llmfit“除非用户或安装、运行该程序的人明确要求,否则不会向其他联网系统传输任何信息”(译自英文原文)。
- README称,llmfit只会为你调用的功能联系外部服务:模型下载、运行时提供方查询和社区排行榜
- 基准测试的运行结果先保存在本地;分享是单独的可选步骤,据README,结果会以拉取请求(pull request)的形式提交给项目
llmfit serve会启动HTTP API和网页仪表盘;README中的示例将其绑定到0.0.0.0,这会让网络中的其他机器也能访问,因此请审慎选择主机地址- 本评测没有找到公司、隐私政策页面、适用法律条款或法律声明;上述README中的内容是唯一的隐私说明
llmfit的许可证与价格
据GitHub仓库(2026-11-19核查),llmfit免费且开源。
项目 | 详情 |
|---|---|
| 许可证 | MIT |
| 价格 | 免费;未发现付费套餐 |
| 账号 / API密钥 | 未提及 |
README和文档中未提及付费套餐、账号或API密钥。据README,每个版本附带的社区基准数据来自提交的拉取请求。
谁适合使用llmfit?
当你想问的是“我的机器能运行什么”,而不是“替我运行它”时,llmfit最合适。
适合使用llmfit的情况
- 想在下载任何东西之前,得到一份按排名整理的、适合自己CPU、内存和GPU的开源LLM与量化候选清单
- 已在使用某个本地运行时,想就“放得下什么”再听一个意见
- 想要JSON输出或HTTP API,把模型推荐接入脚本或部署流水线
- 计划使用多GPU或多机配置,想在启动前检查拆分方案(集群模式为预览功能)
建议再等等或另寻他法的情况
- 想要一个真正运行并与模型对话的工具:llmfit只负责推荐,然后交给运行时
- 需要不经基准测试的精确速度数值:在运行bench之前,数值只是预估
- 在Windows上使用AMD或Intel GPU:平台文档称那里仅通过nvidia-smi检测GPU,因此请使用手动内存参数
- 想要打包好的桌面应用:README记录的是终端界面、CLI和网页仪表盘,发布页面只提供压缩包
llmfit与其他替代方案对比
llmfit与它支持的运行时并列使用,而不是取代它们。完整目录请参阅Local AI Directory。
- Ollama — 在命令行中运行和提供模型;llmfit可以列出放得下的模型,并通过Ollama发起下载。参见Ollama评测。
- LM Studio — 带聊天界面、可下载并运行模型的桌面应用;llmfit将其作为提供方支持,但自身没有聊天功能。参见LM Studio评测。
- Docker Model Runner — Docker Desktop内置的模型服务;llmfit将其列为受支持的运行时提供方。参见Docker Model Runner评测。
- llm-checker — llmfit的README将其列为替代方案:一款集成Ollama的Node.js命令行工具,通过真正运行模型来做基准测试,而llmfit依据规格进行预估;README补充说,llm-checker把所有模型都当作稠密模型,而非混合专家(MoE)模型。
常见问题
llmfit会自己运行或下载模型吗?
不会。它推荐模型,并可通过受支持的提供方发起下载;运行模型的是提供方。
llmfit的速度数值有多准确?
除非另有标注,它们是由内存带宽公式得出的预估。bench会测量真实的每秒token数,据文档,实测值会替换表中的预估值。
llmfit能检测哪些GPU?
据平台文档:Linux上支持NVIDIA、AMD、Intel Arc、Apple Silicon和Ascend,macOS上支持Apple Silicon,Windows上通过nvidia-smi支持NVIDIA;检测失败时可手动指定。
llmfit会把我的硬件信息发送到别处吗?
据README,只有在你使用需要外部服务的功能(如下载、提供方查询或社区排行榜)时,它才会联系外部服务。
llmfit有图形界面应用吗?
没有打包好的下载版本:README记录的是终端界面、CLI和网页仪表盘。README还列出了一个由第三方开发的独立Windows图形界面llmfit-gui,本评测未对其进行检验。
