跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
Overview & Reference

llmfit评测:找出适合你硬件的本地LLM

·阅读约7分钟 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

llmfit是由GitHub用户AlexsJones维护的免费开源(MIT)终端工具,它检测你的CPU、内存、GPU和显存,并按与你的机器的适配程度为数百个开源LLM排序。 它从适配度、预估速度、质量和上下文长度为每个模型打分,可以把下载交给Ollama、llama.cpp、MLX、LM Studio或Docker Model Runner,也能测量真实的每秒token数。llmfit本身不运行模型。当前版本为v1.1.20,发布于2026-11-03;仓库最新提交日期为2026-11-18。

关键要点

  • 命令行工具,提供终端界面、传统CLI输出、网页仪表盘和REST API;没有桌面安装程序
  • 按适配度、预估速度、质量和上下文为模型打分,并选出能放得下的最佳量化
  • 把下载和基准测试交给你已在使用的运行时
  • 在你运行基准测试之前,速度数值只是预估;已保存的实测值会替换表中的预估
  • MIT许可证,免费,一条命令即可安装(winget、Scoop、Homebrew、uv、Docker)

📍 简单一句话

llmfit是一款免费开源(MIT)的终端工具,读取你的CPU、内存和GPU,按内存适配度、预估速度、质量和上下文长度为数百个开源LLM排序,自身不运行任何模型。

💬 简单来说

在花一个小时下载一个根本加载不了的模型之前,先运行一次llmfit:它检查你的机器配置,把模型从“运行流畅”排到“太吃紧”,还可以选择通过你已在用的运行时测量真实速度。

llmfit是由GitHub用户AlexsJones维护的免费开源(MIT)终端工具,它检测你的CPU、内存、GPU和显存,并按与你的机器的适配程度为数百个开源LLM排序。 它从适配度、预估速度、质量和上下文长度为每个模型打分,可以把下载交给Ollama、llama.cpp、MLX、LM Studio或Docker Model Runner,也能测量真实的每秒token数。llmfit本身不运行模型。当前版本为v1.1.20,发布于2026-11-03;仓库最新提交日期为2026-11-18。

llmfit评测:找出适合你硬件的本地LLM

llmfit是什么?

llmfit的README把这款工具描述为“检查你的CPU、系统内存、GPU、显存和加速器配置,以便在常见量化版本中推荐模型”(译自英文原文)。

  • 由GitHub用户AlexsJones维护;仓库创建于2026年2月,项目既没有公司,也没有专门的网站
  • 成熟度:本次核查时GitHub星标约39,000+个;最新版本v1.1.20(2026-11-03);最新提交为2026-11-18,主要是每周的基准数据刷新和社区提交的基准测试,另有一次2026-11-17的修复
  • 它不是什么:llmfit不是推理引擎。它从不加载模型,只负责推荐,然后交给Ollama等运行时
  • Ray环境的集群模式在README中标注为“Preview”,迄今“仅针对模拟的Ray仪表盘测试过”
  • PromptQuorum没有运行过llmfit;本评测基于README、docs文件夹、GitHub API和发布页面

llmfit的工作方式:检测、打分与基准测试

据README和docs/how-it-works.md,llmfit分几个步骤工作。

  • 硬件检测 — 读取CPU核心数和系统内存,再探测GPU:NVIDIA使用nvidia-smi,AMD使用rocm-smi,Intel Arc使用sysfs/lspci,Apple Silicon使用system_profiler(统一内存计为显存),Ascend使用npu-smi
  • 模型数据库 — 来自Hugging Face API的数百个模型在编译时嵌入二进制文件,因此用户升级llmfit本身就能获得目录更新
  • 动态量化 — 不假定固定格式,而是从Q8_0一路向下检查到Q2_K,选出内存放得下的最高质量;若都放不下,就以一半的上下文重试
  • 打分与速度 — 每个模型在质量、速度、适配度和上下文上获得0到100分,并按用例加权合成;速度来自内存带宽模型,每个数值都带有从“estimated”到“measured_local”的置信度标签
  • 界面 — 默认是交互式终端界面,另有fit、recommend、info、bench、doctor、storage和serve等命令;serve会启动网页仪表盘和REST API(/api/v1/system、/api/v1/models)
  • 提供方与基准测试 — 可检测已安装的模型,并通过Ollama、llama.cpp、MLX、Docker Model Runner和LM Studio发起下载;用bench测量真实的每秒token数和首个token延迟,还可选择把结果分享给项目

获取llmfit

llmfit通过终端安装;没有.dmg或.exe安装程序。 在Windows、macOS和Linux上,一条命令即可。

平台
命令或链接
Windows(winget)winget install --exact --id AlexsJones.llmfit
Windows(Scoop)scoop install llmfit
macOS / Linux(Homebrew)brew install AlexsJones/llmfit/llmfit
macOS / Linux(脚本)llmfit.axjns.dev
Python(uv)uv tool install -U llmfit
Dockerdocker run -it --rm ghcr.io/alexsjones/llmfit --tui
预编译二进制文件Releases
源代码(MIT)GitHub

当前版本:v1.1.20,于2026-11-03发布在发布页面;仓库最后一次推送在2026-11-18(2026-11-19核查)。发布页面只提供.tar.gz和.zip压缩包,因此需要终端。没有独立的产品网站:GitHub仓库是主页面,llmfit.axjns.dev只托管安装脚本。据README,Windows发布的二进制文件自v1.1.19起通过SignPath签名。与任何“curl管道到shell”的命令一样,请先阅读安装脚本,或改用包管理器。

隐私与数据处理

据README(2026-11-19核查),llmfit“除非用户或安装、运行该程序的人明确要求,否则不会向其他联网系统传输任何信息”(译自英文原文)。

  • README称,llmfit只会为你调用的功能联系外部服务:模型下载、运行时提供方查询和社区排行榜
  • 基准测试的运行结果先保存在本地;分享是单独的可选步骤,据README,结果会以拉取请求(pull request)的形式提交给项目
  • llmfit serve会启动HTTP API和网页仪表盘;README中的示例将其绑定到0.0.0.0,这会让网络中的其他机器也能访问,因此请审慎选择主机地址
  • 本评测没有找到公司、隐私政策页面、适用法律条款或法律声明;上述README中的内容是唯一的隐私说明

llmfit的许可证与价格

据GitHub仓库(2026-11-19核查),llmfit免费且开源。

项目
详情
许可证MIT
价格免费;未发现付费套餐
账号 / API密钥未提及

README和文档中未提及付费套餐、账号或API密钥。据README,每个版本附带的社区基准数据来自提交的拉取请求。

谁适合使用llmfit?

当你想问的是“我的机器能运行什么”,而不是“替我运行它”时,llmfit最合适。

适合使用llmfit的情况

  • 想在下载任何东西之前,得到一份按排名整理的、适合自己CPU、内存和GPU的开源LLM与量化候选清单
  • 已在使用某个本地运行时,想就“放得下什么”再听一个意见
  • 想要JSON输出或HTTP API,把模型推荐接入脚本或部署流水线
  • 计划使用多GPU或多机配置,想在启动前检查拆分方案(集群模式为预览功能)

建议再等等或另寻他法的情况

  • 想要一个真正运行并与模型对话的工具:llmfit只负责推荐,然后交给运行时
  • 需要不经基准测试的精确速度数值:在运行bench之前,数值只是预估
  • 在Windows上使用AMD或Intel GPU:平台文档称那里仅通过nvidia-smi检测GPU,因此请使用手动内存参数
  • 想要打包好的桌面应用:README记录的是终端界面、CLI和网页仪表盘,发布页面只提供压缩包

llmfit与其他替代方案对比

llmfit与它支持的运行时并列使用,而不是取代它们。完整目录请参阅Local AI Directory。

  • Ollama — 在命令行中运行和提供模型;llmfit可以列出放得下的模型,并通过Ollama发起下载。参见Ollama评测。
  • LM Studio — 带聊天界面、可下载并运行模型的桌面应用;llmfit将其作为提供方支持,但自身没有聊天功能。参见LM Studio评测。
  • Docker Model Runner — Docker Desktop内置的模型服务;llmfit将其列为受支持的运行时提供方。参见Docker Model Runner评测。
  • llm-checker — llmfit的README将其列为替代方案:一款集成Ollama的Node.js命令行工具,通过真正运行模型来做基准测试,而llmfit依据规格进行预估;README补充说,llm-checker把所有模型都当作稠密模型,而非混合专家(MoE)模型。

在目录中比较

常见问题

llmfit会自己运行或下载模型吗?

不会。它推荐模型,并可通过受支持的提供方发起下载;运行模型的是提供方。

llmfit的速度数值有多准确?

除非另有标注,它们是由内存带宽公式得出的预估。bench会测量真实的每秒token数,据文档,实测值会替换表中的预估值。

llmfit能检测哪些GPU?

据平台文档:Linux上支持NVIDIA、AMD、Intel Arc、Apple Silicon和Ascend,macOS上支持Apple Silicon,Windows上通过nvidia-smi支持NVIDIA;检测失败时可手动指定。

llmfit会把我的硬件信息发送到别处吗?

据README,只有在你使用需要外部服务的功能(如下载、提供方查询或社区排行榜)时,它才会联系外部服务。

llmfit有图形界面应用吗?

没有打包好的下载版本:README记录的是终端界面、CLI和网页仪表盘。README还列出了一个由第三方开发的独立Windows图形界面llmfit-gui,本评测未对其进行检验。

来源

← 返回 本地LLM进阶

MCP