本地模型训练与运维工具对比(2026):微调与可观测性

我们如何比较

对比表

微调工具:差异所在

• LoRA与QLoRA。 LLaMA-Factory和Unsloth在文档中说明支持针对语言模型的LoRA或QLoRA微调。Locally Uncensored在文档中说明的是一个独立的LoRA训练器,面向图像模型而非语言模型。
• Web界面。 LLaMA-Factory、Unsloth和Locally Uncensored在文档中说明提供用于训练的Web界面。
• 多GPU训练。 LLaMA-Factory和Unsloth在文档中说明支持多GPU训练。
• 低显存训练。 LLaMA-Factory和Unsloth在文档中说明提供低显存或节省内存的模式。
• 导出为GGUF或Ollama。 LLaMA-Factory和Unsloth在文档中说明支持将模型导出为GGUF或Ollama。
• 信息稀少的行。 LoRAX和Second Me因其与微调相关的功能而出现在这里,但它们的文档没有说明所比较的任何属性,因此它们的单元格为短横线;请参阅它们的评测。

可观测性与评估:差异所在

• 追踪。 Langfuse和Plano在文档中说明支持对LLM调用进行追踪。
• 评估。 Langfuse在文档中说明支持评估或打分。
• 提示词管理。 Langfuse在文档中说明支持提示词管理。
• OpenTelemetry。 Plano在文档中说明支持OpenTelemetry。
• Docker与自托管。 Langfuse和Mission Control在文档中说明支持Docker或自托管部署。
• 本地LLM。 Langfuse在文档中说明可与本地或自托管的LLM配合使用。

本对比无法告诉你的事

• 它比较的是文档中说明的功能,而不是实际结果。它无法说明微调后的模型质量如何、训练在你的硬件上跑得多快,或评估分数有多准确——PromptQuorum没有对所列工具测量过这些。
• 短横线表示我们查阅的文档存在空白,并不是否定性的结论。有些工具可能支持某项功能,只是其README没有提及。
• 微调所需的硬件在很大程度上取决于模型和设置;在开始训练之前,请阅读该工具的评测,了解切合实际的需求。
• 工具更新很快。每款工具的评测都会注明其所核对的版本,当评测更新时,本指南也会随之更新。

常见问题

资料来源

• 各工具的官方README或网站,列在该工具的PromptQuorum评测中(可从对比表链接进入)。
• PromptQuorum本地AI应用目录——表格每一行所依据的记录。

相关阅读

• 本地软件目录——浏览全部349款本地AI应用,并按类别筛选。
• 本地推理引擎、运行时与网关对比——运行你所训练模型的工具。
• 本地编程助手、智能体与工作流工具对比——智能体框架与工作流构建器。