Mergekit及合并本地模型权重的替代方案

选择语言:

本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。这些链接不代表 PromptQuorum 的任何认可或验证。

快速回答

Mergekit是使用最广泛的工具。它使用线性平均、SLERP或TIES等方法合并兼容的模型权重文件,合并本身无需任何GPU训练步骤——合并过程在CPU上运行,所需时间仅为微调所需时间的一小部分。

更新于: 2026年7月14日

Hardware Extension高级

关键要点

最佳选择:Mergekit

Mergekit是合并本地模型权重的标准选择,因为它是开源的,支持最广泛的合并方法,并且不需要GPU训练步骤——只需要足够的系统内存,在合并过程中将源模型保存在内存中即可。这使它能在普通的台式机或笔记本电脑上使用,而完整微调则需要具备训练能力的GPU。

在以下情况下使用Mergekit:你想将同一基础模型的两个微调版本的行为合并为一个;你没有足够的算力预算进行完整微调;或者你想快速试验多种合并比例而无需重新训练。在以下情况下避免使用Mergekit:你想合并的模型具有不同的基础架构或参数数量——权重层面的合并需要匹配的形状。

模型合并使用数学合并方法,而非额外的训练,将共享相同基础架构的两个或多个模型的权重组合成一组新的权重。由于合并过程中不进行梯度计算或反向传播,该过程在CPU上只需几分钟即可完成,而完整微调则需要数小时甚至数天。

输出是一个与源模型大小相同的新模型文件——不是适配器,也不是包装多个来源的封装层。合并完成后,结果在推理时表现为一个普通模型,不会因组合多个来源而产生额外延迟。

线性平均是最简单的方法——它按固定比例混合对应的权重,作为初步尝试是合理的,但随着混合的模型越来越多,往往会稀释每个源模型的独特优势。

SLERP(球面线性插值)沿权重空间中的曲线路径而非直线来混合两个模型,在恰好合并两个模型时,通常比简单的线性平均更能保留每个模型的特性。

TIES和DARE是更具选择性的方法,它们尝试解决源模型之间冲突的权重更新,而不是对其取平均,这在同时合并两个以上模型时,通常能更好地保留每个源模型的独特优势。

恰好合并两个模型时——从SLERP开始。跳过条件:你需要对哪些权重被保留有更精细的控制。

合并三个或更多模型时——使用TIES或DARE。跳过条件:源模型在行为上差异很大,因为过多分歧的来源会降低冲突解决的效果。

在拥有32GB内存的机器上,仅用CPU合并两个7B模型是轻松可行的。合并更大的模型(30B以上)或同时合并多个来源可能会超出典型桌面的内存容量,因为Mergekit在合并过程中需要将每个源模型保留在内存中——仅为合并步骤租用高内存云实例,通常比为偶尔的任务购买额外的本地内存更划算。

披露:本文包含联盟链接。如果你通过这些链接购买商品,我们可能会获得佣金,你无需为此支付额外费用。

我可以合并不同架构的模型吗?▾

不可以——待合并的模型通常需要具有相同的基础架构和参数形状,权重层面的合并才能正确进行。基于不同基础架构构建的两个微调模型之间的合并不会产生有效的模型。

合并模型需要GPU吗?▾

不需要——合并计算本身是CPU密集型的,不需要GPU加速。GPU只有在之后才变得相关,即当你对合并后的模型进行推理或进一步微调时。

合并后的模型性能会优于任一源模型吗?▾

这取决于源模型行为的兼容程度。精心选择的合并可以结合各源模型的优势,但两个训练方式差异很大的模型合并后,也可能产生比任一单独源模型更差的结果——在依赖合并模型之前,务必在你自己的任务上进行评估。

Mergekit是合并本地模型权重的唯一工具吗?▾

它是使用最广泛的开源选项,也是大多数本地LLM教程所参考的工具,但一些模型中心和微调平台提供了自己内置的合并工具,支持Mergekit方法的一个子集。