Mergekit e alternativas para fundir pesos de modelos locais

Ler em:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Esta página contém links de referência para produtos de terceiros. O PromptQuorum não está inscrito em nenhum programa de afiliados — são links simples que não geram comissão. Clicar nos links e os próximos passos são de sua inteira responsabilidade. Estes links não representam qualquer endosso ou verificação por parte do PromptQuorum.

Resposta rápida

O Mergekit é a ferramenta mais usada para isso. Ele funde arquivos de pesos de modelos compatíveis usando métodos como média linear, SLERP ou TIES, sem nenhuma etapa de treinamento em GPU — a fusão em si roda na CPU e leva uma fração do tempo que um fine-tuning exigiria.

▸O Mergekit suporta vários métodos de fusão, cada um com um equilíbrio diferente entre mesclagem e preservação das forças individuais de cada modelo.
▸Nenhum treinamento em GPU é necessário para a fusão em si — apenas RAM suficiente para conter os arquivos de pesos sendo combinados.
▸Os modelos fundidos precisam compartilhar a mesma arquitetura base e os mesmos formatos de parâmetros para se combinarem corretamente.

Atualizado: 14 de julho de 2026

Hardware ExtensionAvançado

Pontos principais

✓O Mergekit é a ferramenta open source padrão para fundir pesos de modelos locais compatíveis
✓A fusão não exige uma etapa de treinamento em GPU, apenas RAM suficiente para conter os arquivos de pesos
✓Os métodos linear e SLERP são pontos de partida simples; TIES e DARE preservam melhor as forças individuais de cada modelo
✓Os modelos fundidos precisam compartilhar a mesma arquitetura base e os mesmos formatos de parâmetros

Melhor escolha: Mergekit

O Mergekit é a escolha padrão para fundir pesos de modelos locais porque é open source, suporta a mais ampla gama de métodos de fusão e não exige nenhuma etapa de treinamento em GPU — apenas RAM de sistema suficiente para manter os modelos de origem na memória durante a fusão. Isso o torna acessível em um desktop ou notebook modesto, ao contrário do fine-tuning completo, que exige uma GPU capaz de treinar.

Use o Mergekit se: você quer combinar o comportamento de dois fine-tunes do mesmo modelo base em um só, não tem orçamento computacional para um treinamento completo, ou quer experimentar rapidamente várias proporções de fusão sem retreinar. Evite o Mergekit se: os modelos que você quer combinar têm arquiteturas base ou números de parâmetros diferentes — a fusão em nível de pesos exige formatos correspondentes.

Como funciona a fusão de modelos

A fusão de modelos combina os pesos de dois ou mais modelos que compartilham a mesma arquitetura base em um único conjunto novo de pesos, usando um método matemático de fusão em vez de treinamento adicional. Como nenhum cálculo de gradiente ou retropropagação ocorre durante uma fusão, o processo roda na CPU em minutos, em vez das horas ou dias que um fine-tuning completo levaria.

O resultado é um único arquivo de modelo novo do mesmo tamanho dos modelos de origem — não um adaptador nem um wrapper em torno de várias fontes. Uma vez fundido, o resultado se comporta como um modelo comum no momento da inferência, sem latência extra por combinar várias fontes.

Comparação dos métodos de fusão

A média linear é o método mais simples — ela mescla os pesos correspondentes por uma proporção fixa e funciona como uma primeira tentativa razoável, mas tende a diluir as forças distintas de cada modelo de origem à medida que mais modelos são misturados.

O SLERP (interpolação linear esférica) mescla dois modelos ao longo de um caminho curvo no espaço de pesos em vez de uma linha reta, o que geralmente preserva mais o caráter de cada modelo do que a média linear simples ao fundir exatamente dois modelos.

TIES e DARE são métodos mais seletivos que tentam resolver atualizações de pesos conflitantes entre modelos de origem em vez de fazer a média entre elas, o que geralmente preserva melhor as forças distintas de cada modelo de origem ao fundir mais de dois modelos de uma vez.

Fundindo exatamente dois modelos — comece com SLERP. Pule se: você precisa de controle mais fino sobre quais pesos são mantidos.

Fundindo três ou mais modelos — use TIES ou DARE. Pule se: os modelos de origem divergem muito em comportamento, já que a resolução de conflitos se degrada com muitas fontes divergentes.

Hardware para fusões maiores

Uma fusão apenas com CPU de dois modelos de 7B é tranquila em uma máquina com 32 GB de RAM. Fundir modelos maiores (30B+) ou várias fontes de uma vez pode exceder a RAM típica de um desktop, já que o Mergekit precisa manter cada modelo de origem na memória durante a fusão — alugar uma instância na nuvem com RAM alta apenas para a etapa de fusão costuma ser mais barato do que comprar RAM local adicional para uma tarefa ocasional.

Divulgação: Este artigo contém links de afiliados. Podemos ganhar uma comissão se você comprar através desses links, sem custo adicional para você.

Alugar uma instância na nuvem com RAM alta no RunPod para fusões de modelos grandeslink de produto · divulgadoVerificar o preço do kit de RAM de 64GB na Amazon (para fusões locais repetidas)link de produto · divulgado

Perguntas frequentes

Posso fundir modelos com arquiteturas diferentes?▾

Não — os modelos fundidos geralmente precisam compartilhar a mesma arquitetura base e os mesmos formatos de parâmetros para que uma fusão em nível de pesos funcione corretamente. Uma fusão entre dois fine-tunes construídos sobre arquiteturas base diferentes não produzirá um modelo válido.

Fundir modelos exige uma GPU?▾

Não — o cálculo da fusão em si é limitado pela CPU e não exige aceleração por GPU. Uma GPU só se torna relevante depois, quando você executa inferência no modelo fundido ou o ajusta ainda mais.

Um modelo fundido tem desempenho melhor do que qualquer um dos modelos de origem?▾

Depende de quão compatíveis são os comportamentos dos modelos de origem. Uma fusão bem escolhida pode combinar forças de cada fonte, mas a fusão de dois modelos treinados de forma muito diferente também pode produzir resultados piores do que qualquer uma das fontes isoladamente — sempre avalie o modelo fundido nas suas próprias tarefas antes de confiar nele.

O Mergekit é a única ferramenta para fundir pesos de modelos locais?▾

É a opção open source mais usada e a que a maioria dos tutoriais de LLM local referencia, mas alguns hubs de modelos e plataformas de fine-tuning oferecem seus próprios utilitários de fusão integrados, com um subconjunto dos métodos do Mergekit.

Prompt Bites relacionados

← Voltar para Prompts em resumo