LoRA vs fine-tuning completo: qual usar?
Resposta rápida
Use LoRA, a menos que você tenha um conjunto de dados grande e de alta qualidade e VRAM suficiente para um fine-tuning completo. O LoRA treina um pequeno conjunto de pesos adicionados sobre um modelo base congelado, o que usa muito menos memória e ainda adapta o comportamento de forma eficaz para a maioria das tarefas.
- ▸O LoRA congela o modelo base e treina pequenas matrizes de pesos adicionadas — custo de VRAM muito menor.
- ▸O fine-tuning completo atualiza todos os parâmetros e pode superar ligeiramente o LoRA em qualidade com dados limpos suficientes.
- ▸Os adaptadores LoRA são arquivos pequenos que podem ser trocados no mesmo modelo base.
Atualizado: 14 de julho de 2026
Pontos principais
- ✓O LoRA congela o modelo base e treina pequenos pesos adicionados, usando muito menos VRAM do que o fine-tuning completo
- ✓O fine-tuning completo atualiza todos os parâmetros e pode atingir uma qualidade ligeiramente superior com conjuntos de dados grandes e limpos
- ✓Os adaptadores LoRA são arquivos pequenos e intercambiáveis — vários adaptadores específicos de tarefa podem compartilhar um mesmo modelo base
- ✓Um modelo de 7B que precisa de mais de 80GB de VRAM para fine-tuning completo geralmente pode ser ajustado com LoRA em uma única GPU de consumo
Melhor escolha: LoRA para a maioria das configurações locais
O LoRA é a escolha padrão certa para adaptar um modelo local em hardware de consumo, porque treina uma pequena fração dos parâmetros enquanto alcança resultados próximos ao fine-tuning completo na maioria das tarefas de seguimento de instruções e adaptação de estilo. Use LoRA se: você tem uma única GPU de consumo, um conjunto de dados na casa dos milhares (não milhões) de exemplos, ou quer manter várias variantes específicas de tarefa do mesmo modelo base sem armazenar cópias completas de cada uma.
Use fine-tuning completo se: você tem um conjunto de dados grande e bem selecionado (normalmente centenas de milhares de exemplos ou mais), acesso a várias GPUs com muita VRAM, e a tarefa exige mudanças mais profundas nas representações subjacentes do modelo do que as matrizes adicionadas do LoRA conseguem capturar. Na dúvida, comece com LoRA — é mais rápido de iterar e pode ser convertido para fine-tuning completo depois, se a qualidade estagnar.
Principais diferenças
O LoRA (Low-Rank Adaptation) insere pequenas matrizes de pesos treináveis em um modelo, mantendo os pesos originais congelados, o que reduz bastante a memória e o processamento necessários para o treinamento em comparação com atualizar cada parâmetro. O modelo base congelado ainda precisa ser carregado para o treinamento, mas o otimizador só precisa rastrear gradientes para as pequenas matrizes adicionadas, de onde vem a maior parte da economia de VRAM.
O fine-tuning completo atualiza o modelo inteiro e pode produzir resultados marginalmente melhores em conjuntos de dados grandes e bem selecionados, mas exige muito mais VRAM e armazenamento, já que o resultado é uma cópia completa do modelo em vez de um pequeno arquivo de adaptador. O estado do otimizador no fine-tuning completo (principalmente com otimizadores comuns como o Adam) costuma exigir várias vezes o próprio tamanho de memória do modelo, o que explica por que o fine-tuning completo de um modelo de 7B geralmente precisa de várias GPUs com muita VRAM.
| LoRA | Fine-Tuning completo | |
|---|---|---|
| Parâmetros atualizados | Apenas pequenas matrizes adicionadas | Todos os parâmetros do modelo |
| Necessidade típica de VRAM (modelo 7B) | GPU de consumo única, geralmente abaixo de 24GB | Várias GPUs com muita VRAM |
| Artefato de saída | Arquivo de adaptador pequeno (megabytes) | Cópia completa do modelo (gigabytes) |
| Intercambiável entre tarefas | Sim — vários adaptadores, um modelo base | Não — cada resultado é um modelo completo separado |
Quando usar cada um
Escolha LoRA ao adaptar o tom, formato ou comportamento restrito a uma tarefa de um modelo — são exatamente os tipos de mudança que as matrizes adicionadas do LoRA capturam bem sem afetar o conhecimento mais amplo do modelo. Escolha fine-tuning completo quando a tarefa exigir que o modelo absorva conhecimento factual novo substancial ou mude fundamentalmente seu comportamento em uma gama muito ampla de entradas, o que se beneficia mais da atualização de todos os parâmetros.
Na dúvida, comece com LoRA e avalie a qualidade no seu próprio conjunto de teste reservado antes de considerar o fine-tuning completo — a velocidade de iteração do LoRA (treinamento mais rápido, checkpoints menores) torna mais barato experimentar diferentes combinações de dados e hiperparâmetros primeiro.