LoRA frente a fine-tuning completo: ¿cuál deberías usar?
Respuesta rápida
Usa LoRA a menos que tengas un conjunto de datos grande y de alta calidad y suficiente VRAM para un fine-tuning completo. LoRA entrena un pequeño conjunto de pesos añadidos sobre un modelo base congelado, lo que usa mucha menos memoria y sigue adaptando el comportamiento de forma efectiva para la mayoría de tareas.
- ▸LoRA congela el modelo base y entrena pequeñas matrices de pesos añadidas — un coste de VRAM mucho menor.
- ▸El fine-tuning completo actualiza cada parámetro y puede superar ligeramente a LoRA en calidad con suficientes datos limpios.
- ▸Los adaptadores LoRA son archivos pequeños que se pueden intercambiar en el mismo modelo base.
Actualizado: 14 de julio de 2026
Puntos clave
- ✓LoRA congela el modelo base y entrena pequeños pesos añadidos, usando mucha menos VRAM que el fine-tuning completo
- ✓El fine-tuning completo actualiza cada parámetro y puede alcanzar una calidad ligeramente superior con conjuntos de datos grandes y limpios
- ✓Los adaptadores LoRA son archivos pequeños e intercambiables — varios adaptadores específicos de una tarea pueden compartir un mismo modelo base
- ✓Un modelo de 7B que necesita más de 80GB de VRAM para un fine-tuning completo a menudo puede ajustarse con LoRA en una sola GPU de consumo
Mejor opción: LoRA para la mayoría de configuraciones locales
LoRA es la opción por defecto adecuada para adaptar un modelo local en hardware de consumo, porque entrena una pequeña fracción de los parámetros mientras logra resultados cercanos al fine-tuning completo en la mayoría de tareas de seguimiento de instrucciones y adaptación de estilo. Usa LoRA si: tienes una sola GPU de consumo, un conjunto de datos del orden de miles (no millones) de ejemplos, o quieres mantener varias variantes específicas de tarea del mismo modelo base sin almacenar copias completas de cada una.
Usa fine-tuning completo si: tienes un conjunto de datos grande y bien curado (normalmente cientos de miles de ejemplos o más), acceso a varias GPU con mucha VRAM, y la tarea requiere cambios más profundos en las representaciones subyacentes del modelo de los que las matrices añadidas de LoRA pueden capturar. Si tienes dudas, empieza con LoRA — es más rápido de iterar y se puede pasar a fine-tuning completo más adelante si la calidad se estanca.
Diferencias clave
LoRA (Low-Rank Adaptation) inserta pequeñas matrices de pesos entrenables en un modelo manteniendo los pesos originales congelados, lo que reduce en gran medida la memoria y el cómputo necesarios para el entrenamiento en comparación con actualizar cada parámetro. El modelo base congelado aún debe cargarse para el entrenamiento, pero el optimizador solo necesita seguir los gradientes de las pequeñas matrices añadidas, que es de donde proviene la mayor parte del ahorro de VRAM.
El fine-tuning completo actualiza todo el modelo y puede producir resultados marginalmente mejores en conjuntos de datos grandes y bien curados, pero requiere bastante más VRAM y almacenamiento, ya que el resultado es una copia completa del modelo en lugar de un pequeño archivo de adaptador. El estado del optimizador para el fine-tuning completo (especialmente con optimizadores comunes como Adam) suele requerir varias veces la huella de memoria del propio modelo, razón por la cual el fine-tuning completo de un modelo de 7B a menudo necesita varias GPU con mucha VRAM.
| LoRA | Fine-tuning completo | |
|---|---|---|
| Parámetros actualizados | Solo matrices añadidas pequeñas | Cada parámetro del modelo |
| Necesidad típica de VRAM (modelo 7B) | Una sola GPU de consumo, a menudo menos de 24GB | Varias GPU con mucha VRAM |
| Artefacto de salida | Archivo de adaptador pequeño (megabytes) | Copia completa del modelo (gigabytes) |
| Intercambiable entre tareas | Sí — varios adaptadores, un modelo base | No — cada resultado es un modelo completo independiente |
Cuándo usar cada una
Elige LoRA al adaptar el tono, formato o comportamiento de una tarea concreta de un modelo — son exactamente el tipo de cambios que las matrices añadidas de LoRA capturan bien sin tocar el conocimiento más amplio del modelo. Elige fine-tuning completo cuando la tarea requiera que el modelo absorba conocimiento factual nuevo sustancial o cambie fundamentalmente su comportamiento en un rango muy amplio de entradas, algo que se beneficia más de actualizar cada parámetro.
Si tienes dudas, empieza con LoRA y evalúa la calidad en tu propio conjunto de prueba reservado antes de considerar el fine-tuning completo — la velocidad de iteración de LoRA (entrenamiento más rápido, checkpoints más pequeños) hace que sea más barato experimentar primero con distintas combinaciones de datos e hiperparámetros.