LoRA vs. vollständiges Fine-Tuning: Was sollten Sie verwenden?
Schnelle Antwort
Verwenden Sie LoRA, außer Sie verfügen über einen großen, hochwertigen Datensatz und genug VRAM für vollständiges Fine-Tuning. LoRA trainiert eine kleine Menge zusätzlicher Gewichte auf einem eingefrorenen Basismodell, was deutlich weniger Speicher benötigt und das Verhalten für die meisten Aufgaben trotzdem effektiv anpasst.
- ▸LoRA friert das Basismodell ein und trainiert kleine zusätzliche Gewichtsmatrizen — deutlich geringerer VRAM-Bedarf.
- ▸Vollständiges Fine-Tuning aktualisiert jeden Parameter und kann bei ausreichend sauberen Daten LoRA in der Qualität leicht übertreffen.
- ▸LoRA-Adapter sind kleine Dateien, die sich bei demselben Basismodell austauschen lassen.
Aktualisiert: 14. Juli 2026
Wichtigste Punkte
- ✓LoRA friert das Basismodell ein und trainiert kleine zusätzliche Gewichte, wodurch deutlich weniger VRAM benötigt wird als bei vollständigem Fine-Tuning
- ✓Vollständiges Fine-Tuning aktualisiert jeden Parameter und kann bei großen, sauberen Datensätzen eine leicht höhere Qualität erreichen
- ✓LoRA-Adapter sind kleine, austauschbare Dateien — mehrere aufgabenspezifische Adapter können sich ein Basismodell teilen
- ✓Ein 7B-Modell, das für vollständiges Fine-Tuning 80GB+ VRAM benötigt, lässt sich mit LoRA oft auf einer einzelnen Consumer-GPU feinabstimmen
Beste Wahl: LoRA für die meisten lokalen Setups
LoRA ist die richtige Standardwahl, um ein lokales Modell auf Consumer-Hardware anzupassen, da es nur einen kleinen Teil der Parameter trainiert und bei den meisten Aufgaben zur Befolgung von Anweisungen und zur Stilanpassung Ergebnisse nahe an vollständigem Fine-Tuning erzielt. Verwenden Sie LoRA, wenn: Sie über eine einzelne Consumer-GPU verfügen, Ihr Datensatz im Bereich von Tausenden (nicht Millionen) Beispielen liegt, oder Sie mehrere aufgabenspezifische Varianten desselben Basismodells vorhalten möchten, ohne vollständige Kopien jeder Variante zu speichern.
Verwenden Sie vollständiges Fine-Tuning, wenn: Sie über einen großen, sorgfältig kuratierten Datensatz verfügen (typischerweise Hunderttausende Beispiele oder mehr), Zugriff auf mehrere GPUs mit hohem VRAM haben und die Aufgabe tiefere Veränderungen an den zugrunde liegenden Repräsentationen des Modells erfordert, als die zusätzlichen Matrizen von LoRA erfassen können. Im Zweifel beginnen Sie mit LoRA — es lässt sich schneller iterieren und kann später auf vollständiges Fine-Tuning aufgestuft werden, wenn die Qualität stagniert.
Wesentliche Unterschiede
LoRA (Low-Rank Adaptation) fügt einem Modell kleine trainierbare Gewichtsmatrizen hinzu, während die ursprünglichen Gewichte eingefroren bleiben, was den für das Training nötigen Speicher- und Rechenaufwand im Vergleich zur Aktualisierung jedes Parameters erheblich reduziert. Das eingefrorene Basismodell muss für das Training weiterhin geladen werden, aber der Optimizer muss Gradienten nur für die kleinen zusätzlichen Matrizen verfolgen, woraus sich der Großteil der VRAM-Einsparung ergibt.
Vollständiges Fine-Tuning aktualisiert das gesamte Modell und kann bei großen, sorgfältig kuratierten Datensätzen geringfügig bessere Ergebnisse liefern, benötigt aber deutlich mehr VRAM und Speicherplatz, da das Ergebnis eine vollständige Kopie des Modells ist und keine kleine Adapterdatei. Der Optimizer-Zustand für vollständiges Fine-Tuning (insbesondere bei gängigen Optimierern wie Adam) benötigt typischerweise ein Vielfaches des eigenen Speicherbedarfs des Modells, weshalb vollständiges Fine-Tuning eines 7B-Modells oft mehrere GPUs mit hohem VRAM erfordert.
| LoRA | Vollständiges Fine-Tuning | |
|---|---|---|
| Aktualisierte Parameter | Nur kleine zusätzliche Matrizen | Jeder Parameter im Modell |
| Typischer VRAM-Bedarf (7B-Modell) | Einzelne Consumer-GPU, oft unter 24GB | Mehrere GPUs mit hohem VRAM |
| Ausgabeartefakt | Kleine Adapterdatei (Megabyte) | Vollständige Modellkopie (Gigabyte) |
| Zwischen Aufgaben austauschbar | Ja — mehrere Adapter, ein Basismodell | Nein — jedes Ergebnis ist ein eigenes vollständiges Modell |
Wann Sie welches Verfahren einsetzen sollten
Wählen Sie LoRA, wenn Sie Tonalität, Format oder ein eng begrenztes Aufgabenverhalten eines Modells anpassen — genau solche Änderungen erfassen die zusätzlichen Matrizen von LoRA gut, ohne das breitere Wissen des Modells zu beeinträchtigen. Wählen Sie vollständiges Fine-Tuning, wenn die Aufgabe erfordert, dass das Modell erhebliches neues Faktenwissen aufnimmt oder sein Verhalten über ein sehr breites Spektrum an Eingaben grundlegend verändert, was stärker von der Aktualisierung jedes Parameters profitiert.
Im Zweifel beginnen Sie mit LoRA und bewerten die Qualität anhand eines eigenen zurückgehaltenen Testdatensatzes, bevor Sie vollständiges Fine-Tuning in Betracht ziehen — die Iterationsgeschwindigkeit von LoRA (schnelleres Training, kleinere Checkpoints) macht es günstiger, zunächst mit unterschiedlichen Datenmischungen und Hyperparametern zu experimentieren.