LoRA
Low-Rank Adaptation — parameter-effizientes Fine-Tuning. Microsoft-Paper, 2021. Basismodell einfrieren, nur zwei kleine Matrizen pro Attention-Layer trainieren (Rang r ~ 8–64). Trainiert Millionen statt Milliarden Parameter.
Erkenntnis: Weight-Updates haben einen niedrigen "intrinsischen Rang" — man muss nicht die gesamte Gewichtsmatrix ändern, nur eine Low-Rank-Approximation. Adaptergröße typischerweise 10–100 MB statt eines vollständigen Fine-Tunes mit 10–100 GB. Hot-swappable: LoRA im laufenden Betrieb für verschiedene Aufgaben wechseln. Quantisierte Basis + LoRA = QLoRA, damit lässt sich ein 65-B-Modell auf einer RTX 4090 fine-tunen. Die Stable-Diffusion-Community hat das Konzept auf Bild-LoRAs (Charakter, Stil) übertragen. Standard in der Hugging-Face-PEFT-Bibliothek.