LoRA Low-Rank Adaptation
Low-Rank Adaptation — parameter-efficient fine-tuning. Microsoft-paper 2021. Frys bas-modell, lär bara två små matriser per attention-layer (rank r ~ 8-64). Tränar miljontals parametrar istället för miljarder.
Insikt: weight-updates har låg "intrinsic rank" — man behöver inte ändra hela weight-matrisen, bara en låg-rank-approximation. Adapter-storlek typiskt 10-100 MB istället för full fine-tune på 10-100 GB. Hot-swappable: byt LoRA mid-flight för olika tasks. Quantized base + LoRA = QLoRA, kan fine-tunea 65 B på en RTX 4090. Stable Diffusion-communities har spridit konceptet till bild-LoRAs (karaktär, stil). Standard i Hugging Face PEFT-biblioteket.