LoRA
Low-Rank Adaptation — parameterefficiënte fine-tuning. Artikel van Microsoft, 2021. Het basismodel blijft bevroren; per aandachtslaag worden slechts twee kleine matrices getraind (rang r ~ 8–64), dus miljoenen in plaats van miljarden parameters.
Het inzicht: gewichtsupdates hebben een lage „intrinsieke rang” — de hele gewichtsmatrix aanpassen is niet nodig, een benadering van lage rang volstaat. Een adapter is doorgaans 10–100 MB tegenover 10–100 GB bij volledige fine-tuning, en is tijdens gebruik te verwisselen per taak. Gekwantiseerd basismodel plus LoRA heet QLoRA en laat 65 B-modellen fine-tunen op een RTX 4090. In de Stable Diffusion-gemeenschap is het idee overgewaaid naar beeld-LoRA’s (personage, stijl). Standaard in de Hugging Face PEFT-bibliotheek.