QLoRA
Gekwantiseerde LoRA: een techniek (2023) waarmee zeer grote modellen op één consumenten-gpu te finetunen zijn, doordat het basismodel in 4-bitkwantisatie blijft en alleen kleine LoRA-adapters erbovenop worden getraind. Finetunen werd er toegankelijk door.
Werking: de bevroren gewichten van het basismodel staan in een compact 4-bitformaat (NF4, "NormalFloat"), wat de geheugenbehoefte sterk verlaagt. Tijdens het trainen worden de gewichten voor de berekening direct gedequantiseerd, maar de gradiënten werken alleen de kleine LoRA-adapters bij, niet het basismodel. Resultaat: een model van 65 miljard parameters is te finetunen op één gpu van 48 GB, iets waarvoor eerst een cluster nodig was. Vernieuwingen uit het artikel: 4-bit NormalFloat, dubbele kwantisatie en gepagineerde optimizers. Keerzijde: een klein kwaliteitsverlies door de kwantisatie, maar in de praktijk bijna even goed als volledige precisie. Het bouwde voort op LoRA en maakte finetunen bereikbaar voor hobbyisten en kleine teams.