QLoRA
LoRA quantifié — une technique (2023) qui permet d'affiner de très gros modèles sur un seul GPU grand public, en gardant le modèle de base en quantification 4 bits et en n'entraînant que de petits adaptateurs LoRA par-dessus. Elle a démocratisé le fine-tuning.
Mécanique : les poids gelés du modèle de base sont stockés dans un format compact à 4 bits (NF4, « NormalFloat »), ce qui réduit drastiquement les besoins en mémoire ; à l'entraînement, ils sont déquantifiés à la volée pour le calcul, mais les gradients ne mettent à jour que les petits adaptateurs LoRA (pas le modèle de base). Résultat : on peut affiner un modèle de 65 Md de paramètres sur un seul GPU de 48 Go — ce qui exigeait auparavant un cluster. Innovations de l'article : NormalFloat 4 bits, double quantification et optimiseurs paginés. Contrepartie : une légère perte de qualité due à la quantification, mais des résultats proches de la pleine précision en pratique. Elle s'appuie sur LoRA et a rendu le fine-tuning accessible aux amateurs et aux petites équipes. Voir aussi adaptateur LoRA et PEFT.