QLoRA
Quantized LoRA — техника (2023), позволяющая дообучать очень большие модели на одной потребительской видеокарте: базовая модель хранится в 4-битной квантизации, а обучаются только небольшие LoRA-адаптеры поверх неё. Она демократизировала дообучение.
Механика: замороженные веса базовой модели хранятся в компактном 4-битном формате (NF4, «NormalFloat»), что резко снижает потребность в памяти; при обучении веса деквантизируются на лету для вычислений, но градиенты обновляют лишь маленькие LoRA-адаптеры, а не базовую модель. Итог: модель на 65 млрд параметров можно дообучить на одной карте с 48 ГБ — раньше для этого требовался кластер. Новинки статьи: 4-битный NormalFloat, двойная квантизация и страничные оптимизаторы. Компромисс: небольшая потеря качества из-за квантизации, но на практике результат близок к полной точности. Метод вырос из LoRA и сделал дообучение доступным энтузиастам и небольшим командам.