QLoRA
Quantized LoRA。ベースモデルを4ビット量子化したまま保持し、その上の小さなLoRAアダプタだけを学習することで、非常に大きなモデルを1枚のコンシューマ向けGPUでファインチューニング可能にした2023年の手法。ファインチューニングを民主化した。
仕組みはこうだ。ベースモデルの凍結された重みをコンパクトな4ビット形式（NF4、「NormalFloat」）で保存してメモリ需要を大幅に下げる。学習中は計算のために重みをその場で逆量子化するが、勾配が更新するのは小さなLoRAアダプタだけで、ベースモデルは更新されない。結果として、65Bモデルを48GBのGPU1枚でファインチューニングできる。以前ならクラスタが必要だった作業だ。論文の工夫は、4ビットNormalFloat、二重量子化、ページドオプティマイザの3点。代償は量子化によるわずかな品質低下だが、実際にはほぼフル精度に近い結果が出る。LoRAの上に築かれ、ファインチューニングを愛好家や小規模チームの手が届くものにした。LoRAアダプタやPEFTとも関係が深い。