bitsandbytes
大規模モデルを一枚の民生用グラフィックスカードで動かすことを当たり前にしたライブラリ。作者は Tim Dettmers で、知られているのはたった一行、load_in_4bit=True である。
始まりは Adam の状態に必要なメモリを4分の1にする8ビットオプティマイザだった。続いて、重みを8ビットに量子化しつつ統計的な外れ値を取り出して高精度で計算する LLM.int8() が登場し、さらに NF4 が加わった。NF4 は、ニューラルネットワークの重みがおおよそ正規分布に従うことを利用し、その分布に合わせて量子化レベルを配置した4ビット形式である。NF4 とアダプターを組み合わせたものが QLoRA で、数百億パラメータのモデルを24 GB のカード上でファインチューニングできるようにした。Hugging Face Transformers への統合により、この手法は特殊な技から標準的な選択肢になった。