勾配チェックポイント

トレードオフとして、学習は約30%遅くなるが、VRAMは5〜10分の1ほどで済む。限られたハードウェアでも大きなモデルを学習できる。PyTorchにはtorch.utils.checkpointとして組み込まれている。GPUの限られた環境でのファインチューニングでは標準的な手法だ。