DeepSpeed
2020年にZeROとともに公開された、PyTorch向けMicrosoftの学習ライブラリ。研究所を持たなくても、数千億パラメータのモデルを学習できるようにした。
ZeROのほかに、オプティマイザ状態のホストメモリやNVMeへのオフロード、3D並列のサポート、混合精度、独自のMixture-of-Experts実装、コンパイル済みの推論カーネルを含む。使い方は主に、既存の学習ループを包むJSON設定で、参入障壁が低く、2021〜2023年のオープンなプロジェクトで広く使われた。Hugging Face Trainerが標準対応し、ほとんどのファインチューニングガイドが前提にしていた。PyTorchがFSDPを標準で備えてからは重心が移ったが、DeepSpeedはその時期に書かれた多くのコードで今も動いている。