DeepSpeed
La bibliothèque d'entraînement de Microsoft pour PyTorch, sortie en 2020 avec ZeRO. Elle a rendu possible l'entraînement de modèles de centaines de milliards de paramètres sans posséder un laboratoire de recherche.
Outre ZeRO, elle contient le déchargement de l'état de l'optimiseur vers la mémoire hôte et le NVMe, la prise en charge du parallélisme 3D, la précision mixte, sa propre implémentation de mixture d'experts et des noyaux d'inférence compilés. L'usage passe surtout par une configuration JSON enroulée autour d'une boucle d'entraînement existante, ce qui a maintenu la barrière d'entrée basse et rendu la bibliothèque omniprésente dans les projets ouverts de 2021 à 2023 — le Trainer de Hugging Face l'intégrait nativement et la plupart des guides de fine-tuning la supposaient installée. Depuis que PyTorch propose FSDP en natif, le centre de gravité s'est déplacé, mais DeepSpeed fait encore tourner une bonne part du code écrit à cette époque.