ZeRO
Microsofts techniek om grote modellen te trainen zonder op elke GPU hetzelfde op te slaan: optimizerstatus, gradiënten en uiteindelijk ook de parameters zelf worden over de kaarten verdeeld.
Bij gewone data-parallelle training heeft elke kaart een volledige kopie van alles, en bij een model dat met Adam in gemengde precisie wordt getraind gaat ongeveer driekwart van het geheugen op aan optimizerstatus en gradiënten die overal identiek zijn. ZeRO haalt die redundantie in drie stappen weg: stage 1 verdeelt de optimizerstatus, stage 2 ook de gradiënten en stage 3 daarnaast de gewichten, die tijdens de berekening laag voor laag worden verzameld. De geheugenwinst is vrijwel evenredig met het aantal kaarten, ten koste van meer communicatie. Met offload kan de status bovendien naar werkgeheugen van de host of naar NVMe worden verplaatst. Het idee is in PyTorch opnieuw geïmplementeerd als FSDP.