ZeRO Zero Redundancy Optimizer
Microsofts teknik för att träna stora modeller genom att sluta lagra samma sak på alla GPU:er. Delar upp optimerartillstånd, gradienter och slutligen parametrarna själva mellan korten.
I vanlig dataparallellism har varje kort en fullständig kopia av allt, och för en modell tränad med Adam i blandad precision går ungefär tre fjärdedelar av minnet till optimerartillstånd och gradienter som är identiska överallt. ZeRO tar bort redundansen i tre steg: steg ett partitionerar optimerartillståndet, steg två även gradienterna och steg tre också vikterna, som då hämtas in lager för lager under själva beräkningen. Minnesbesparingen blir nästan proportionell mot antalet kort, till priset av mer kommunikation. Med offload kan tillståndet dessutom flyttas till värdminne eller NVMe. Idén finns återimplementerad i PyTorch som FSDP.