FSDP Fully Sharded Data Parallel
PyTorchs inbyggda sätt att träna modeller som inte får plats på ett kort. Motsvarar ZeRO steg tre: vikter, gradienter och optimerartillstånd delas upp mellan alla deltagande GPU:er.
Modellen delas i enheter, ofta ett transformerblock i taget enligt en wrapping-policy. Före framåtpasset genom en enhet hämtas dess fullständiga vikter in med en all-gather, beräkningen sker, och därefter kastas kopian direkt så att minnet frigörs. Bakåtpasset gör samma sak och avslutar med reduce-scatter så att varje kort bara behåller sin del av gradienterna. Nettoresultatet är att bara ett block i taget existerar i sin helhet någonstans. Att policyn sätts rätt är avgörande — för fin uppdelning ger mängder av små överföringar, för grov ger minnestoppar. Har i praktiken ersatt DeepSpeed i PyTorch-baserade projekt.