Gradientackumulering
Att köra flera små batchar och lägga ihop deras gradienter innan optimeraren tar ett steg, för att simulera en batchstorlek som aldrig hade fått plats i minnet.
Tekniken är enkel och används överallt: fyra mikrobatchar om åtta exempel ger samma uppdatering som en batch om trettiotvå, till priset av fyra gånger så lång tid per steg. Den enda subtiliteten är normaliseringen — förlusten måste divideras med antalet ackumulationssteg, annars blir gradienten fyra gånger för stor och inlärningstakten i praktiken en annan än den som står i konfigurationen. Just den detaljen visade sig 2024 vara felaktigt implementerad i flera stora träningsramverk när sekvenserna hade olika längd, eftersom man delade med antalet steg istället för med antalet tokens. I distribuerad träning bör man dessutom stänga av gradientsynkroniseringen på mellanstegen.