Gradientenakkumulation
Mehrere kleine Batches durchlaufen lassen und ihre Gradienten aufsummieren, bevor der Optimizer einen Schritt macht — um eine Batchgröße zu simulieren, die nie in den Speicher gepasst hätte.
Die Technik ist einfach und wird überall eingesetzt: Vier Mikrobatches zu je acht Beispielen ergeben dasselbe Update wie ein Batch mit zweiunddreißig, auf Kosten der vierfachen Zeit pro Schritt. Die einzige Feinheit ist die Normalisierung — der Loss muss durch die Anzahl der Akkumulationsschritte geteilt werden, sonst kommt der Gradient viermal zu groß heraus und die effektive Lernrate entspricht nicht der in der Konfiguration angegebenen. Genau dieses Detail stellte sich 2024 in mehreren großen Trainingsframeworks als falsch implementiert heraus, wenn die Sequenzen unterschiedlich lang waren, weil durch die Anzahl der Schritte statt durch die Anzahl der Tokens geteilt wurde. Im verteilten Training sollte man außerdem die Gradientensynchronisierung bei den Zwischenschritten deaktivieren.