Gradient descent
Het optimalisatie-algoritme waarmee vrijwel elk ML-model wordt getraind — kleine stapjes zetten in de richting waarin de fout het sterkst afneemt.
Een vergelijking: je staat in de mist op een berg en wilt naar beneden. Voel de helling, loop bergafwaarts, herhaal. Varianten: SGD, Adam, AdamW — allemaal gebaseerd op hetzelfde idee, met verschillende slimme trucs.