Leersnelheid
De stapgrootte waarmee een ML-model zijn gewichten bijwerkt — de belangrijkste hyperparameter.
Te hoog: het model stuitert heen en weer en divergeert. Te laag: de training duurt eeuwig. Moderne praktijk: een warmup gevolgd door een afbouwschema, of "cosine annealing".