Model Distillation
Ein kleineres, schnelleres "Schüler"-Modell wird auf der Ausgabe eines großen "Lehrer"-Modells trainiert.
Große Modelle wie GPT-4 oder Claude Opus sind teuer im Betrieb. Distillation presst den Großteil des Wissens in ein zehnmal kleineres Modell. Das ist die Geschichte hinter Haiku-, Mini- und Flash-Varianten.