LLM-Destillation
Ein kleines "Schüler"-Modell lernt, ein großes "Lehrer"-Modell nachzuahmen — entweder über dessen Ausgabe-Logits (klassische Hinton-Destillation, 2015) oder indem der Lehrer die Trainingsdaten selbst erzeugt.
Warum: Ein 7B-Schülermodell kann bei bestimmten Aufgaben wie ein 70B-Lehrermodell abschneiden ⇒ deutlich billigere Inferenz. Beispiele: Gemma 2B (destilliert aus Gemini), Llama 3.2 1B/3B (destilliert aus größeren Llama-Modellen), DistilBERT (2019). Unterschied zur Quantisierung: Destillation verändert das Modell selbst, Quantisierung nur die Genauigkeit der Zahlendarstellung.