Bilgi damıtma
Küçük bir “öğrenci” modeli büyük bir “öğretmeni” taklit edecek şekilde eğitmek (knowledge distillation); yalnızca çıktıyı değil, çok daha fazla bilgi taşıyan olasılık dağılımını da kopyalar.
Hinton ve arkadaşları (2015). Öğrencinin kaybı, sert etiketlere karşı çapraz entropi ile öğretmenin (“sıcaklık” ile yumuşatılmış) softmax çıktısına karşı KL ıraksamasının birleşimidir. Sonuç: 10 kat küçük, kaliteden belki %90’ını koruyan bir model.
Modern küçük modellerin başarılarının arkasında bu var: DistilBERT, Gemma (Gemini’den damıtıldı), TinyLlama, kısmen Mistral 7B. DeepSeek-R1’in daha küçük akıl yürütme modellerine damıtılmasında da merkezî rol oynar.