Distillation de modèle Model distillation
Entraîner un modèle « élève » plus petit et plus rapide sur les sorties d'un gros modèle « enseignant ».
Les gros modèles (GPT-4, Claude Opus) coûtent cher à faire tourner. La distillation en concentre l'essentiel du savoir dans un modèle dix fois plus petit. C'est l'explication cachée derrière les variantes Haiku, Mini et Flash.