Destylacja modelu
Trenowanie mniejszego, szybszego modelu-„ucznia” na odpowiedziach dużego modelu-„nauczyciela”.
Duże modele (GPT-4, Claude Opus) są drogie w uruchamianiu. Destylacja upycha większość ich wiedzy w modelu dziesięć razy mniejszym. To właśnie stąd biorą się warianty Haiku, Mini czy Flash.