Fine-tuning (LLM)
Addestrare ulteriormente un modello linguistico già preaddestrato su dati propri e più specifici, per adattarlo a un compito, un dominio o uno stile. Modifica i pesi del modello, a differenza del RAG (che fornisce conoscenza tramite il contesto) o del prompting (che si limita a dare istruzioni).
Quando conviene: insegnare al modello un formato o un tono da rispettare con coerenza, il linguaggio di un dominio di nicchia o un compito specifico, cose difficili da rendere stabili con il solo prompting. Quando NON conviene: «insegnare fatti al modello» (per conoscenze che cambiano, il RAG è di solito meglio e più economico). Compromessi: servono dati di qualità, costa calcolo e comporta il rischio di «catastrophic forgetting» (il modello perde capacità generali) e di overfitting. Il fine-tuning completo (tutti i pesi) è costoso, perciò dominano i metodi efficienti nei parametri (LoRA, QLoRA, PEFT), che ne addestrano solo una piccola parte. Da non confondere con il preaddestramento (la costruzione del modello base da zero). Una tecnica centrale, ma spesso abusata dove bastavano RAG o prompting. Imparentato con LoRA e PEFT.