Fine-Tuning (LLM)
Ein bereits vortrainiertes Sprachmodell auf eigenen, spezifischeren Daten weitertrainieren, um es an eine Aufgabe, eine Domäne oder einen Stil anzupassen. Verändert die Gewichte des Modells — anders als RAG (das Wissen über Kontext liefert) oder Prompting (das nur instruiert).
Wann es sich lohnt: dem Modell ein Format bzw. einen Ton beibringen, dem es konsequent folgen soll, die Sprache einer Nischendomäne, oder eine spezifische Aufgabe — Dinge, die sich mit reinem Prompting nur schwer stabil hinbekommen lassen. Wann es sich NICHT lohnt: dem Modell "Fakten beibringen" (RAG ist für sich änderndes Wissen meist besser und billiger). Abwägungen: erfordert qualitativ hochwertige Daten, kostet Rechenleistung, und es besteht das Risiko von "catastrophic forgetting" (das Modell verliert allgemeine Fähigkeiten) und Overfitting. Volles Fine-Tuning (alle Gewichte) ist teuer → deshalb dominieren parameter-effiziente Methoden (LoRA, QLoRA, PEFT), die nur einen kleinen Teil trainieren. Zu unterscheiden vom Pretraining (dem Aufbau des Basismodells von Grund auf). Eine zentrale Technik, aber oft überstrapaziert, wo RAG oder Prompting ausreichen würde.