Pre-Training
Die erste, aufwendige Trainingsphase eines LLM — das Modell liest praktisch das gesamte Internet und lernt Sprache.
Unterscheidet sich von Fine-Tuning (gezielte spätere Anpassung) und RLHF (lernt, hilfreich zu antworten). Im Pre-Training passiert die eigentliche Magie: fast alles Wissen stammt von hier. Kostet bei großen Modellen Millionen von Dollar.