Pre-training
Första, tunga träningsfasen av en LLM — modellen läser hela internet och lär sig språket.
Skiljer från fine-tuning (riktad anpassning efteråt) och RLHF (lärt sig svara hjälpsamt). Pre-training är where the magic happens: nästan all kunskap kommer härifrån. Kostar miljoner $ för stora modeller.