Предобучение
Первая, самая тяжёлая фаза обучения LLM: модель «читает весь интернет» и учит язык.
Отличается от дообучения (целевая адаптация позже) и RLHF (учимся отвечать полезно). Именно на предобучении происходит магия: почти все знания берутся отсюда. Для больших моделей обходится в миллионы долларов.