Entraînement Training
Apprendre à un réseau de neurones par descente de gradient — des données d'exemple, une fonction de perte et la rétropropagation. Plusieurs phases dans les LLM modernes.
Le pipeline classique : pré-entraînement (apprentissage non supervisé massif sur des données brutes, qui produit le modèle de base) → SFT (Supervised Fine-Tuning sur des instructions) → RLHF/RLAIF (alignement grâce au retour d'humains ou d'une IA) → RLVR (Reinforcement Learning from Verifiable Rewards, pour les maths et le code). Le coût est concentré en amont : GPT-4 aurait coûté environ 100 M$ à pré-entraîner. Les phases suivantes sont moins chères, mais décisives pour la qualité.