Training
Ein neuronales Netz per Gradientenabstieg lernen lassen — Beispieldaten + Verlustfunktion + Backpropagation. Bei modernen LLMs mehrere Phasen.
Klassische Pipeline: Pretraining (massives unüberwachtes Training auf Rohdaten, baut das Grundmodell) → SFT (Supervised Fine-Tuning auf Instruktionen) → RLHF/RLAIF (Alignment mit menschlichem oder KI-Feedback) → RLVR (Reinforcement Learning from Verifiable Rewards, für Mathe und Code). Die Kosten liegen vorne: GPT-4 soll rund 100 Millionen Dollar an Pretraining gekostet haben. Spätere Phasen sind günstiger, aber entscheidend für die Qualität.