Entrenamiento
Enseñar a una red neuronal mediante descenso de gradiente: datos de ejemplo, una función de pérdida y retropropagación.
El proceso clásico tiene varias fases. Primero el preentrenamiento, no supervisado y sobre cantidades enormes de texto en bruto, que produce el modelo base. Después el SFT (ajuste fino supervisado con instrucciones), luego RLHF/RLAIF para alinear el modelo con criterios humanos o de otra IA, y en los modelos recientes RLVR, aprendizaje por refuerzo con recompensas verificables, útil sobre todo en matemáticas y programación.
El coste se concentra al principio: se dice que preentrenar GPT-4 costó unos 100 millones de dólares. Las fases posteriores son baratas en comparación, y aun así son las que deciden si el modelo resulta utilizable.