Inferenz
Das Ausführen eines trainierten ML-Modells — Eingabe rein, Ausgabe raus. Das Gegenteil von Training.
Die "Inferenzkosten" sind das, was man bei jedem Aufruf von GPT-4 oder Claude bezahlt. Anders als die Trainingskosten (einmalig, teuer) läuft Inferenz milliardenfach und muss pro Aufruf schnell und billig sein.