Inferenza
L'esecuzione vera e propria di un modello di machine learning già addestrato: si fornisce un input e si ottiene un output. È l'opposto dell'addestramento.
Il «costo di inferenza» è ciò che si paga a ogni chiamata a GPT-4 o a Claude. Si distingue dal costo di addestramento (una tantum, molto elevato): l'inferenza viene eseguita miliardi di volte e deve essere rapida ed economica per ogni singola chiamata.