Costo di inferenza
Il costo di eseguire un LLM su una query (non di addestrarlo). È dominato dalla banda di memoria (ogni token richiede la lettura di tutti i pesi), non dai FLOPS. Metrica standard: $/M di token in ingresso, $/M di token in uscita.
Tra il 2023 e il 2025 il costo di inferenza è sceso di circa 10 volte l'anno: Claude Haiku 4.5 costa circa 1 $/M token, GPT-4o-mini circa 0,15 $/M in ingresso. L'output costa spesso 3-5 volte più dell'input (più calcolo per token, essendo autoregressivo). La quantizzazione (INT8, INT4, FP4) riduce il costo con meno accessi alla memoria. Batching: un server che elabora 100 query contemporaneamente sfrutta meglio la GPU. Nell'analisi del self-hosting, il costo orario di una H100 diviso per il throughput di token risulta spesso più caro di un'API ospitata, a meno di un utilizzo 24/7. L'inferenza edge (modello locale) elimina il costo dell'API, ma consuma risorse del dispositivo.