Custo de inferência
O custo de rodar um LLM em uma consulta (não de treiná-lo). Dominado pela largura de banda de memória (cada token exige ler todos os pesos) — não pelos FLOPS. Métrica padrão: US$/M de tokens de entrada, US$/M de tokens de saída.
Entre 2023 e 2025 o custo de inferência caiu cerca de 10x por ano — o Claude Haiku 4.5 custa ~US$ 1/M de tokens, o GPT-4o-mini ~US$ 0,15/M de entrada. A saída costuma custar 3–5x mais que a entrada (mais computação por token, já que é autorregressivo). A quantização (INT8, INT4, FP4) reduz o custo com menos acessos à memória. Batching: um servidor processando 100 consultas ao mesmo tempo aproveita melhor a GPU. Análise de custo de self-hosting: custo por hora da H100 / vazão de tokens → geralmente sai mais caro que uma API hospedada, a menos que haja utilização 24/7. Inferência na borda (modelo local) elimina o custo de API, mas gasta recursos do dispositivo.