Стоимость инференса
Цена ответа LLM на запрос (а не обучения): её определяет пропускная способность памяти, а не FLOPS; стандартная метрика — доллары за миллион входных и выходных токенов.
Каждый токен требует прочитать все веса модели, поэтому узкое место — память. В 2023–2025 годах стоимость падала примерно в 10 раз в год: Claude Haiku 4.5 — около $1 за млн токенов, GPT-4o-mini — около $0,15 за млн входных. Выходные токены обычно в 3–5 раз дороже входных, ведь генерация авторегрессионная. Квантизация (INT8, INT4, FP4) снижает расход памяти, а батчинг — сотня запросов за раз — лучше загружает GPU. Свой хостинг на H100 часто дороже API, если нет круглосуточной загрузки. Локальный инференс снимает плату за API, но расходует ресурсы устройства.