Кэширование промпта (prompt caching)
Функция провайдера LLM: обработка повторяющегося префикса промпта (длинный системный промпт, документ) кэшируется, и последующие вызовы не пересчитывают её — меньше задержка и сильно ниже стоимость.
Дорогую стадию prefill (обработка входа, заполнение KV-кэша) не нужно повторять, если начало промпта в разных вызовах одинаково. Провайдер сохраняет внутреннее состояние (KV-кэш) для префикса; следующий вызов с тем же началом использует его и обрабатывает только новую часть. Кэшированные входные токены стоят обычно лишь долю цены (у Anthropic около 10 %, у OpenAI около 50 %), а время до первого токена резко падает. Подходит для длинного фиксированного системного промпта, большого документа с множеством вопросов, few-shot-примеров и определений инструментов агента, повторяющихся на каждом шаге. Промпт проектируют так: стабильная часть в начале (кэшируется), переменная — в конце. Ключевая оптимизация затрат для продакшен-приложений на LLM.