Caché de prompts
Una función donde un proveedor de LLM cachea el procesamiento de un prefijo de prompt recurrente (por ejemplo, un system prompt largo o un documento), de modo que las llamadas siguientes no tienen que recalcularlo — lo que reduce la latencia y abarata mucho el coste.
Mecánica: el costoso paso de prefill (procesar la entrada, rellenar la caché KV) no hace falta repetirlo si el inicio del prompt es idéntico entre llamadas. El proveedor guarda el estado interno (la caché KV) del prefijo; la siguiente llamada con el mismo comienzo lo reutiliza y solo procesa la parte nueva. Ganancia: los tokens de entrada cacheados suelen costar una fracción (Anthropic ~10 %, OpenAI ~50 %) y el time-to-first-token cae drásticamente. Caso de uso: un system prompt largo y fijo, un documento extenso sobre el que se hacen muchas preguntas, ejemplos few-shot, o las definiciones de herramientas de un agente que se repiten en cada paso. El prompt se diseña con lo estable primero (cacheable) y lo variable al final. Una optimización de coste central para las aplicaciones de LLM en producción.