Caché KV
Guardar los cálculos de atención ya hechos para no repetirlos con cada nuevo token generado.
Al generar texto, el modelo produce un token cada vez y vuelve a leer todo lo anterior. Sin caché, generar mil tokens implicaría recalcular la atención sobre el mismo prefijo mil veces. La caché guarda las claves y valores ya calculados y los reutiliza.
El coste se traslada a la memoria: la caché crece linealmente con la longitud del contexto y con el número de peticiones simultáneas, y suele ser el factor que limita cuántos usuarios caben en una GPU.