TTFT
El tiempo desde que se envía una petición hasta que aparece el primer carácter. La métrica que decide si una aplicación de chat se siente rápida, sin importar cuánto tarde luego la respuesta completa.
El TTFT lo determina la fase de prefill, es decir, la lectura completa del prompt. Es una fase limitada por cómputo y escala con la longitud del prompt, razón por la que una ventana de contexto larga se nota directamente en la espera — y por la que el cacheo de prompts rinde tanto cuando el inicio es siempre el mismo. Después toma el relevo la fase de decode, medida con el TPOT (tiempo por token de salida) y limitada, en cambio, por el ancho de banda de memoria. Como la respuesta se transmite de forma continua, el tiempo total no tiene por qué percibirse nunca: mientras los tokens lleguen más rápido de lo que se lee, solo importa el TTFT. Se suelen citar unos 200 ms como el umbral para sentirse instantáneo.