TTFT Time To First Token
Tiden från att en förfrågan skickas till att det första tecknet dyker upp. Det mätetal som avgör om en chattapplikation känns snabb, oavsett hur lång tid hela svaret sedan tar.
TTFT bestäms av prefill-fasen, alltså genomläsningen av hela prompten. Den är beräkningsbunden och skalar med promptens längd, vilket är varför ett långt kontextfönster märks direkt i väntetiden — och varför prompt-cachning ger så stor effekt när inledningen är densamma varje gång. Därefter tar decode-fasen vid, som mäts med TPOT (tid per utdatatoken) och istället begränsas av minnesbandbredd. Eftersom svaret strömmas ut löpande behöver totaltiden aldrig upplevas: så länge tokens kommer snabbare än man läser spelar bara TTFT roll. Cirka 200 ms brukar anges som gränsen för att kännas omedelbart.