TTFT
リクエストを送ってから最初の文字が表示されるまでの時間。回答全体にその後どれだけかかろうと、チャットアプリが速く感じられるかどうかを決める指標である。
TTFTを決めるのは、プロンプト全体を読み込むプレフィル段階だ。計算律速で、プロンプトの長さに比例して伸びる。長いコンテキストウィンドウがそのまま待ち時間として現れるのはこのためで、冒頭がいつも同じならプロンプトキャッシュが非常に効く理由でもある。その後はデコード段階に移り、TPOT（1トークンあたりの時間）で測られ、こちらはメモリ帯域が律速になる。回答はストリーミングで流れ出るので、トークンが読む速度より速く届くかぎり、体感されるのはTTFTだけで、全体の所要時間は意識されない。即時と感じられる目安は約200 msとされることが多い。