Prefill / decode
Dwie fazy inferencji LLM: prefill przetwarza cały prompt równolegle (wypełniając KV cache), a decode generuje odpowiedź token po tokenie. Mają zupełnie inne profile wydajnościowe, co kształtuje optymalizację i wycenę LLM-ów.
Prefill: cały tekst wejściowy przechodzi przez model naraz (wszystkie tokeny równolegle) → ograniczenie obliczeniowe, dobrze wykorzystuje GPU i decyduje o „czasie do pierwszego tokenu” (TTFT). Decode: każdy nowy token wymaga pełnego przejścia przez model, ale tylko dla jednego tokenu → ograniczenie przepustowością pamięci (czytasz wszystkie wagi i KV cache, by wytworzyć jeden token), mało wydajne w przeliczeniu na token; decyduje o liczbie tokenów na sekundę. Skutki: długi prompt = kosztowny prefill (jeden z powodów, dla których tokeny wejściowe i wyjściowe wycenia się inaczej); decode zyskuje na batchingu i optymalizacji KV cache. Niektóre systemy rozdzielają fazy na różne GPU („disaggregated serving”). Podstawa zrozumienia opóźnień i kosztów LLM.