Okno kontekstu
Maksymalna liczba tokenów, które LLM może przetworzyć naraz — prompt plus odpowiedź. Wszystko, co model „widzi”, musi się tu zmieścić. Okno rosło lawinowo: od ok. 2 tys. tokenów (GPT-3) do setek tysięcy, a nawet milionów we współczesnych modelach.
Dlaczego to ważne: okno kontekstu decyduje, ile dokumentów, historii i instrukcji możesz podać modelowi jednocześnie. Większe okno pozwala wkleić całe książki, bazy kodu czy długie wyniki RAG. Ale „duże okno” nie jest za darmo: rosną koszt i opóźnienie (często kwadratowo z uwagą), a modele cierpią na „zgubienie w środku” (lost in the middle) — lepiej pamiętają początek i koniec niż środek długiego kontekstu. Testy „igły w stogu siana” mierzą, jak dobrze model znajduje konkretny szczegół w długim kontekście. Dlatego RAG (pobieranie tylko tego, co istotne) bywa lepszy niż zwykłe zapychanie okna. Powiązane z rozszerzaniem długości kontekstu i RAG.