Bağlam penceresi (Context window)
Bir LLM'in aynı anda işleyebildiği azami token sayısı — istem artı yanıt. Modelin "gördüğü" her şeyin buraya sığması gerekir. Patlayıcı biçimde büyüdü: ~2 bin token'dan (GPT-3) modern modellerde yüzbinlere, hatta milyonlara.
Neden önemli: bağlam penceresi, modele aynı anda ne kadar belge, geçmiş ve talimat verebileceğini belirler. Büyük pencere, tüm kitapları, kod tabanlarını veya uzun RAG sonuçlarını içeri koymana izin verir. Ama "büyük pencere" bedava değildir: maliyet ve gecikme artar (dikkat mekanizmasında çoğunlukla ikinci dereceden) ve modeller "ortada kaybolma" sorunu yaşar — uzun bir bağlamın başını ve sonunu ortasından daha iyi hatırlarlar. "Samanlıkta iğne" testleri, modelin uzun bir bağlamdaki belirli bir ayrıntıyı ne kadar iyi bulduğunu ölçer. Bu yüzden pencereyi doldurmak yerine RAG (yalnızca ilgili olanı getir) çoğu zaman daha iyidir. Bağlam uzunluğu genişletme ve RAG ile ilişkilidir.