Context window Janela de contexto
O número máximo de tokens que um LLM consegue processar de uma vez — prompt mais resposta. Tudo o que o modelo "vê" precisa caber aqui. Cresceu de forma explosiva: de ~2 mil tokens (GPT-3) para centenas de milhares ou milhões nos modelos atuais.
Por que isso importa: a janela de contexto determina quanto documento, histórico e instrução você consegue dar a um modelo de uma vez. Uma janela maior permite colocar livros inteiros, bases de código ou resultados longos de RAG. Mas "janela grande" não é de graça: o custo e a latência crescem (muitas vezes de forma quadrática com a atenção), e os modelos sofrem do efeito "lost in the middle" — lembram melhor do começo e do fim do que do meio de um contexto longo. Testes de "agulha no palheiro" medem quão bem um modelo encontra um detalhe específico dentro de um contexto longo. Por isso o RAG (buscar só o que é relevante) costuma ser melhor do que simplesmente lotar a janela. Relacionado à extensão de comprimento de contexto e ao RAG.