Kontextfenster
Die maximale Anzahl an Tokens, die ein LLM auf einmal verarbeiten kann — Prompt plus Antwort. Alles, was das Modell "sieht", muss hier hineinpassen. Es ist explosionsartig gewachsen: von ~2000 Tokens (GPT-3) auf Hunderttausende oder Millionen bei modernen Modellen.
Warum das wichtig ist: das Kontextfenster bestimmt, wie viel Dokument, Verlauf und Anweisungen man einem Modell gleichzeitig geben kann. Ein größeres Fenster erlaubt es, ganze Bücher, Codebasen oder lange RAG-Ergebnisse hineinzustecken. Aber ein "großes Fenster" ist nicht umsonst: Kosten und Latenz wachsen (oft quadratisch mit der Attention), und Modelle leiden unter "Lost in the Middle" — sie erinnern sich besser an Anfang und Ende als an die Mitte eines langen Kontexts. "Needle in a Haystack"-Tests messen, wie gut ein Modell ein bestimmtes Detail in einem langen Kontext findet. Deshalb ist RAG (nur das Relevante holen) oft besser, als das Fenster einfach vollzustopfen. Hängt zusammen mit Context-Length Extension und RAG.