コンテキストウィンドウ
LLMが一度に処理できる最大トークン数（プロンプト＋回答）。モデルが「見える」ものはすべてここに収まる必要がある。GPT-3の約2,000トークンから、最新モデルでは数十万〜数百万へと爆発的に拡大した。
重要なのは、一度に渡せる文書・履歴・指示の量がこれで決まる点だ。窓が広ければ本一冊やコードベース全体、長いRAGの結果も入れられる。ただし「広い窓」はタダではない。コストとレイテンシは（アテンションの都合でしばしば二乗で）増え、さらにモデルには「lost in the middle」、つまり長い文脈の冒頭と末尾はよく覚えるのに中盤を忘れやすい傾向がある。「干し草の山の中の針」テストは、長い文脈から特定の情報をどれだけ見つけられるかを測る。窓を埋め尽くすより、必要な部分だけ取り出すRAGのほうが優れることが多いのはそのためである。