Kontekstni prozor je sav tekst koji jezički model može uzeti u obzir dok generiše odgovor, uključujući i sam odgovor. To je radna memorija modela, odvojena od teksta iz kojeg je model učio. Mjeri se u tokenima. U prozor ulaze upute aplikacije, svaka poruka u razgovoru, priloženi dokumenti, rezultati alata i generisani odgovor, pa se u dugom razgovoru postepeno puni. Anthropic navodi da tačnost modela opada kako se prozor puni. Prema istraživanju Liua i saradnika, modeli informacije s početka i kraja često koriste bolje od onih iz sredine. Šta se dešava kad se prozor napuni, zavisi od proizvođača; neke chat aplikacije izbacuju najstarije poruke.
Izvori: