Vokabular je fiksan skup tokena koje tokenizator može proizvesti, odnosno skup tokena koje model poznaje. BPE ga gradi postepeno: spaja parove koji se najčešće javljaju zajedno, sve dok vokabular ne dostigne zadanu veličinu. GPT-2 ima vokabular od 50.257 tokena: 256 osnovnih bajtova, 50.000 spajanja i jedan poseban token za kraj teksta. Llama 3 ima vokabular od 128 hiljada tokena, a Meta tvrdi da taj model zahvaljujući tome „mnogo efikasnije kodira jezik“.
Izvori: