Token je najmanja jedinica teksta s kojom veliki jezički model (large language model, LLM) radi: cijela riječ, dio riječi, pojedinačni znak ili bajt. Jedan token nije isto što i jedna riječ. Česte riječi obično ostaju cijele, a rijetke se dijele na dijelove: engleska riječ „annoyingly“ postaje „annoying“ + „ly“. Prema Anthropicu, broj znakova u jednom tokenu zavisi od modela i od jezika. Isti izvor navodi da veći tokeni znače efikasniju obradu, a manji omogućavaju da model obradi i rijetke riječi ili riječi koje nikad nije vidio.
Izvori: