Za jezički model ista rečenica na bosanskom “košta” više nego na engleskom. Istraživači s Oxforda su u studiji iz 2023. godine iste rečenice na više jezika provukli kroz tokenizator koji su tada koristili ChatGPT i GPT-4. Bosanska verzija je u prosjeku dala 1,87 puta više tokena (osnovnih jedinica teksta s kojima model radi) nego engleska. Razlog je u načinu na koji veliki jezički model (large language model, LLM) uopšte čita tekst. Ista poruka na bosanskom za model je duži niz, a od dužine niza zavise i cijena i to koliko teksta stane u jedan poziv.
Ukratko
Veliki jezički model (LLM) je program koji tekst vidi kao niz tokena. Za svaki sljedeći token računa koliko je vjerovatan, s obzirom na sve tokene prije njega. Odgovor gradi token po token: svaki novi token vraća se modelu kao dio ulaza. Po arhitekturi je to transformer. Prvo se trenira na ogromnim količinama teksta, a zatim se fino podešava da se ponaša kao asistent. U jednom pozivu vidi samo ograničen broj tokena. Prema jednom radu iz 2025. godine, već sam način predtreniranja gura model ka uvjerljivim, ali netačnim tvrdnjama.
Veliki jezički model
LLM je model mašinskog učenja (machine learning) čiji je osnovni zadatak procijeniti šta u tekstu slijedi. Formalno gledano, OpenAI-jev rad o GPT-2 vjerovatnoću cijelog teksta opisuje kao proizvod vjerovatnoća njegovih pojedinačnih dijelova. Pritom se vjerovatnoća svakog dijela računa s obzirom na sve dijelove ispred njega.
Kako funkcioniše
Tekst postaje niz tokena
Model ne vidi slova ni riječi, nego tokene. Tokene proizvodi tokenizacija (tokenization): tokenizator reže tekst na dijelove iz unaprijed utvrđenog vokabulara, tj. skupa svih tokena koje model poznaje.
Vokabular se često pravi BPE (byte pair encoding) algoritmom. Postupak kreće od pojedinačnih znakova i stalno ponavlja isti korak: najčešći par susjednih simbola spaja u novi simbol. Koja će se spajanja desiti zavisi od teksta na kojem je tokenizator treniran. Ako riječ ne postoji u vokabularu kao cjelina, tokenizator je zapisuje kao niz podriječi (subword).
Odatle dolazi bosanska “premija”. Petrov i saradnici mjerili su koliko tokena daje ista rečenica na nekom jeziku u poređenju s engleskim. Kod tokenizatora cl100k_base (ChatGPT, GPT-4) omjer za bosanski bio je 1,87, a za hrvatski 1,85. Stariji tokenizator modela GPT-2 za bosanski je dao 2,19, a LLaMA-in 1,69. Srodna mjera je fertilnost (fertility) tokenizatora – broj tokena po riječi. Jedno važno ograničenje: sva ova mjerenja su iz 2023. godine. Za tokenizatore koji se danas koriste nismo pronašli uporediva objavljena mjerenja.
Jedan token, pa sljedeći
Kad dobije niz tokena, model za svaki token iz vokabulara izračuna vjerovatnoću da je baš on sljedeći. Jedan token se izabere i doda na kraj niza. Zatim se cijeli postupak ponavlja. Autori transformera kažu da model ranije generisane simbole “koristi kao dodatni ulaz” (Vaswani i saradnici).
Model ne mora uvijek uzeti najvjerovatniji token. Izbor zavisi od postavke koja se zove temperatura (temperature): što je temperatura niža, to su veće šanse da model izabere neki od najvjerovatnijih tokena. Na temperaturi 0 model se približava tome da uvijek bira najvjerovatniji token, pa je izlaz predvidljiviji (Zhao i saradnici).
Transformer i mehanizam pažnje
Po arhitekturi, LLM je transformer: model koji su Googleovi istraživači predstavili 2017. godine. Srž transformera je mehanizam pažnje (attention mechanism). Model reprezentaciju svakog tokena računa tako što ga povezuje s ostalim pozicijama u istom nizu. Uzmimo primjer: riječ “luk” u rečenici “luk je zagorio u tavi” znači povrće, a u “luk i strijela” oružje. Budući da reprezentacija tokena zavisi od ostatka niza, ista riječ u ove dvije rečenice može dobiti različite reprezentacije.
Raniji modeli obrađivali su tekst korak po korak, element po element. Transformer napušta taj sekvencijalni pristup, pa se treniranje može znatno bolje paralelizirati.
Predtreniranje i fino podešavanje
Treniranje (training) jezičkog modela odvija se u dvije faze. U predtreniranju (pre-training) model na ogromnim količinama teksta uči upravo ono što je opisano u prethodnim odjeljcima: kako predvidjeti sljedeći token. Rezultat je model koji dobro nastavlja tekst, ali još nije asistent koji slijedi upute.
Asistent od njega postaje tek nakon finog podešavanja (fine-tuning). OpenAI-jev rad o InstructGPT-u iz 2022. godine opisuje taj postupak u tri koraka:
- Ljudi napišu primjere dobrih odgovora, a model se dodatno trenira na njima.
- Ljudi rangiraju nekoliko odgovora modela na isti zadatak. Na osnovu tih rangiranja trenira se poseban model koji procjenjuje koji bi odgovor ljudima bio draži.
- Glavni model se zatim dalje trenira da daje odgovore koje taj pomoćni model visoko ocjenjuje.
Koraci 2 i 3 zajedno se zovu RLHF (reinforcement learning from human feedback, učenje potkrepljenjem na osnovu ljudskih povratnih informacija). Efekat se mogao izmjeriti. Ocjenjivači su više voljeli odgovore InstructGPT modela nego odgovore GPT-3, iako je InstructGPT bio više od sto puta manji. Na zadacima u kojima se odgovor mora držati zadatog teksta, halucinacija (izmišljanje netačnih informacija) javljala se kod InstructGPT-a u 21% slučajeva, a kod GPT-3 u 41%. Ove brojke odnose se na modele iz 2022. godine i samo na tu vrstu zadataka.
Kontekstni prozor
U svakom pozivu model vidi samo ograničen broj tokena. Taj okvir zove se kontekstni prozor (context window). GPT-3 je 2020. godine imao prozor od 2048 tokena i svi primjeri u promptu (uputi ili pitanju koje dajete modelu) morali su stati u njega (Brown i saradnici). Sve što je izvan prozora, model u tom pozivu ne vidi.
Tu bosanska premija ponovo dolazi do izražaja. Ako isti sadržaj na bosanskom zauzima više tokena, u prozor ga stane manje.
Praktične implikacije
- Bosanski tekst troši više tokena. Petrov i saradnici navode tri posljedice: veću cijenu, sporiji odgovor i manje stvarnog prostora u kontekstnom prozoru. Za neke jezike cijena je “najmanje 2,5 puta” veća (“at least 2.5 times more”). Za bosanski se omjer u mjerenjima iz 2023. godine kretao od 1,69 do 2,19.
- Dug dokument ne staje uvijek u jedan poziv. Ono što je izvan kontekstnog prozora model ne uzima u obzir, bez obzira na to šta piše u promptu.
- Niža temperatura daje predvidljiviji izlaz. Na temperaturi 0 model se približava tome da uvijek bira najvjerovatniji token.
Šta NIJE
LLM nije baza podataka koja vraća provjerene zapise. Model računa vjerovatnoće tokena, a ne pretražuje činjenice. Kalai i saradnici (OpenAI i Georgia Tech) u preprintu (radu koji još nije prošao recenziju) iz 2025. godine tvrde da halucinacije nastaju zbog statističkog pritiska još u predtreniranju, u slučajevima kad se greške ne mogu razlikovati od činjenica. Njihov primjer: ako se 20% datuma rođenja u podacima za treniranje pojavljuje samo jednom, na pitanjima o datumima rođenja treba očekivati halucinacije u najmanje 20% slučajeva. Autori dodaju i da benchmarci (referentni testovi) koji boduju samo tačno ili netačno nagrađuju pogađanje, a ne odgovor “ne znam”. Riječ je o teorijskom argumentu autora, a ne o opšteprihvaćenom zaključku.
Nije dokazano da rast modela naglo “otključava” sposobnosti. Brown i saradnici su na primjeru GPT-3 opisali kako sposobnosti rastu s veličinom modela. Tvrdnje o emergentnim sposobnostima (emergent abilities) idu korak dalje: prema njima, neke sposobnosti pojavljuju se naglo, tek kad model pređe određenu veličinu. Schaeffer i saradnici sa Stanforda tvrde da su takvi skokovi posljedica izbora mjere. Kad se koriste nelinearne ili diskontinuirane mjere, napredak izgleda nagao. S kontinuiranim mjerama promjena je postepena. Autori pritom ne tvrde da takve pojave nisu moguće. Pitanje ostaje otvoreno.
Povezano
- Šta je LLM token i kako radi tokenizacija? – kako tokenizator dijeli tekst i zašto bosanski troši više tokena.
- Šta je kontekstni prozor i zašto LLM zaboravlja? – koliko teksta model vidi odjednom i šta se dešava kad prozor postane pretijesan.
- Šta je AI agent i kako radi? – kako se isti model koristi u petlji s alatima.
Izvori
- Vaswani i sar., “Attention Is All You Need”
- Brown i sar., “Language Models are Few-Shot Learners”
- Ouyang i sar., “Training language models to follow instructions with human feedback”
- Sennrich i sar., “Neural Machine Translation of Rare Words with Subword Units”
- Petrov i sar., “Language Model Tokenizers Introduce Unfairness Between Languages”
- Kalai i sar., “Why Language Models Hallucinate”
- Schaeffer i sar., “Are Emergent Abilities of Large Language Models a Mirage?”