Transformer je arhitektura modela na kojoj se zasnivaju veliki jezički modeli (large language models, LLM). Predstavljen je 2017. u Googleovom radu „Attention Is All You Need“. Njegova osnova je mehanizam pažnje (attention mechanism): pri obradi svake riječi model odmjerava koliko su za nju važne ostale riječi u istom tekstu. Za razliku od ranijih modela, transformer ne obrađuje tekst korak po korak, riječ za riječju. Zato se posao lakše raspoređuje na više procesora istovremeno, a treniranje (training) je brže. Pošto ne čita redom, redoslijed riječi mu se daje posebno, kao dodatni podatak o položaju. Prvi transformer bio je model za prevođenje, testiran na parovima engleski–njemački i engleski–francuski, a ne chatbot.
Izvori: