Mehanizam pažnje (attention mechanism) omogućava modelu da, dok proizvodi sljedeći token, sam pronađe dijelove ulaznog teksta koji su za njega najvažniji. Bahdanau, Cho i Bengio opisali su ga 2014. u radu o mašinskom prevođenju (machine translation), objavljenom na konferenciji ICLR 2015: model uči da za svaku riječ prijevoda „pretražuje“ relevantne dijelove izvorne rečenice. Vaswani i saradnici predstavili su 2017. transformer, arhitekturu koja se oslanja samo na pažnju i napušta ranije gradivne elemente takvih modela. Transformer se brže trenira i lakše paralelizira, a danas je osnova velikih jezičkih modela (large language model, LLM). Pažnja modela nije isto što i ljudska pažnja.
Izvori: