Predtreniranje

Predtreniranje je prva, opšta faza treniranja (training) jezičkog modela, u kojoj model uči iz velike količine neoznačenog teksta. Razlog je praktičan: neoznačenog teksta ima u izobilju, a označenih podataka za pojedinačne zadatke malo. Nakon predtreniranja slijedi fino podešavanje (fine-tuning) za konkretan zadatak. Šta model tačno uči zavisi od pristupa. OpenAI-jev model GPT iz 2018. predviđa sljedeći token, a Googleov BERT pogađa namjerno sakrivene tokene u rečenici.

Izvori:

• Improving Language Understanding by Generative Pre-Training – Radford et al., OpenAI 2018
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding – Devlin et al., Google 2018