Benchmark

Benchmark (referentni test) je unaprijed zadan skup testnih zadataka s načinom bodovanja, tako da se različiti modeli mogu porediti na istim zadacima. Primjer je MMLU s 57 zadataka iz oblasti kao što su matematika, historija i pravo. Ako testna pitanja procure u podatke za treniranje, rezultat može biti napuhan. Deng i saradnici pokazali su da ChatGPT i GPT-4 doslovno reprodukuju skrivene ponuđene odgovore iz MMLU-a u 52%, odnosno 57% slučajeva. Rezultate benchmarka zato treba čitati oprezno.

Izvori:

• Measuring Massive Multitask Language Understanding – Hendrycks et al., 2020
• Investigating Data Contamination in Modern Benchmarks for Large Language Models – Deng et al., NAACL 2024