Evaluacija je postupak kojim se mjeri kako se model ponaša. Benchmark (referentni test) je samo jedan od instrumenata koje evaluacija koristi. Okvir HELM (Holistic Evaluation of Language Models) ne mjeri samo tačnost. Pored nje prati još šest metrika: kalibraciju, robusnost, pravičnost, pristrasnost, toksičnost i efikasnost. Mjerenje je i dio upravljanja rizikom. Američki NIST u dobrovoljnom okviru AI RMF 1.0, objavljenom 26. 1. 2023., navodi četiri funkcije (Govern, Map, Measure, Manage), od kojih je jedna mjerenje. NIST navodi da je ovaj okvir u reviziji.
Izvori: