Lokalni model je jezički model čije se težine nalaze i pokreću na vlastitom računaru, a ne na serverima proizvođača. Program Ollama, na primjer, preuzima takve modele i pokreće ih na računaru korisnika. Ollama za taj način rada navodi da firma ne vidi promptove ni podatke korisnika. Za lokalni model treba preuzeti težine, što kod malih modela znači nekoliko gigabajta. Grafička kartica nije obavezna, jer model može raditi i samo na procesoru. Suprotnost lokalnom modelu je model u oblaku.
Izvori: