UPV/EHUko HiTZ Hizkuntzaren Teknologia Zentroak euskarazko hizkuntza-ereduen lehen ebaluazio konparatiboa egin du. Donostian egindako Euskal Informatikarien Topaketan, “arena” izeneko ebaluazio-metodo bat erabiliz, parte-hartzaileen artean lehiaketa bat antolatu zen, erabiltzaileen boto itsuen bidez hizkuntza-sistemak alderatzeko.
‘Arena’ horretan, HiTZek garatutako Latxa-ren bertsio berriak sistema komertzial onenen aurka lehiatu zuen. HiTZek duela urtebete Latxa oinarrizko hizkuntza-eredua kaleratu zuen. Lan honengatik 2024ko ACL kongresuan artikulu onenaren sarietako bat jaso zuen, hizkuntza-prozesamenduaren arloko kongresurik ospetsuenean.
6 eredu lehian
Lehiaketan sei hizkuntza-ereduk parte hartu zuten: hiru komertzial (Claude Sonnet 3.5, GPT-4o eta Command R+) eta garapen berriagoko hiru (Latxa berria, Gemini Flash 1.5 eta Llama 3.1).
Guztira parte-hartzaileen 335 boto jaso ziren eta horietatik guztietatik, Anthropic-en Claude Sonnet 3.5 eredua izan zen boto gehien jaso zituena. Euskarazko hizkuntza-sistemarik onenen sailakpen horretan, bigarren postuan OpenAI-ren GPT-4o geratu zen, eta oso gertu, hirugarren postuan, HiTZek garatutako Latxa eredu berria.
Ikertzaileek xakean erabiltzen denaren antzeko ELO puntuazio-sistema erabili zuten sailkapen objektiboa ezartzeko. Oscar Sainz HiTZeko ikertzaileak azaldu duenez, lehiatu ziren ereduen artean alde handiak daude horien ezaugarriei dagokienez. Adibidez, Latxa berriak 8 mila milioi parametro ditu eta Command R+ ereduak, aldiz, 105 mila milioitik gora.
Latxaren emaitza ona
Aipagarria da Latxaren errendimendua, GPT-4o-ren maila berean lehiatu baitzen, bere lehen bertsioa dela kontuan hartuta. Gaur egun, Latxa prototipo bat besterik ez da eta hurrengo bertsioetan hobekuntza esanguratsuak izango dituela espero da.
Ikerketak urrats garrantzitsua ekarri du hizkuntza-ereduen ebaluazioan, datuen analisi estatikoko metodo tradizionalak gaindituz. Naiara Pérez ikertzaileak azaldu duenez, metodo berri honek txat-sistemen ebaluazio errealistagoa ahalbidetzen du.
HiTZ zentroak Latxa eredua hobetzen jarraitzen du, euskal erabiltzaileentzako erabilera-kasu espezifikoak bilduz eta Metaren Llama 3.1 ereduan oinarritutako bertsio aurreratuagoak garatuz.
