Tähenduste seletamine leksikograafias: kuivõrd on abi suurtest keelemudelitest?

Abstract

Artiklis uurime, kas ja mil määral saavad suured keelemudelid (SKMid) leksikograafi aidata sõnastikuseletuste loomisel ja sõnatähendus(t)e esitusel. Katsetatud SKMidest jäid lõplikku hindamisküsitlusse GPT-4o ja Gemini 1.5 Pro tähendusseletused 60 sõna kohta. Kasutatud näitetu promptimise (zero-shot) meetod võimaldas selgitada leksikograafide eelistusi ja nõudmisi seletustele ilma nende vormi ennetavalt piiramata. Tähendusseletusi hindas 21 leksikograafi.

Vastajate üldine rahulolu oli suhteliselt kõrge: leksikograafid hindasid oma töö jaoks väga kasulikuks või mõnevõrra kasulikuks 83% seletustest. Mudelite sooritus eesti keeles enamasti rahuldas vastajaid: 75% juhtudel hinnati seletuste keelt grammatiliselt korrektseks. Rahulolu semantilise esitusega oli mõnevõrra madalam: väljatoodud tähendusi peeti õigeks 56% juhtudel. Kahest SKM-ist hinnati kõrgemalt GPT-4o tähendusseletusi. Leksikograafide hinnangud varieerusid. Hinnangutele lisatud kommentaaride analüüs selgitas leksikograafide rahulolu/rahulolematuse sisemist struktuuri, millele toetudes on edaspidi võimalik luua täpsemaid prompte eri tüüpi sõnastikuseletuste tarvis.

Abstract. Maria Tuulik, Ene Vainik, Esta Prangel, Margit Langemets, Eleri Aedmaa, Kristina Koppel, Lydia Risberg: Describing senses for lexicography: how helpful are large language models? In this article, we investigate whether and to what extent large language models (LMMs) can assist lexicographers in writing definitions and presenting word meaning(s). Of the LLMs tested, the GPT-4o and Gemini 1.5 Pro meaning descriptions for 60 words were selected for the final evaluation. The zero-shot prompting method used made it possible to identify the lexicographers’ preferences and demands for the descriptions without preemptively limiting their form. The meaning descriptions were evaluated by 21 lexicographers.

The overall satisfaction of respondents was relatively high: lexicographers rated 83% of the meaning descriptions as very or somewhat useful for their work. The performance of the models in Estonian was mostly satisfactory for the respondents: in 75% of the cases, the language of the meaning descriptions was judged to be grammatically correct. Satisfaction with the semantic presentation was somewhat lower: the meanings given were considered correct in 56% of cases. Of the two LLM-s, GPT-4o’s output was rated higher. Lexicographers’ evaluations varied. The analysis of the comments accompanying the evaluations clarified the internal structure of the lexicographers’ satisfaction/dissatisfaction and will allow the findings to be used in the future to create detailed prompts providing basis for different types of dictionary definitions.