LLMs’ morphological analyses of complex FST-generated Finnish words

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F25%3AZY425EGI" target="_blank" >RIV/00216208:11320/25:ZY425EGI - isvavai.cz</a>

Výsledek na webu

<a href="https://www.scopus.com/inward/record.uri?eid=2-s2.0-85204300266&partnerID=40&md5=16b91e77debc9e24c0833ddfc0801ed9" target="_blank" >https://www.scopus.com/inward/record.uri?eid=2-s2.0-85204300266&partnerID=40&md5=16b91e77debc9e24c0833ddfc0801ed9</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

LLMs’ morphological analyses of complex FST-generated Finnish words

Popis výsledku v původním jazyce

Rule-based language processing systems have been overshadowed by neural systems in terms of utility, but it remains unclear whether neural NLP systems, in practice, learn the grammar rules that humans use. This work aims to shed light on the issue by evaluating state-of-the-art LLMs in a task of morphological analysis of complex Finnish noun forms. We generate the forms using an FST tool, and they are unlikely to have occurred in the training sets of the LLMs, therefore requiring morphological generalisation capacity. We find that GPT-4-turbo has some difficulties in the task while GPT-3.5turbo struggles and smaller models Llama2-70B and Poro-34B fail nearly completely. ©2024 Association for Computational Linguistics.

Název v anglickém jazyce

LLMs’ morphological analyses of complex FST-generated Finnish words

Popis výsledku anglicky

Rule-based language processing systems have been overshadowed by neural systems in terms of utility, but it remains unclear whether neural NLP systems, in practice, learn the grammar rules that humans use. This work aims to shed light on the issue by evaluating state-of-the-art LLMs in a task of morphological analysis of complex Finnish noun forms. We generate the forms using an FST tool, and they are unlikely to have occurred in the training sets of the LLMs, therefore requiring morphological generalisation capacity. We find that GPT-4-turbo has some difficulties in the task while GPT-3.5turbo struggles and smaller models Llama2-70B and Poro-34B fail nearly completely. ©2024 Association for Computational Linguistics.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

—

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

CMCL - Ed. Workshop Cogn. Model. Comput. Linguist., Proc. Workshop

ISBN

979-889176143-8

ISSN

—

e-ISSN

—

Počet stran výsledku

13

Strana od-do

242-254

Název nakladatele

Association for Computational Linguistics (ACL)

Místo vydání

—

Místo konání akce

Bangkok

Datum konání akce

1. 1. 2025

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—