Barriers and enabling factors for error analysis in NLG research

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F23%3A10475709" target="_blank" >RIV/00216208:11320/23:10475709 - isvavai.cz</a>

Výsledek na webu

<a href="https://verso.is.cuni.cz/pub/verso.fpl?fname=obd_publikace_handle&handle=KKqginXhkU" target="_blank" >https://verso.is.cuni.cz/pub/verso.fpl?fname=obd_publikace_handle&handle=KKqginXhkU</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.3384/nejlt.2000-1533.2023.4529" target="_blank" >10.3384/nejlt.2000-1533.2023.4529</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Barriers and enabling factors for error analysis in NLG research

Popis výsledku v původním jazyce

Earlier research has shown that few studies in Natural Language Generation (NLG) evaluate their system outputs using an error analysis, despite known limitations of automatic evaluation metrics and human ratings. This position paper takes the stance that error analyses should be encouraged, and discusses several ways to do so. This paper is not just based on our shared experience as authors, but we also distributed a survey as a means of public consultation. We provide an overview of existing barriers to carry out error analyses, and proposes changes to improve error reporting in the NLG literature.

Název v anglickém jazyce

Barriers and enabling factors for error analysis in NLG research

Popis výsledku anglicky

Earlier research has shown that few studies in Natural Language Generation (NLG) evaluate their system outputs using an error analysis, despite known limitations of automatic evaluation metrics and human ratings. This position paper takes the stance that error analyses should be encouraged, and discusses several ways to do so. This paper is not just based on our shared experience as authors, but we also distributed a survey as a means of public consultation. We provide an overview of existing barriers to carry out error analyses, and proposes changes to improve error reporting in the NLG literature.

Druh

J_ost - Ostatní články v recenzovaných periodicích

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

R - Projekt Ramcoveho programu EK

Rok uplatnění

2023

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název periodika

Northern European Journal of Language Technology

ISSN

2000-1533

e-ISSN

—

Svazek periodika

9

Číslo periodika v rámci svazku

1

Stát vydavatele periodika

SE - Švédské království

Počet stran výsledku

22

Strana od-do

1-22

Kód UT WoS článku

—

EID výsledku v databázi Scopus

—