Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F20%3A10424441" target="_blank" >RIV/00216208:11320/20:10424441 - isvavai.cz</a>

Výsledek na webu

<a href="https://www.aclweb.org/anthology/2020.inlg-1.19/" target="_blank" >https://www.aclweb.org/anthology/2020.inlg-1.19/</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Popis výsledku v původním jazyce

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. its faithfulness to the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

Název v anglickém jazyce

Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Popis výsledku anglicky

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. its faithfulness to the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 13th International Conference on Natural Language Generation (INLG 2020)

ISBN

978-1-952148-54-5

ISSN

—

e-ISSN

—

Počet stran výsledku

7

Strana od-do

131-137

Název nakladatele

Association for Computational Linguistics

Místo vydání

Stroudsburgh, PA, USA

Místo konání akce

Online

Datum konání akce

15. 12. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—