Identification of Relevant and Redundant Automatic Metrics for MT Evaluation

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216275%3A25410%2F16%3A39902477" target="_blank" >RIV/00216275:25410/16:39902477 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-3-319-49397-8_12" target="_blank" >http://dx.doi.org/10.1007/978-3-319-49397-8_12</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-319-49397-8_12" target="_blank" >10.1007/978-3-319-49397-8_12</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Identification of Relevant and Redundant Automatic Metrics for MT Evaluation

Popis výsledku v původním jazyce

The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach's alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.

Název v anglickém jazyce

Identification of Relevant and Redundant Automatic Metrics for MT Evaluation

Popis výsledku anglicky

The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach's alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.

Druh

D - Stať ve sborníku

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2016

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Lecture Notes in Computer Science

ISBN

978-3-319-49396-1

ISSN

0302-9743

e-ISSN

—

Počet stran výsledku

12

Strana od-do

141-152

Název nakladatele

Springer

Místo vydání

Heidelberg

Místo konání akce

Chiang Mai

Datum konání akce

7. 12. 2016

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000389332100012