Evaluating Machine Translation Quality Using Short Segments Annotations

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F15%3A10335393" target="_blank" >RIV/00216208:11320/15:10335393 - isvavai.cz</a>

Výsledek na webu

<a href="http://ufal.mff.cuni.cz/pbml/103/art-machacek-bojar.pdf" target="_blank" >http://ufal.mff.cuni.cz/pbml/103/art-machacek-bojar.pdf</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1515/pralin-2015-0005" target="_blank" >10.1515/pralin-2015-0005</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Evaluating Machine Translation Quality Using Short Segments Annotations

Popis výsledku v původním jazyce

We propose a manual evaluation method for machine translation (MT), in which annotators rank only translations of short segments instead of whole sentences. This results in an easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evaluate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons.

Název v anglickém jazyce

Evaluating Machine Translation Quality Using Short Segments Annotations

Popis výsledku anglicky

We propose a manual evaluation method for machine translation (MT), in which annotators rank only translations of short segments instead of whole sentences. This results in an easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evaluate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons.

Druh

J_x - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)

CEP obor

AI - Jazykověda

OECD FORD obor

—

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2015

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název periodika

The Prague Bulletin of Mathematical Linguistics

ISSN

0032-6585

e-ISSN

—

Svazek periodika

103

Číslo periodika v rámci svazku

1

Stát vydavatele periodika

CZ - Česká republika

Počet stran výsledku

26

Strana od-do

85-110

Kód UT WoS článku

—

EID výsledku v databázi Scopus

—