Results of the WMT14 Metrics Shared Task

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F14%3A10289390" target="_blank" >RIV/00216208:11320/14:10289390 - isvavai.cz</a>

Výsledek na webu

<a href="http://www.statmt.org/wmt14/pdf/W14-3336.pdf" target="_blank" >http://www.statmt.org/wmt14/pdf/W14-3336.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Results of the WMT14 Metrics Shared Task

Popis výsledku v původním jazyce

This paper presents the results of the WMT14 Metrics Shared Task. We asked participants of this task to score the outputs of the MT systems involved in WMT14 Shared Translation Task. We col- lected scores of 23 metrics from 12 re- search groups. In addition to that we com- puted scores of 6 standard metrics (BLEU, NIST, WER, PER, TER and CDER) as baselines. The collected scores were eval- uated in terms of system level correlation (how well each metric's scores correlate with WMT14 official manual ranking of systems) and in terms of segment level correlation (how often a metric agrees with humans in comparing two translations of a particular sentence).

Název v anglickém jazyce

Results of the WMT14 Metrics Shared Task

Popis výsledku anglicky

This paper presents the results of the WMT14 Metrics Shared Task. We asked participants of this task to score the outputs of the MT systems involved in WMT14 Shared Translation Task. We col- lected scores of 23 metrics from 12 re- search groups. In addition to that we com- puted scores of 6 standard metrics (BLEU, NIST, WER, PER, TER and CDER) as baselines. The collected scores were eval- uated in terms of system level correlation (how well each metric's scores correlate with WMT14 official manual ranking of systems) and in terms of segment level correlation (how often a metric agrees with humans in comparing two translations of a particular sentence).

Druh

D - Stať ve sborníku

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2014

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the Ninth Workshop on Statistical Machine Translation

ISBN

978-1-941643-17-4

ISSN

—

e-ISSN

—

Počet stran výsledku

9

Strana od-do

293-301

Název nakladatele

Association for Computational Linguistics

Místo vydání

Baltimore, MD, USA

Místo konání akce

Baltimore, MD, USA

Datum konání akce

26. 6. 2014

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—