SLTev: Comprehensive Evaluation of Spoken Language Translation
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F21%3A10440518" target="_blank" >RIV/00216208:11320/21:10440518 - isvavai.cz</a>
Výsledek na webu
<a href="https://aclanthology.org/2021.eacl-demos.9" target="_blank" >https://aclanthology.org/2021.eacl-demos.9</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.18653/v1/2021.eacl-demos.9" target="_blank" >10.18653/v1/2021.eacl-demos.9</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
SLTev: Comprehensive Evaluation of Spoken Language Translation
Popis výsledku v původním jazyce
Automatic evaluation of Machine Translation(MT) quality has been investigated over several decades. Spoken Language Translation (SLT), especially when simultaneous, needs to consider additional criteria and does not have a standard evaluation procedure and a widely used toolkit. To fill the gap, we introduce SLTev, an open-source tool for assessing SLT in a comprehensive way. SLTev reports the quality, latency, and stability of an SLT candidate output based on the time-stamped transcript and reference translation into a target language. For quality, we rely on sacreBLEU which provides MT evaluation measures such as chrF or BLEU. For latency, we propose two new scoring techniques. For stability, we extend the previously defined measures with a normalized Flicker in our work. We also propose a new averaging of older measures. A preliminary version of SLTev was used in the IWSLT 2020 SHARED TASK. Moreover, a growing collection of test datasets directly accessible by SLTev are provided for system evaluati
Název v anglickém jazyce
SLTev: Comprehensive Evaluation of Spoken Language Translation
Popis výsledku anglicky
Automatic evaluation of Machine Translation(MT) quality has been investigated over several decades. Spoken Language Translation (SLT), especially when simultaneous, needs to consider additional criteria and does not have a standard evaluation procedure and a widely used toolkit. To fill the gap, we introduce SLTev, an open-source tool for assessing SLT in a comprehensive way. SLTev reports the quality, latency, and stability of an SLT candidate output based on the time-stamped transcript and reference translation into a target language. For quality, we rely on sacreBLEU which provides MT evaluation measures such as chrF or BLEU. For latency, we propose two new scoring techniques. For stability, we extend the previously defined measures with a normalized Flicker in our work. We also propose a new averaging of older measures. A preliminary version of SLTev was used in the IWSLT 2020 SHARED TASK. Moreover, a growing collection of test datasets directly accessible by SLTev are provided for system evaluati
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Návaznosti výsledku
Projekt
<a href="/cs/project/GX19-26934X" target="_blank" >GX19-26934X: Neuronové reprezentace v multimodálním a mnohojazyčném modelování</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2021
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations
ISBN
978-1-954085-05-3
ISSN
—
e-ISSN
—
Počet stran výsledku
9
Strana od-do
71-79
Název nakladatele
Association for Computational Linguistics (ACL)
Místo vydání
Stroudsburg, PA, USA
Místo konání akce
Online
Datum konání akce
19. 4. 2021
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—