Curriculum Learning and Minibatch Bucketing in Neural Machine Translation

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F17%3A10372158" target="_blank" >RIV/00216208:11320/17:10372158 - isvavai.cz</a>

Výsledek na webu

<a href="http://acl-bg.org/proceedings/2017/RANLP%202017/index.html" target="_blank" >http://acl-bg.org/proceedings/2017/RANLP%202017/index.html</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Curriculum Learning and Minibatch Bucketing in Neural Machine Translation

Popis výsledku v původním jazyce

We examine the effects of particular orderings of sentence pairs on the on-line training of neural machine translation (NMT). We focus on two types of such orderings: (1) ensuring that each minibatch contains sentences similar in some aspect and (2) gradual inclusion of some sentence types as the training progresses (so called &quot;curriculum learning&quot;). In our English-to-Czech experiments, the internal homogeneity of minibatches has no effect on the training but some of our &quot;curricula&quot; achieve a small improvement over the baseline.

Název v anglickém jazyce

Curriculum Learning and Minibatch Bucketing in Neural Machine Translation

Popis výsledku anglicky

We examine the effects of particular orderings of sentence pairs on the on-line training of neural machine translation (NMT). We focus on two types of such orderings: (1) ensuring that each minibatch contains sentences similar in some aspect and (2) gradual inclusion of some sentence types as the training progresses (so called &quot;curriculum learning&quot;). In our English-to-Czech experiments, the internal homogeneity of minibatches has no effect on the training but some of our &quot;curricula&quot; achieve a small improvement over the baseline.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/LM2015071" target="_blank" >LM2015071: Jazyková výzkumná infrastruktura v České republice</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2017

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the International Conference Recent Advances in Natural Language Processing

ISBN

978-954-452-048-9

ISSN

1313-8502

e-ISSN

neuvedeno

Počet stran výsledku

8

Strana od-do

379-386

Název nakladatele

INCOMA Ltd.

Místo vydání

Šumen, Bulgaria

Místo konání akce

Varna, Bulgaria

Datum konání akce

2. 9. 2017

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—