Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F20%3A10424463" target="_blank" >RIV/00216208:11320/20:10424463 - isvavai.cz</a>

Výsledek na webu

<a href="https://www.aclweb.org/anthology/2020.acl-srw.34/" target="_blank" >https://www.aclweb.org/anthology/2020.acl-srw.34/</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.18653/v1/2020.acl-srw.34" target="_blank" >10.18653/v1/2020.acl-srw.34</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining

Popis výsledku v původním jazyce

Existing models of multilingual sentence embeddings require large parallel data resources which are not available for low-resource languages. We propose a novel unsupervised method to derive multilingual sentence embeddings relying only on monolingual data. We first produce a synthetic parallel corpus using unsupervised machine translation, and use it to fine-tune a pretrained cross-lingual masked language model (XLM) to derive the multilingual sentence representations. The quality of the representations is evaluated on two parallel corpus mining tasks with improvements of up to 22 F1 points over vanilla XLM. In addition, we observe that a single synthetic bilingual corpus is able to improve results for other language pairs.

Název v anglickém jazyce

Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining

Popis výsledku anglicky

Existing models of multilingual sentence embeddings require large parallel data resources which are not available for low-resource languages. We propose a novel unsupervised method to derive multilingual sentence embeddings relying only on monolingual data. We first produce a synthetic parallel corpus using unsupervised machine translation, and use it to fine-tune a pretrained cross-lingual masked language model (XLM) to derive the multilingual sentence representations. The quality of the representations is evaluated on two parallel corpus mining tasks with improvements of up to 22 F1 points over vanilla XLM. In addition, we observe that a single synthetic bilingual corpus is able to improve results for other language pairs.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GX19-26934X" target="_blank" >GX19-26934X: Neuronové reprezentace v multimodálním a mnohojazyčném modelování</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop

ISBN

978-1-952148-03-3

ISSN

—

e-ISSN

—

Počet stran výsledku

8

Strana od-do

255-262

Název nakladatele

Association for Computational Linguistics

Místo vydání

Stroudsburg, PA, USA

Místo konání akce

Online

Datum konání akce

5. 7. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—