Combining Static and Contextualised Multilingual Embeddings

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F22%3A10457003" target="_blank" >RIV/00216208:11320/22:10457003 - isvavai.cz</a>

Výsledek na webu

<a href="https://aclanthology.org/2022.findings-acl.182" target="_blank" >https://aclanthology.org/2022.findings-acl.182</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.18653/v1/2022.findings-acl.182" target="_blank" >10.18653/v1/2022.findings-acl.182</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Combining Static and Contextualised Multilingual Embeddings

Popis výsledku v původním jazyce

Static and contextual multilingual embeddings have complementary strengths. Static embeddings, while less expressive than contextual language models, can be more straightforwardly aligned across multiple languages. We combine the strengths of static and contextual models to improve multilingual representations. We extract static embeddings for 40 languages from XLM-R, validate those embeddings with cross-lingual word retrieval, and then align them using VecMap. This results in high-quality, highly multilingual static embeddings. Then we apply a novel continued pre-training approach to XLM-R, leveraging the high quality alignment of our static embeddings to better align the representation space of XLM-R. We show positive results for multiple complex semantic tasks. We release the static embeddings and the continued pre-training code. Unlike most previous work, our continued pre-training approach does not require parallel text.

Název v anglickém jazyce

Combining Static and Contextualised Multilingual Embeddings

Popis výsledku anglicky

Static and contextual multilingual embeddings have complementary strengths. Static embeddings, while less expressive than contextual language models, can be more straightforwardly aligned across multiple languages. We combine the strengths of static and contextual models to improve multilingual representations. We extract static embeddings for 40 languages from XLM-R, validate those embeddings with cross-lingual word retrieval, and then align them using VecMap. This results in high-quality, highly multilingual static embeddings. Then we apply a novel continued pre-training approach to XLM-R, leveraging the high quality alignment of our static embeddings to better align the representation space of XLM-R. We show positive results for multiple complex semantic tasks. We release the static embeddings and the continued pre-training code. Unlike most previous work, our continued pre-training approach does not require parallel text.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2022

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Findings of the Association for Computational Linguistics: ACL 2022

ISBN

978-1-955917-25-4

ISSN

—

e-ISSN

—

Počet stran výsledku

14

Strana od-do

2316-2329

Název nakladatele

Association for Computational Linguistics

Místo vydání

Stroudsburg, PA, USA

Místo konání akce

Dublin, Ireland

Datum konání akce

22. 5. 2022

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000828767402030