Towards Domain Robustness of Neural Language Models

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F21%3A00123248" target="_blank" >RIV/00216224:14330/21:00123248 - isvavai.cz</a>

Výsledek na webu

<a href="https://nlp.fi.muni.cz/raslan/raslan21.pdf#page=99" target="_blank" >https://nlp.fi.muni.cz/raslan/raslan21.pdf#page=99</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Towards Domain Robustness of Neural Language Models

Popis výsledku v původním jazyce

This work summarises recent progress in generalization evaluation and training of deep neural networks, categorized in data-centric and model-centric overviews. Grounded in the results of the referenced work, we propose three future directions towards reaching higher robustness of language models to an unknown domain or its adaptation to an existing domain of interest. In the example propositions that practically complement each of the directions, we introduce novel ideas of a) dynamic objective selection, b) language modeling respecting the token similarities to the ground truth and c) a framework of additive component of the loss utilizing the well-performing generalization measures.

Název v anglickém jazyce

Towards Domain Robustness of Neural Language Models

Popis výsledku anglicky

This work summarises recent progress in generalization evaluation and training of deep neural networks, categorized in data-centric and model-centric overviews. Grounded in the results of the referenced work, we propose three future directions towards reaching higher robustness of language models to an unknown domain or its adaptation to an existing domain of interest. In the example propositions that practically complement each of the directions, we introduce novel ideas of a) dynamic objective selection, b) language modeling respecting the token similarities to the ground truth and c) a framework of additive component of the loss utilizing the well-performing generalization measures.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10200 - Computer and information sciences

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Recent Advances in Slavonic Natural Language Processing (RASLAN 2021)

ISBN

9788026316701

ISSN

2336-4289

e-ISSN

—

Počet stran výsledku

13

Strana od-do

91-103

Název nakladatele

Tribun EU

Místo vydání

Brno

Místo konání akce

Brno

Datum konání akce

1. 1. 2021

Typ akce podle státní příslušnosti

EUR - Evropská akce

Kód UT WoS článku

—