AdaptOr: Objective-Centric Adaptation Framework for Language Models
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F22%3A00125674" target="_blank" >RIV/00216224:14330/22:00125674 - isvavai.cz</a>
Výsledek na webu
<a href="https://aclanthology.org/2022.acl-demo.26/" target="_blank" >https://aclanthology.org/2022.acl-demo.26/</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.18653/v1/2022.acl-demo.26" target="_blank" >10.18653/v1/2022.acl-demo.26</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
AdaptOr: Objective-Centric Adaptation Framework for Language Models
Popis výsledku v původním jazyce
Progress in natural language processing research is catalyzed by the possibilities given by the widespread software frameworks. This paper introduces the Adaptor library that transposes the traditional model-centric approach composed of pre-training + fine-tuning steps to the objective-centric approach, composing the training process by applications of selected objectives. We survey research directions that can benefit from enhanced objective-centric experimentation in multitask training, custom objectives development, dynamic training curricula, or domain adaptation. Adaptor aims to ease the reproducibility of these research directions in practice. Finally, we demonstrate the practical applicability of Adaptor in selected unsupervised domain adaptation scenarios.
Název v anglickém jazyce
AdaptOr: Objective-Centric Adaptation Framework for Language Models
Popis výsledku anglicky
Progress in natural language processing research is catalyzed by the possibilities given by the widespread software frameworks. This paper introduces the Adaptor library that transposes the traditional model-centric approach composed of pre-training + fine-tuning steps to the objective-centric approach, composing the training process by applications of selected objectives. We survey research directions that can benefit from enhanced objective-centric experimentation in multitask training, custom objectives development, dynamic training curricula, or domain adaptation. Adaptor aims to ease the reproducibility of these research directions in practice. Finally, we demonstrate the practical applicability of Adaptor in selected unsupervised domain adaptation scenarios.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Návaznosti výsledku
Projekt
—
Návaznosti
S - Specificky vyzkum na vysokych skolach<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace
Ostatní
Rok uplatnění
2022
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Proceedings of the 60th Conference of Association of Computational Linguistics, ACL 2022
ISBN
9781955917247
ISSN
0736-587X
e-ISSN
—
Počet stran výsledku
9
Strana od-do
261-269
Název nakladatele
Association for Computational Linguistics, ACL
Místo vydání
Dublin, Irsko
Místo konání akce
Dublin, Irsko
Datum konání akce
1. 1. 2022
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—