Comparison of Czech Transformers on Text Classification Tasks
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F21%3A43962816" target="_blank" >RIV/49777513:23520/21:43962816 - isvavai.cz</a>
Výsledek na webu
<a href="https://link.springer.com/chapter/10.1007/978-3-030-89579-2_3" target="_blank" >https://link.springer.com/chapter/10.1007/978-3-030-89579-2_3</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1007/978-3-030-89579-2_3" target="_blank" >10.1007/978-3-030-89579-2_3</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Comparison of Czech Transformers on Text Classification Tasks
Popis výsledku v původním jazyce
In this paper, we present our progress in pre-training monolingual Transformers for Czech and contribute to the research community by releasing our models for public. The need for such models emerged from our effort to employ Transformers in our language-specific tasks, but we found the performance of the published multilingual models to be very limited. Since the multilingual models are usually pre-trained from 100+ languages, most of low-resourced languages (including Czech) are under-represented in these models. At the same time, there is a huge amount of monolingual training data available in web archives like Common Crawl. We have pre-trained and publicly released two monolingual Czech Transformers and compared them with relevant public models, trained (at least partially) for Czech. The paper presents the Transformers pre-training procedure as well as a comparison of pre-trained models on text classification task from various domains.
Název v anglickém jazyce
Comparison of Czech Transformers on Text Classification Tasks
Popis výsledku anglicky
In this paper, we present our progress in pre-training monolingual Transformers for Czech and contribute to the research community by releasing our models for public. The need for such models emerged from our effort to employ Transformers in our language-specific tasks, but we found the performance of the published multilingual models to be very limited. Since the multilingual models are usually pre-trained from 100+ languages, most of low-resourced languages (including Czech) are under-represented in these models. At the same time, there is a huge amount of monolingual training data available in web archives like Common Crawl. We have pre-trained and publicly released two monolingual Czech Transformers and compared them with relevant public models, trained (at least partially) for Czech. The paper presents the Transformers pre-training procedure as well as a comparison of pre-trained models on text classification task from various domains.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
20205 - Automation and control systems
Návaznosti výsledku
Projekt
<a href="/cs/project/DG18P02OVV016" target="_blank" >DG18P02OVV016: Vývoj centralizovaného rozhraní pro vytěžování velkých dat z webových archivů</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2021
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Statistical Language and Speech Processing, SLSP 2021
ISBN
978-3-030-89578-5
ISSN
0302-9743
e-ISSN
1611-3349
Počet stran výsledku
11
Strana od-do
27-37
Název nakladatele
Springer
Místo vydání
Cham
Místo konání akce
Cardiff, UK
Datum konání akce
23. 11. 2021
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—