ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F24%3A10492908" target="_blank" >RIV/00216208:11320/24:10492908 - isvavai.cz</a>

Nalezeny alternativní kódy

RIV/00216208:11320/25:ZZFKGWA8

Výsledek na webu

<a href="https://aclanthology.org/2024.lt4hala-1.24.pdf" target="_blank" >https://aclanthology.org/2024.lt4hala-1.24.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin

Popis výsledku v původním jazyce

We present LatinPipe, the winning submission to the EvaLatin 2024 Dependency Parsing shared task. Our system consists of a fine-tuned concatenation of base and large pre-trained LMs, with a dot-product attention head for parsing and softmax classification heads for morphology to jointly learn both dependency parsing and morphological analysis. It is trained by sampling from seven publicly available Latin corpora, utilizing additional harmonization of annotations to achieve a more unified annotation style. Before fine-tuning, we train the system for a few initial epochs with frozen weights. We also add additional local relative contextualization by stacking the BiLSTM layers on top of the Transformer(s). Finally, we ensemble output probability distributions from seven randomly instantiated networks for the final submission. The code is available at https://github.com/ufal/evalatin2024-latinpipe.

Název v anglickém jazyce

ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin

Popis výsledku anglicky

We present LatinPipe, the winning submission to the EvaLatin 2024 Dependency Parsing shared task. Our system consists of a fine-tuned concatenation of base and large pre-trained LMs, with a dot-product attention head for parsing and softmax classification heads for morphology to jointly learn both dependency parsing and morphological analysis. It is trained by sampling from seven publicly available Latin corpora, utilizing additional harmonization of annotations to achieve a more unified annotation style. Before fine-tuning, we train the system for a few initial epochs with frozen weights. We also add additional local relative contextualization by stacking the BiLSTM layers on top of the Transformer(s). Finally, we ensemble output probability distributions from seven randomly instantiated networks for the final submission. The code is available at https://github.com/ufal/evalatin2024-latinpipe.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GX20-16819X" target="_blank" >GX20-16819X: Porozumění jazyku: od syntaxe k diskurzu</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the Third Workshop on Language Technologies for Historical and Ancient Languages (LT4HALA) @ LREC-COLING-2024

ISBN

978-2-493-81446-3

ISSN

2522-2686

e-ISSN

—

Počet stran výsledku

8

Strana od-do

207-214

Název nakladatele

ELRA and ICCL

Místo vydání

Torino, Italia

Místo konání akce

Torino, Italy

Datum konání akce

25. 5. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—