Overview of the CLEF 2024 LongEval Lab on Longitudinal Evaluation of Model Performance

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F24%3A10492842" target="_blank" >RIV/00216208:11320/24:10492842 - isvavai.cz</a>

Výsledek na webu

<a href="https://link.springer.com/chapter/10.1007/978-3-031-71908-0_10" target="_blank" >https://link.springer.com/chapter/10.1007/978-3-031-71908-0_10</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-031-71908-0_10" target="_blank" >10.1007/978-3-031-71908-0_10</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Overview of the CLEF 2024 LongEval Lab on Longitudinal Evaluation of Model Performance

Popis výsledku v původním jazyce

We describe the second edition of the LongEval CLEF 2024 shared task. This lab evaluates the temporal persistence of Information Retrieval (IR) systems and Text Classifiers. Task 1 requires IR systems to run on corpora acquired at several timestamps, and evaluates the drop in system quality (NDCG) along these timestamps. Task 2 tackles binary sentiment classification at different points in time, and evaluates the performance drop for different temporal gaps. Overall, 37 teams registered for Task 1 and 25 for Task 2. Ultimately, 14 and 4 teams participated in Task 1 and Task 2, respectively.

Název v anglickém jazyce

Overview of the CLEF 2024 LongEval Lab on Longitudinal Evaluation of Model Performance

Popis výsledku anglicky

We describe the second edition of the LongEval CLEF 2024 shared task. This lab evaluates the temporal persistence of Information Retrieval (IR) systems and Text Classifiers. Task 1 requires IR systems to run on corpora acquired at several timestamps, and evaluates the drop in system quality (NDCG) along these timestamps. Task 2 tackles binary sentiment classification at different points in time, and evaluates the performance drop for different temporal gaps. Overall, 37 teams registered for Task 1 and 25 for Task 2. Ultimately, 14 and 4 teams participated in Task 1 and Task 2, respectively.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/LM2023062" target="_blank" >LM2023062: Digitální výzkumná infrastruktura pro jazykové technologie, umění a humanitní vědy</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Experimental IR Meets Multilinguality, Multimodality, and Interaction. Proceedings of the Fifteenth International Conference of the CLEF Association (CLEF 2024)

ISBN

978-3-031-71907-3

ISSN

—

e-ISSN

—

Počet stran výsledku

23

Strana od-do

208-230

Název nakladatele

Springer

Místo vydání

Berlin, Germany

Místo konání akce

Grenoble, France

Datum konání akce

9. 9. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—