NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26230%2F21%3APU142944" target="_blank" >RIV/00216305:26230/21:PU142944 - isvavai.cz</a>

Výsledek na webu

<a href="http://proceedings.mlr.press/v133/min21a/min21a.pdf" target="_blank" >http://proceedings.mlr.press/v133/min21a/min21a.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

Popis výsledku v původním jazyce

We review the EfficientQA competition from NeurIPS 2020. The competition focused on open-domain question answering (QA), where systems take natural language questions as input and return natural language answers. The aim of the competition was to build systems that can predict correct answers while also satisfying strict on-disk memory budgets. These memory budgets were designed to encourage contestants to explore the trade-off between storing retrieval corpora or the parameters of learned models. In this report, we describe the motivation and organization of the competition, review the best submissions, and analyze system predictions to inform a discussion of evaluation for open-domain QA.

Název v anglickém jazyce

NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

Popis výsledku anglicky

We review the EfficientQA competition from NeurIPS 2020. The competition focused on open-domain question answering (QA), where systems take natural language questions as input and return natural language answers. The aim of the competition was to build systems that can predict correct answers while also satisfying strict on-disk memory budgets. These memory budgets were designed to encourage contestants to explore the trade-off between storing retrieval corpora or the parameters of learned models. In this report, we describe the motivation and organization of the competition, review the best submissions, and analyze system predictions to inform a discussion of evaluation for open-domain QA.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

R - Projekt Ramcoveho programu EK

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the NeurIPS 2020 Competition and Demonstration Track

ISBN

—

ISSN

2640-3498

e-ISSN

—

Počet stran výsledku

25

Strana od-do

86-111

Název nakladatele

Proceedings of Machine Learning Research

Místo vydání

online

Místo konání akce

online

Datum konání akce

6. 12. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—