Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F19%3A10405618" target="_blank" >RIV/00216208:11320/19:10405618 - isvavai.cz</a>

Výsledek na webu

<a href="https://www.aclweb.org/anthology/W19-8630" target="_blank" >https://www.aclweb.org/anthology/W19-8630</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.18653/v1/W19-8630" target="_blank" >10.18653/v1/W19-8630</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study

Popis výsledku v původním jazyce

Using data-driven models for solving text summarization or similar tasks has become very common in the last years. Yet most of the studies report basic accuracy scores only, and nothing is known about the ability of the proposed models to improve when trained on more data. In this paper, we define and propose three data efficiency metrics: data score efficiency, data time deficiency and overall data efficiency. We also propose a simple scheme that uses those metrics and apply it for a more comprehensive evaluation of popular methods on text summarization and title generation tasks. For the latter task, we process and release a huge collection of 35 million abstract-title pairs from scientific articles. Our results reveal that among the tested models, the Transformer is the most efficient on both tasks.

Název v anglickém jazyce

Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study

Popis výsledku anglicky

Using data-driven models for solving text summarization or similar tasks has become very common in the last years. Yet most of the studies report basic accuracy scores only, and nothing is known about the ability of the proposed models to improve when trained on more data. In this paper, we define and propose three data efficiency metrics: data score efficiency, data time deficiency and overall data efficiency. We also propose a simple scheme that uses those metrics and apply it for a more comprehensive evaluation of popular methods on text summarization and title generation tasks. For the latter task, we process and release a huge collection of 35 million abstract-title pairs from scientific articles. Our results reveal that among the tested models, the Transformer is the most efficient on both tasks.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2019

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 12th International Conference on Natural Language Generation (INLG 2019)

ISBN

978-1-950737-94-9

ISSN

—

e-ISSN

—

Počet stran výsledku

11

Strana od-do

229-239

Název nakladatele

Association for Computational Linguistics

Místo vydání

Stroudsubrgh, PA, USA

Místo konání akce

Tokyo, Japan

Datum konání akce

29. 10. 2019

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—