The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F20%3A00117106" target="_blank" >RIV/00216224:14330/20:00117106 - isvavai.cz</a>

Výsledek na webu

<a href="https://nlp.fi.muni.cz/raslan/raslan20.pdf#page=63" target="_blank" >https://nlp.fi.muni.cz/raslan/raslan20.pdf#page=63</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

Popis výsledku v původním jazyce

<p>Since the seminal work of Mikolov et al. (2013), word vectors of log-bilinear SVMs have found their way into many NLP applications as an unsupervised measure of word relatedness.</p> <p>Due to the rapid pace of research and the publish-or-perish mantra of academic publishing, word vector experiments contain undisclosed parameters, which make them difficult to reproduce.</p> <p>In our work, we introduce the experiments and their parameters, compare the published experimental results with our own, and suggest default parameter settings and ways to make previous and future experiments easier to reproduce.</p> <p>We show that the lack of variable control can cause up to 24% difference in accuracy on the word analogy tasks.</p>

Název v anglickém jazyce

The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

Popis výsledku anglicky

<p>Since the seminal work of Mikolov et al. (2013), word vectors of log-bilinear SVMs have found their way into many NLP applications as an unsupervised measure of word relatedness.</p> <p>Due to the rapid pace of research and the publish-or-perish mantra of academic publishing, word vector experiments contain undisclosed parameters, which make them difficult to reproduce.</p> <p>In our work, we introduce the experiments and their parameters, compare the published experimental results with our own, and suggest default parameter settings and ways to make previous and future experiments easier to reproduce.</p> <p>We show that the lack of variable control can cause up to 24% difference in accuracy on the word analogy tasks.</p>

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the Fourteenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2020

ISBN

9788026316008

ISSN

2336-4289

e-ISSN

—

Počet stran výsledku

10

Strana od-do

55-64

Název nakladatele

Tribun EU

Místo vydání

Brno

Místo konání akce

online

Datum konání akce

8. 12. 2020

Typ akce podle státní příslušnosti

EUR - Evropská akce

Kód UT WoS článku

000655471300006