ReproHum #0669-08: Reproducing Sentiment Transfer Evaluation

Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F25%3A10511639" target="_blank" >RIV/00216208:11320/25:10511639 - isvavai.cz</a>
Výsledek na webu
<a href="https://aclanthology.org/2025.gem-1.55/" target="_blank" >https://aclanthology.org/2025.gem-1.55/</a>
DOI - Digital Object Identifier
—

Jazyk výsledku
angličtina
Název v původním jazyce
ReproHum #0669-08: Reproducing Sentiment Transfer Evaluation
Popis výsledku v původním jazyce
We describe a reproduction of a human annotation experiment that was performed to evaluate the effectiveness of text style transfer systems (Reif et al., 2022). Despite our efforts to closely imitate the conditions of the original study, the results obtained differ significantly from those in the original study. We perform a statistical analysis of the results obtained, discuss the sources of these discrepancies in the study design, and quantify reproducibility. The reproduction followed the common approach to reproduction adopted by the ReproHum project (Belz et al., 2025).
Název v anglickém jazyce
ReproHum #0669-08: Reproducing Sentiment Transfer Evaluation
Popis výsledku anglicky
We describe a reproduction of a human annotation experiment that was performed to evaluate the effectiveness of text style transfer systems (Reif et al., 2022). Despite our efforts to closely imitate the conditions of the original study, the results obtained differ significantly from those in the original study. We perform a statistical analysis of the results obtained, discuss the sources of these discrepancies in the study design, and quantify reproducibility. The reproduction followed the common approach to reproduction adopted by the ReproHum project (Belz et al., 2025).

Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Rok uplatnění
2025
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku
Proceedings of the Fourth Workshop on Generation, Evaluation and Metrics (GEM²)
ISBN
979-8-89176-261-9
ISSN
—
e-ISSN
—
Počet stran výsledku
8
Strana od-do
601-608
Název nakladatele
Association for Computational Linguistics
Místo vydání
Kerrville, TX, USA
Místo konání akce
Wien, Austria
Datum konání akce
27. 7. 2025
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—

Podobné výsledky(10)