How (un)faithful are explainable LLM-based NLG metrics?

Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F25%3A10511664" target="_blank" >RIV/00216208:11320/25:10511664 - isvavai.cz</a>
Výsledek na webu
<a href="https://aclanthology.org/2025.inlg-main.37" target="_blank" >https://aclanthology.org/2025.inlg-main.37</a>
DOI - Digital Object Identifier
—

Jazyk výsledku
angličtina
Název v původním jazyce
How (un)faithful are explainable LLM-based NLG metrics?
Popis výsledku v původním jazyce
Explainable NLG metrics are becoming a popular research topic; however, the faithfulness of the explanations they provide is typically not evaluated. In this work, we propose a testbed for assessing the faithfulness of span-based metrics by performing controlled perturbations of their explanations and observing changes in the final score. We show that several popular LLM evaluators do not consistently produce faithful explanations.
Název v anglickém jazyce
How (un)faithful are explainable LLM-based NLG metrics?
Popis výsledku anglicky
Explainable NLG metrics are becoming a popular research topic; however, the faithfulness of the explanations they provide is typically not evaluated. In this work, we propose a testbed for assessing the faithfulness of span-based metrics by performing controlled perturbations of their explanations and observing changes in the final score. We show that several popular LLM evaluators do not consistently produce faithful explanations.

Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Rok uplatnění
2025
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku
Proceedings of the 18th International Natural Language Generation Conference
ISBN
979-8-89176-321-0
ISSN
—
e-ISSN
—
Počet stran výsledku
42
Strana od-do
617-658
Název nakladatele
Association for Computational Linguistics
Místo vydání
Kerrville, TX, USA
Místo konání akce
Hanoi, Vietnam
Datum konání akce
29. 10. 2025
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—

Podobné výsledky(10)