Penalty Functions for Evaluation Measures of Unsegmented Speech Retrieval

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F12%3A10130046" target="_blank" >RIV/00216208:11320/12:10130046 - isvavai.cz</a>

Výsledek na webu

<a href="http://link.springer.com/chapter/10.1007/978-3-642-33247-0_12" target="_blank" >http://link.springer.com/chapter/10.1007/978-3-642-33247-0_12</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-642-33247-0_12" target="_blank" >10.1007/978-3-642-33247-0_12</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Penalty Functions for Evaluation Measures of Unsegmented Speech Retrieval

Popis výsledku v původním jazyce

This paper deals with evaluation of information retrieval from unsegmented speech. We focus on Mean Generalized Average Precision, the evaluation measure widely used for unsegmented speech retrieval. This measure is designed to allow certain tolerance inmatching retrieval results (starting points of relevant segments) against a gold standard relevance assessment. It employs a Penalty Function which evaluates non-exact matches in the retrieval results based on their distance from the beginnings of theirnearest true relevant segments. However, the choice of the Penalty Function is usually ad-hoc and does not necessary re?ect users' perception of the speech retrieval quality. We perform a lab test to study satisfaction of users of a speech retrieval system to empirically estimate the optimal shape of the Penalty Function.

Název v anglickém jazyce

Penalty Functions for Evaluation Measures of Unsegmented Speech Retrieval

Popis výsledku anglicky

This paper deals with evaluation of information retrieval from unsegmented speech. We focus on Mean Generalized Average Precision, the evaluation measure widely used for unsegmented speech retrieval. This measure is designed to allow certain tolerance inmatching retrieval results (starting points of relevant segments) against a gold standard relevance assessment. It employs a Penalty Function which evaluates non-exact matches in the retrieval results based on their distance from the beginnings of theirnearest true relevant segments. However, the choice of the Penalty Function is usually ad-hoc and does not necessary re?ect users' perception of the speech retrieval quality. We perform a lab test to study satisfaction of users of a speech retrieval system to empirically estimate the optimal shape of the Penalty Function.

Druh

J_x - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2012

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název periodika

Lecture Notes in Computer Science

ISSN

0302-9743

e-ISSN

—

Svazek periodika

7488

Číslo periodika v rámci svazku

7488

Stát vydavatele periodika

DE - Spolková republika Německo

Počet stran výsledku

12

Strana od-do

100-111

Kód UT WoS článku

—

EID výsledku v databázi Scopus

—