Variance estimation for two-class and multi-class ROC analysis using operating point averaging

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985556%3A_____%2F08%3A00317798" target="_blank" >RIV/67985556:_____/08:00317798 - isvavai.cz</a>

Výsledek na webu

—

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Variance estimation for two-class and multi-class ROC analysis using operating point averaging

Popis výsledku v původním jazyce

Receiver Operator Characteristic (ROC) analysis enables fine-tuning of a trained classifier to a desired error trade-off situation. ROC estimated from a single test set is, however, insufficient for the sake of classifier comparison as it neglects performance variances. This research presents a practical algorithm for variance estimation at individual operating points of ROC curves or surfaces. It generalizes the threshold averaging of Fawcett et.al. to arbitrary operating point definition including theweighting-based formulation used in multi-class ROC analysis. The statistical test of comparison of performance differences between operating points of the same curve is illustrated for two-class and multi-class ROC.

Název v anglickém jazyce

Variance estimation for two-class and multi-class ROC analysis using operating point averaging

Popis výsledku anglicky

Receiver Operator Characteristic (ROC) analysis enables fine-tuning of a trained classifier to a desired error trade-off situation. ROC estimated from a single test set is, however, insufficient for the sake of classifier comparison as it neglects performance variances. This research presents a practical algorithm for variance estimation at individual operating points of ROC curves or surfaces. It generalizes the threshold averaging of Fawcett et.al. to arbitrary operating point definition including theweighting-based formulation used in multi-class ROC analysis. The statistical test of comparison of performance differences between operating points of the same curve is illustrated for two-class and multi-class ROC.

Druh

D - Stať ve sborníku

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

—

Návaznosti

Z - Vyzkumny zamer (s odkazem do CEZ)

Rok uplatnění

2008

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings on the 19th International Conference on Pattern Recognition

ISBN

978-1-4244-2174-9

ISSN

—

e-ISSN

—

Počet stran výsledku

4

Strana od-do

—

Název nakladatele

IEEE

Místo vydání

Tampa

Místo konání akce

Tampa

Datum konání akce

8. 12. 2008

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—