ROC Curves for the Classification Algorithms in STATISTICA Data Miner

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F62690094%3A18450%2F07%3A00001869" target="_blank" >RIV/62690094:18450/07:00001869 - isvavai.cz</a>

Result on the web

—

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

ROC Curves for the Classification Algorithms in STATISTICA Data Miner

Original language description

This paper describes the use of the macro language STATISTICA Visual Basic to construct receiver operating characteristics curves (ROC) for both the parametric and nonparametric classification algorithms implemented in the statistical and data mining software STATISTICA. ROC curves are widely used as a tool to evaluate classification models, but STATISTICA has an option of ROC curves only for neural networks. The macro presented here allows constructing the ROC curve for any classification model that provides estimates of the posterior probabilities. It displays the ROC curves in a single graph, therefore the classifiers comparison is facilitated. The nonparametric estimates of the area under the curve (AUC) and its standard error are provided by the macro using Mann-Whitney statistic. These estimates are used to construct the confidence limits for the area under the curve and can be used to test the hypothesis for the difference of AUC between two ROC curves provided that the ROC curv

Czech name

ROC křivky pro klasifikační algorimy ve Statistica Data Miner

Czech description

Příspěvek popisuje využití makrojazyka STATISTICA Visual Basic k sestavení ROC křivek pro parametrické i neparametrické klasifikační algoritmy implementované ve statistickém a data miningovém systému STATISTICA. ROC křivky jsou běžně používány k hodnocení klasifikačních modelů, avšak STATISTICA sestavuje ROC křivky pouze pro neuronové sítě. Prezentované makro umožňuje sestavení ROC křivky pro jakýkoli klasifikační model, který poskytuje odhady aposteriorních pravděpodobností, a který byl uložen v PMML formátu (Predictive Model Markup Language). ROC křivky jsou zobrazovány v jednom grafu tak, aby bylo usnadněno vzájemné porovnání několika klasifikačních modelů. Jedním z nejčastěji používaných souhrnných indexů kvality modelu je plocha pod křivkou (AUC),která je tímto makrem počítána. Odhad plochy pod křivkou a její směrodatné chyby je prováděn neparametricky pomocí Mann-Whitney statistiky. Odhady směrodatných chyb jsou používány k sestavení intervalů spolehlivostí pro dané plochy pod k

Type

D - Article in proceedings

CEP classification

BB - Applied statistics, operational research

OECD FORD branch

—

Project

<a href="/en/project/GA402%2F04%2F1308" target="_blank" >GA402/04/1308: Classification models and the assessment of their predictive properties</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2007

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Article name in the collection

Proceedings of the 6th International Conference Aplimat 2007

ISBN

978-80-969562-4-1

ISSN

—

e-ISSN

—

Number of pages

6

Pages from-to

363-368

Publisher name

Slovak University of Technology

Place of publication

Bratislava

Event location

—

Event date

—

Type of event by nationality

—

UT code for WoS article

—