Classification models and the assessment of their predictive properties
Project goals
Discrimination belongs among decision support techniques that are frequently used at different application fields (bank clients scoring, repayment quality prediction, market segmentation etc.). The automation of the process of building discrimination models brings new questions in the area of comparison of different models when conditions of discrimination can change and are not known precisely. This research is focused on the field of analysis quality of discrimination models and on the estimation andon the use of the receiver operating characteristic (ROC) curve and area under curve (AUC). Research purpose covers different levels: studying the properties of discrimination models, systematic arrangement and overview of the research results acquired from the literature dealing with ROC and AUC, deeper studying and developing of the possibilities of kernel estimates of ROC, and studying the possibilities of how to describe and compare the performance of different types of classification
Keywords
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 6 (SGA02004GA-ST)
Main participants
—
Contest type
VS - Public tender
Contract ID
—
Alternative language
Project name in Czech
Klasifikační modely a porovnání jejich prediktivních vlastností
Annotation in Czech
Diskriminace náleží mezi metody pro podporu rozhodování, které mají časté využití v praktických aplikacích různého zaměření (kategorizace klientů banky, predikce kvality splácení úvěru, segmentace zákazníků na trhu apod.)- Automatizace procesu sestavování klasifikačních modelů přináší nové problémy, které se týkají otázek jak porovnat navzájem různé modely, jestliže podmínky, při kterých se klasifikace provádí, jsou proměnlivé a nejsou přesně známé. Plánovaný výzkum je orientován do oblasti analýzy kvality diskriminačních modelů a do oblasti odhadu a využití operační charakteristiky modelu (ROC křivky) a plochy AUC pod ROC křivkou. Záměr výzkumu pokrývá různé úrovně zkoumání: vlastnosti modelů diskriminace, systematické uspořádání a přehledliterárníchvýsledků z oblasti ROC a AUC, hlubší studium a další rozvoj využití metody jádrového odhadu ROC křivky a studium možností, jak popsat a navzájem porovnat výkonnost různých typů diskriminačních modelů (statistických a nestatistických).
Scientific branches
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
There were achieved the objectives of the project which was focused on development of methods for description and comparison the performance of classification methods. ROC curves were uniquely described for general fully parameterized bi-distributional
Solution timeline
Realization period - beginning
Jan 1, 2004
Realization period - end
Jan 1, 2006
Project status
U - Finished project
Latest support payment
—
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP07-GA0-GA-U/03:2
Data delivery date
Oct 16, 2007
Finance
Total approved costs
1,205 thou. CZK
Public financial support
1,205 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
1 205 CZK thou.
Public support
1 205 CZK thou.
100%
Provider
Czech Science Foundation
CEP
BB - Applied statistics, operational research
Solution period
01. 01. 2004 - 01. 01. 2006