Experimentální studie vážení listů pro metodu Random Forests
Popis výsledku
Rozhodovací lesy (soubory rozhodovacích stromů) obvykle dosahují menší generalizační chyby než jednotlivé stromy. V klasických metodách pro konstrukci lesů (bagging a boosting) jsou jednotlivé stromy konstruovány metodami, které byly původně navrženy prokonstrukci jednotlivých stromů jakožto výsledných prediktorů. Speciálně, tyto stromy jsou obvykle prořezávány. Pro takovéto stromy použití vah listů pro jednotlivé stromy zvyšuje přesnost predikce celého souboru. Metoda Random Forests (Breiman 2001) používá specifický postup konstrukce stromů, který nedává dobré jednotlivé stromy, ale celý soubor často dosahuje lepších výsledků než soubory získané klasickým baggingem a boostingem. Jedna ze základních vlastností metody Random Forests je, že nepoužívá žádné váhy listů. Prezentovaný článek ukazuje výsledky experimentů, které potvrzují, že v určitých situacích vhodně vybrané váhy listů mohou zlepšit predikci souboru získaného metodou Random Forests při omezeném počtu použitých stromů.
Klíčová slova
Identifikátory výsledku
Kód výsledku v IS VaVaI
Výsledek na webu
—
DOI - Digital Object Identifier
—
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Experimental Study of Leaf Confidences for Random Forest
Popis výsledku v původním jazyce
Decision forests (ensembles of trees) achieve usually smaller generalization error compared to single trees. In the classical methods for growing forests, bagging and boosting, the individual trees are constructed by methods originally developed for growing a single tree as the final predictor. In particular, the trees are usually pruned. For such trees, using weights (confidences) for individual trees improves the accuracy of the prediction of the ensemble. Random forests technique (Breiman 2001) usesa specific tree growing process, which does not produce good individual trees, but the whole ensemble frequently achieves better results than ensembles of trees obtained by classical bagging and boosting. One of the default features of Random Forests technique is that it does not use any weights. The current paper presents experiments demonstrating that in specific situations, appropriately chosen weights may improve the prediction for Random Forests of limited size.
Název v anglickém jazyce
Experimental Study of Leaf Confidences for Random Forest
Popis výsledku anglicky
Decision forests (ensembles of trees) achieve usually smaller generalization error compared to single trees. In the classical methods for growing forests, bagging and boosting, the individual trees are constructed by methods originally developed for growing a single tree as the final predictor. In particular, the trees are usually pruned. For such trees, using weights (confidences) for individual trees improves the accuracy of the prediction of the ensemble. Random forests technique (Breiman 2001) usesa specific tree growing process, which does not produce good individual trees, but the whole ensemble frequently achieves better results than ensembles of trees obtained by classical bagging and boosting. One of the default features of Random Forests technique is that it does not use any weights. The current paper presents experiments demonstrating that in specific situations, appropriately chosen weights may improve the prediction for Random Forests of limited size.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
BA - Obecná matematika
OECD FORD obor
—
Návaznosti výsledku
Projekt
LN00A056: Institut teoretické informatiky - Centrum mladé vědy
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2004
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Computational Statistics
ISBN
3-7908-1554-3
ISSN
—
e-ISSN
—
Počet stran výsledku
8
Strana od-do
1767-1774
Název nakladatele
Physica Verlag
Místo vydání
Heidelberg
Místo konání akce
Prague
Datum konání akce
23. 8. 2004
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—
Základní informace
Druh výsledku
D - Stať ve sborníku
CEP
BA - Obecná matematika
Rok uplatnění
2004