Experimental Study of Leaf Confidences for Random Forest

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F04%3A00105191" target="_blank" >RIV/67985807:_____/04:00105191 - isvavai.cz</a>

Result on the web

—

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

Experimental Study of Leaf Confidences for Random Forest

Original language description

Decision forests (ensembles of trees) achieve usually smaller generalization error compared to single trees. In the classical methods for growing forests, bagging and boosting, the individual trees are constructed by methods originally developed for growing a single tree as the final predictor. In particular, the trees are usually pruned. For such trees, using weights (confidences) for individual trees improves the accuracy of the prediction of the ensemble. Random forests technique (Breiman 2001) usesa specific tree growing process, which does not produce good individual trees, but the whole ensemble frequently achieves better results than ensembles of trees obtained by classical bagging and boosting. One of the default features of Random Forests technique is that it does not use any weights. The current paper presents experiments demonstrating that in specific situations, appropriately chosen weights may improve the prediction for Random Forests of limited size.

Czech name

Experimentální studie vážení listů pro metodu Random Forests

Czech description

Rozhodovací lesy (soubory rozhodovacích stromů) obvykle dosahují menší generalizační chyby než jednotlivé stromy. V klasických metodách pro konstrukci lesů (bagging a boosting) jsou jednotlivé stromy konstruovány metodami, které byly původně navrženy prokonstrukci jednotlivých stromů jakožto výsledných prediktorů. Speciálně, tyto stromy jsou obvykle prořezávány. Pro takovéto stromy použití vah listů pro jednotlivé stromy zvyšuje přesnost predikce celého souboru. Metoda Random Forests (Breiman 2001) používá specifický postup konstrukce stromů, který nedává dobré jednotlivé stromy, ale celý soubor často dosahuje lepších výsledků než soubory získané klasickým baggingem a boostingem. Jedna ze základních vlastností metody Random Forests je, že nepoužívá žádné váhy listů. Prezentovaný článek ukazuje výsledky experimentů, které potvrzují, že v určitých situacích vhodně vybrané váhy listů mohou zlepšit predikci souboru získaného metodou Random Forests při omezeném počtu použitých stromů.

Type

D - Article in proceedings

CEP classification

BA - General mathematics

OECD FORD branch

—

Project

<a href="/en/project/LN00A056" target="_blank" >LN00A056: Institute of Theoretical Computer Science (Center of Young Science)</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2004

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Article name in the collection

Computational Statistics

ISBN

3-7908-1554-3

ISSN

—

e-ISSN

—

Number of pages

8

Pages from-to

1767-1774

Publisher name

Physica Verlag

Place of publication

Heidelberg

Event location

Prague

Event date

Aug 23, 2004

Type of event by nationality

WRD - Celosvětová akce

UT code for WoS article

—