Alternativní učící algoritmy pro dopředné neuronové sítě
Cíle projektu
Většina učících algoritmů pro dopředné neuronové sítě je založena na gradientních metodách používaných při nelineární optimalizaci. Přestože těmito metodami lze úspěšně řešit reálné problémy, mají některá podstatná omezení (numerická nestabilita, časováa komunikační náročnost). V posledních letech vzniklo několik teoretických výsledků o aproximačních vlastnostech neuronových sítí, ale doposud se věnovala malá pozornost vývoji nových učících algoritmů založených na těchto výsledcích. Na základě podrobnéanalýzy vět a důkazového aparátu autorů Kolmogorova, Sprechera, Kůrkové, Leshna, Mhaskara a dalších navrhneme alternativní učící procedury pro dopředné neuronové sítě. U navržených algoritmů budeme studovat jejich teoretické, numerické a výpočetní vlastnosti. Chování algoritmů vyzkoušíme na standardních testovacích problémech.
Klíčová slova
Artificial Neural NetworksLearning AlgorithmsParallel Computing
Veřejná podpora
Poskytovatel
Akademie věd České republiky
Program
Granty výrazně badatelského charakteru zaměřené na oblast výzkumu rozvíjeného v současné době zejména v AV ČR
Veřejná soutěž
SAV0-AB2000
Hlavní účastníci
Ústav informatiky AV ČR, v. v. i.
Druh soutěže
VS - Veřejná soutěž
Číslo smlouvy
—
Alternativní jazyk
Název projektu anglicky
Alternative learning procedures for reedforward neural networks
Anotace anglicky
The majority of currently used learning algortihms for feedforward networks is based on gradient descent methods of non-linear optimization. They have proven successfull in solving real-world problems, nevertheless they are known to suffer from several shortcomings (numerical instability, time demands, communication overhead). Several theoretical results concerning the approximation power of neural networks have been established in the last decade, but a little effort has benn made to use these results-based on functinal approximation theory-for proposal of novel learning procedures. We plan to carefully study the results and proof techniques of Kolmogorov, Sprecher, Kůrková, Leshno, Mhaskar and others to derive alternative learning procedures for feedforward networks. Numerical and computational properties of these algortihms will be studied by means of theory and experiments on standard benchmarks.
Vědní obory
Kategorie VaV
—
CEP - hlavní obor
BB - Aplikovaná statistika, operační výzkum
CEP - vedlejší obor
BA - Obecná matematika
CEP - další vedlejší obor
JC - Počítačový hardware a software
OECD FORD - odpovídající obory
(dle převodníku)10101 - Pure mathematics
10103 - Statistics and probability
20206 - Computer hardware and architecture
Hodnocení dokončeného projektu
Hodnocení poskytovatelem
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Zhodnocení výsledků projektu
Na základě Kolmogorovovy věty a příbuzných výsledků byly vytvořeny nové učící algoritmy pro dopředné neuronové sítě. Byla určena jejich složitost a navrženo několik možností efektivní paralelní realizace na clusterech pracovních stanic.
Termíny řešení
Zahájení řešení
1. 1. 2000
Ukončení řešení
1. 1. 2002
Poslední stav řešení
U - Ukončený projekt
Poslední uvolnění podpory
—
Dodání dat do CEP
Důvěrnost údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Systémové označení dodávky dat
CEP/2003/AV0/AV03IA/U/N/5:3
Datum dodání záznamu
27. 10. 2004
Finance
Celkové uznané náklady
1 928 tis. Kč
Výše podpory ze státního rozpočtu
726 tis. Kč
Ostatní veřejné zdroje financování
1 202 tis. Kč
Neveřejné tuz. a zahr. zdroje finan.
0 tis. Kč
Základní informace
Uznané náklady
1 928 tis. Kč
Statní podpora
726 tis. Kč
37%
Poskytovatel
Akademie věd České republiky
CEP
BB - Aplikovaná statistika, operační výzkum
Doba řešení
01. 01. 2000 - 01. 01. 2002