Parameter spaces and learning complexity of neural networks
Project goals
After the main questions concerning approximation capabilities of feedforward networks have been solved the focus has shifted towards complexity problems. Practical results indicate that the time complexity of learning process-representing a non-linear optimization task in a high-dimensional network parameter space-is the biggest problem. One possibility to decrease time complexity is the description of redundant network parametrizations realizing the same I/O function. We will focus on the descriptionof functionally equivalent networks for various architectures (RBF networks, multilayer perceptrons) and its utilization in deriving of new learning algorithms that are able to scan reduced parameter spaces. One type of such an algorithm is e.g. the modified genetic algorithm. We will investigate the effect of parameter space reduction to time complexity of learning. The given algorithms will be practically realized, hopefully in a parallel environment which is suitable for this type of algorithms.
Keywords
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
—
Main participants
Ústav informatiky AV ČR, v. v. i.
Contest type
VS - Public tender
Contract ID
—
Alternative language
Project name in Czech
Prostory parametrů a složitost učení neuronových sítí
Annotation in Czech
Po vyřešení hlavních otázek spojených s aproximačními schopnostmi dopředných neuronových sítí se důraz přesunuje na problémy složitosti. Praktické výsledky ukazují, že největším problémem je časová náročnost učícího procesu, který představuje nelineárníoptimalizační problém ve vysoce dimenzionálním prostoru parametrů sítě. Jednou z možností, jak snížit časovou složitost učení je popis redundantních parametrizací sítě realizujících stejné vstupně-výstupní funkce. Budeme se věnovat popisu funkčně ekvivalentních sítí pro různé architektury (RBF sítě, vícevrstvé perceptrony) a jejímu využití pro odvození nových učících algoritmů, které jsou schopny prohledávat redukované prostory parametrů. Jedním z typů takových algoritmů je např. modifikovaný genetickýalgoritmus. Prozkoumáme vliv redukce parametrického prostoru na časovou složitost učení a dané algoritmy realizujeme i prakticky, pokud možno v paralelním výpočetním prostředí, jež je pro tento typ algoritmů vhodné.
Scientific branches
R&D category
—
CEP classification - main branch
BA - General mathematics
CEP - secondary branch
BD - Information theory
CEP - another secondary branch
—
10101 - Pure mathematics
10102 - Applied mathematics
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Completed project evaluation
Provider evaluation
V - Vynikající výsledky projektu (s mezinárodním významem atd.)
Project results evaluation
Byly dosaženy výsledky o určitých typech neuronových sítí a souvisejících učících se algoritmů. Výstupy jsou články v kvalitních časopisech; jejich množství odpovídá rozsahu grantu.
Solution timeline
Realization period - beginning
Jan 1, 1999
Realization period - end
Jan 1, 2001
Project status
U - Finished project
Latest support payment
—
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP/2002/GA0/GA02GA/U/N/7:3
Data delivery date
Apr 1, 2003
Finance
Total approved costs
570 thou. CZK
Public financial support
507 thou. CZK
Other public sources
190 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
570 CZK thou.
Public support
507 CZK thou.
88%
Provider
Czech Science Foundation
CEP
BA - General mathematics
Solution period
01. 01. 1999 - 01. 01. 2001