Neural Networks Learning Algorithms Based on Regularization Theory
Project goals
The aim of this project is to study and develop algorithms for learning, namely learning approaches based on kernel methods, regularization networks and RBF networks. Regularization networks benefit from very good theoretical background, but may be not feasible for bigger tasks and their performance is very sensitive to the choice of kernel function and the regularization parameter. RBF networks, on the other hand, represent a cheaper alternative with variety of learning algorithms, but often based on heuristics. The main goal of this project is the proposal, implementation, and experimental examination of alternative learning algorithms. The work will be based on results of regularization theory, available optimisation algorithms and numerical algorithms. The focus will be on the weak points of the existing algorithms, i.e. the choice of optimal network architecture, the control of generalisation ability, and the applicability on tasks with huge data sets.
Keywords
machine learningneural networksregularization networksRBF networksevolutionary algorithms
Public support
Provider
Academy of Sciences of the Czech Republic
Programme
The research grant projects for juniors
Call for proposals
Juniorské badatelské grantové projekty 6 (SAV02008-B)
Main participants
—
Contest type
VS - Public tender
Contract ID
KJB100300804
Alternative language
Project name in Czech
Algoritmy učení neuronových sítí založené na teorii regularizace
Annotation in Czech
V tomto projektu se zaměříme na učení pomocí regularizačních a radiálních (RBF) sítí. Regularizační sítě jsou odvozeny z teorie regularizace a mají velmi dobré teoretické zázemí. Mohou být ale nevhodné pro větší úlohy a jejich chování je ovlivněno volboujádrové funkce a regularizačního parametru. Na druhé straně, RBF sítě reprezentují výpočetně levnější variantu s velkým výběrem učících algoritmů, které jsou ale často založeny na heuristikách. Hlavním cílem projektu je návrh, implementace a experimentální ověření nových učících algoritmů. Práce bude založena na teorii regularizace, optimalizace a regularizovaných numerických algoritmech. Důraz bude kladen na slabá místa stávajících algoritmů, jako jsou volba optimální architektury sítě, kontrola schopnosti generalizovat a aplikovatelnost na úlohy s velkým objemem dat.
Scientific branches
R&D category
ZV - Basic research
CEP classification - main branch
IN - Informatics
CEP - secondary branch
JD - Use of computers, robotics and its application
CEP - another secondary branch
—
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
20204 - Robotics and automatic control
20205 - Automation and control systems
Completed project evaluation
Provider evaluation
O - Nesplněno zadání, smlouva však byla dodržena
Project results evaluation
While some partial succes of the project has been reached, the results of the project have not been published adequately.
Solution timeline
Realization period - beginning
Jan 1, 2008
Realization period - end
Dec 31, 2011
Project status
U - Finished project
Latest support payment
Mar 18, 2011
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP12-AV0-KJ-U/01:1
Data delivery date
May 25, 2012
Finance
Total approved costs
623 thou. CZK
Public financial support
623 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
623 CZK thou.
Public support
623 CZK thou.
100%
Provider
Academy of Sciences of the Czech Republic
CEP
IN - Informatics
Solution period
01. 01. 2008 - 31. 12. 2011