Probabilistic neural networks
Project goals
The purpose of the project is to develop a new theoretically well justified probabilistic model of neural networks basd on mixtures of finite distributions and providing an acceptable neurophysiological interpretation of basic concepts. The model allowsto reduce the design of a probabilistic neural network to the problem of maximumlikelihood estimation of finite distribution mixtures with product-type components corresponding to individual neurons. The signal transmission in this model is defined by means of mixture parameters as an information preserving transform minimizing the entropy of the output space. The method will be applied to design both the multilayer structures and the recurrent neural networks. The probabilistic model permits incompleteinterconnections of neurons as well. By identifying finite mixtures by means of EM algorithm ona obtains maximum-likelihood estimates of the structure and of the functional parameters of neural networks.
Keywords
Public support
Provider
Academy of Sciences of the Czech Republic
Programme
Grants of distinctly investigative character focused on the sphere of research pursued at present particularly in the Academy of Sciences of the Czech Republic
Call for proposals
—
Main participants
Ústav teorie informace a automatizace AV ČR, v. v. i.
Contest type
—
Contract ID
—
Alternative language
Project name in Czech
Pravděpodobnostní neuronové sítě
Annotation in Czech
Cílem projektu je nový exaktně zdůvodněný pravděpodobnostní model neuronových sítí založený ma distribučních směsích a umožňující neurofyziologicky přijatelnou interpretaci základních pojmů. Model umožní převést návrh pravděpodobnostní neuronové sítě naproblém maximálně věrohodného odhadu parametrů distribuční směsi s komponentami součinového typu, přičemž komponenty směsi odpovídají jednotlivým neuronům. Přenos signálu v síti je definován pomocí parametrů směsi jako zobrazení zachovávající rozhodovacíinformaci a minimalizující entropii výstupního prostoru. Bude vypracována aplikace modelu na návrh vícevrstvých struktur a rekurentních neuronových sítí připouštějící neúplné propojení neuronů při zachování exaktního pravděpodobnostího popisu. Identifikace směsí pomocí EM algoritmu umožňuje maximálně věrohodný odhad struktury i funkčních parametrů neuronové sítě. Odhad parametrů bude převeden na tvar sekvenční výpočetně jednoduché procedury učení.
Scientific branches
R&D category
—
CEP classification - main branch
BB - Applied statistics, operational research
CEP - secondary branch
BD - Information theory
CEP - another secondary branch
FH - Neurology, neuro-surgery, nuero-sciences
10102 - Applied mathematics
10103 - Statistics and probability
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
30103 - Neurosciences (including psychophysiology)
30210 - Clinical neurology
Completed project evaluation
Provider evaluation
V - Vynikající výsledky projektu (s mezinárodním významem atd.)
Project results evaluation
Byla navržena neurofyziologicky interpretovatelná pravděpodobnostní neuronová síť umožňující neúplné propojení neuronů, optimalizaci struktury a paralelní kombinaci nezávislých řešení. Konstrukce sítě byla ověřena na úloze rozpoznávání číslic.
Solution timeline
Realization period - beginning
Jan 1, 1997
Realization period - end
Jan 1, 2000
Project status
U - Finished project
Latest support payment
—
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP/2001/AV0/AV01IA/U/N/4:2
Data delivery date
—
Finance
Total approved costs
927 thou. CZK
Public financial support
468 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Recognised costs
927 CZK thou.
Public support
468 CZK thou.
0%
Provider
Academy of Sciences of the Czech Republic
CEP
BB - Applied statistics, operational research
Solution period
01. 01. 1997 - 01. 01. 2000