Informational Efficiency of Sparsely Encoded Hopfield-Like Autoassociative Memory

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F03%3A00103280" target="_blank" >RIV/67985807:_____/03:00103280 - isvavai.cz</a>

Result on the web

—

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

Informational Efficiency of Sparsely Encoded Hopfield-Like Autoassociative Memory

Original language description

A sparsely encoded Hopfield-like attractor neural network is investigated analytically and by computer simulation. Informational capacity, recall quality and attractor basins size are evaluated. Asymptotic properties of the neural network are revealed bycomputer simulation for large network size (up to 150000 of neurons). It is shown that the size of attraction basins changes nonmonotonically while sparseness increases: initially it increases and then decreases. Thus in the limit case of high sparseness, it worsens the network ability to correct destroyed prototypes while it improves both informational capacity and recall quality. The gain of information provided by the network due to correction of the destroyed prototypes is used as cumulative indexof the network ability to perform the functions of autoassociative memory. There exists an optimal sparseness for which the gain is maximal. The optimal sparseness happened to correspond to brain neural activity.

Czech name

Informační kapacita asociativní paměti založené na řídce kódované neuronové síti Hopfieldova typu

Czech description

Asociativní paměť založená na řídce kódované atraktorové neuronové síti je analyzována jak pomocí analytického modelu jejího makroskopického chování, tak pomocí simulace Monte Carlo. Asymptotické chování neuronové sítě bylo nalezeno pomocí počítačových simulací pro velký počet neuronů (až 150000). Je ukázáno, že velikost bazénu atrakce se nemonotónně mění v závislosti na řídkosti kódování. Zpočátku se zvětšuje, potom opět klesá. To znamená v limitním případě řídkého kódování dochází ke ztrátě schopnostisítě asociativně obnovovat poškozené prototypy, avšak stoupá její kapacita a kvalita vyhledávání. Informační zisk poskytovaný sítí daný její schopností restaurovat poškozené prototypy je použit jako kumulativní index schopnosti sítě provádět funkce asociativní paměti. Je ukázána existence optimální řídkosti kódování, kdy je tento zisk maximální. Ukázalo se, že optimální řídkost kódování odpovídá neuronální aktivitě v mozku.

Type

J_x - Unclassified - Peer-reviewed scientific article (Jimp, Jsc and Jost)

CEP classification

BA - General mathematics

OECD FORD branch

—

Project

—

Continuities

Z - Vyzkumny zamer (s odkazem do CEZ)

Publication year

2003

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Name of the periodical

Optical Memory and Neural Networks (Information Optics)

ISSN

1060-992X

e-ISSN

—

Volume of the periodical

12

Issue of the periodical within the volume

3

Country of publishing house

US - UNITED STATES

Number of pages

22

Pages from-to

177-198

UT code for WoS article

—

EID of the result in the Scopus database

—