Model Complexity of Neural Networks - a Seeming Paradox

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F15%3A00449922" target="_blank" >RIV/67985807:_____/15:00449922 - isvavai.cz</a>

Result on the web

<a href="http://cogsci.fmph.uniba.sk/kuz2015/zbornik/prispevky/kurkova.pdf" target="_blank" >http://cogsci.fmph.uniba.sk/kuz2015/zbornik/prispevky/kurkova.pdf</a>

DOI - Digital Object Identifier

—

Result language

čeština

Original language name

Modelová složitost neuronových sítí - zdánlivý paradox

Original language description

V článku jsou studovány limity schopností umělých neuronových sítí s jednou skrytou vrstvou výpočetních jednotek při řešení vysoce dimenzionálních úloh. Na základě vlastnosti ?koncentrace míry eukleidovských prostorů vyšších dimenzí je ukázáno, že reprezentace náhodně vybrané funkce na dostatečně velké doméně s velkou pravděpodobností vyžaduje sít s počtem jednotek nebo velikostí vah závisející na vstupní dimenzi sítě exponenciálně. Je zdánlivým paradoxem, že najít konkrétní příklad takové funkce je obtížné. Možným vysvětlením je, že jak reálné úlohy modelované neuronovými sítěmi, tak funkce popsané matematickými formulemi patří do malé množiny funkcí, které mají strukturu, která se dá realizovat neuronovými sítěmi přijatelných velikostí. Situace připomíná známý paradox z teorie kódování ?Každý kód, který nemůžeme vymyslet, je dobrý.

Czech name

Modelová složitost neuronových sítí - zdánlivý paradox

Czech description

V článku jsou studovány limity schopností umělých neuronových sítí s jednou skrytou vrstvou výpočetních jednotek při řešení vysoce dimenzionálních úloh. Na základě vlastnosti ?koncentrace míry eukleidovských prostorů vyšších dimenzí je ukázáno, že reprezentace náhodně vybrané funkce na dostatečně velké doméně s velkou pravděpodobností vyžaduje sít s počtem jednotek nebo velikostí vah závisející na vstupní dimenzi sítě exponenciálně. Je zdánlivým paradoxem, že najít konkrétní příklad takové funkce je obtížné. Možným vysvětlením je, že jak reálné úlohy modelované neuronovými sítěmi, tak funkce popsané matematickými formulemi patří do malé množiny funkcí, které mají strukturu, která se dá realizovat neuronovými sítěmi přijatelných velikostí. Situace připomíná známý paradox z teorie kódování ?Každý kód, který nemůžeme vymyslet, je dobrý.

Type

D - Article in proceedings

CEP classification

IN - Informatics

OECD FORD branch

—

Project

<a href="/en/project/LD13002" target="_blank" >LD13002: Modeling of complex systems for softcomputing methods</a><br>

Continuities

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Publication year

2015

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Article name in the collection

Kognícia a umelý život 2015

ISBN

978-80-223-3875-2

ISSN

—

e-ISSN

—

Number of pages

5

Pages from-to

102-106

Publisher name

Univerzita Komenského v Bratislave

Place of publication

Bratislava

Event location

Trenčianske Teplice

Event date

May 25, 2015

Type of event by nationality

EUR - Evropská akce

UT code for WoS article

—