Vše

Co hledáte?

Vše
Projekty
Výsledky výzkumu
Subjekty

Rychlé hledání

  • Projekty podpořené TA ČR
  • Významné projekty
  • Projekty s nejvyšší státní podporou
  • Aktuálně běžící projekty

Chytré vyhledávání

  • Takto najdu konkrétní +slovo
  • Takto z výsledků -slovo zcela vynechám
  • “Takto můžu najít celou frázi”

Energy Complexity of Recurrent Neural Networks

Identifikátory výsledku

  • Kód výsledku v IS VaVaI

    <a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F14%3A00393985" target="_blank" >RIV/67985807:_____/14:00393985 - isvavai.cz</a>

  • Výsledek na webu

    <a href="http://dx.doi.org/10.1162/NECO_a_00579" target="_blank" >http://dx.doi.org/10.1162/NECO_a_00579</a>

  • DOI - Digital Object Identifier

    <a href="http://dx.doi.org/10.1162/NECO_a_00579" target="_blank" >10.1162/NECO_a_00579</a>

Alternativní jazyky

  • Jazyk výsledku

    angličtina

  • Název v původním jazyce

    Energy Complexity of Recurrent Neural Networks

  • Popis výsledku v původním jazyce

    Recently, a new so-called energy complexity measure has been introduced and studied for feedforward perceptron networks. This measure is inspired by the fact that biological neurons require more energy to transmit a spike than not to fire, and the activity of neurons in the brain is quite sparse, with only about 1% of neurons firing. In this paper, we investigate the energy complexity of recurrent networks which counts the number of active neurons at any time instant of a computation. We prove that anydeterministic finite automaton with m states can be simulated by a neural network of optimal size s=Theta(sqrt{m}) with the time overhead of tau=O(s/e) per one input bit, using the energy O(e), for any e such that e=Omega(log s) and e=O(s), which shows the time-energy tradeoff in recurrent networks. In addition, for the time overhead tau satisfying tau^tau=o(s), we obtain the lower bound of s^{c/tau} on the energy of such a simulation, for some constant c>0 and for infinitely ma

  • Název v anglickém jazyce

    Energy Complexity of Recurrent Neural Networks

  • Popis výsledku anglicky

    Recently, a new so-called energy complexity measure has been introduced and studied for feedforward perceptron networks. This measure is inspired by the fact that biological neurons require more energy to transmit a spike than not to fire, and the activity of neurons in the brain is quite sparse, with only about 1% of neurons firing. In this paper, we investigate the energy complexity of recurrent networks which counts the number of active neurons at any time instant of a computation. We prove that anydeterministic finite automaton with m states can be simulated by a neural network of optimal size s=Theta(sqrt{m}) with the time overhead of tau=O(s/e) per one input bit, using the energy O(e), for any e such that e=Omega(log s) and e=O(s), which shows the time-energy tradeoff in recurrent networks. In addition, for the time overhead tau satisfying tau^tau=o(s), we obtain the lower bound of s^{c/tau} on the energy of such a simulation, for some constant c>0 and for infinitely ma

Klasifikace

  • Druh

    J<sub>x</sub> - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)

  • CEP obor

    IN - Informatika

  • OECD FORD obor

Návaznosti výsledku

  • Projekt

    <a href="/cs/project/GAP202%2F10%2F1333" target="_blank" >GAP202/10/1333: NoSCoM: Nestandardní výpočetní modely a jejich aplikace ve složitosti, lingvistice a učení</a><br>

  • Návaznosti

    I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Ostatní

  • Rok uplatnění

    2014

  • Kód důvěrnosti údajů

    S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Údaje specifické pro druh výsledku

  • Název periodika

    Neural Computation

  • ISSN

    0899-7667

  • e-ISSN

  • Svazek periodika

    26

  • Číslo periodika v rámci svazku

    5

  • Stát vydavatele periodika

    US - Spojené státy americké

  • Počet stran výsledku

    21

  • Strana od-do

    953-973

  • Kód UT WoS článku

    000334027800005

  • EID výsledku v databázi Scopus