Stochastic Normalizations as Bayesian Learning

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21230%2F19%3A00332292" target="_blank" >RIV/68407700:21230/19:00332292 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-3-030-20890-5_30" target="_blank" >http://dx.doi.org/10.1007/978-3-030-20890-5_30</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-030-20890-5_30" target="_blank" >10.1007/978-3-030-20890-5_30</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Stochastic Normalizations as Bayesian Learning

Popis výsledku v původním jazyce

In this work we investigate the reasons why Batch Normalization (BN) improves the generalization performance of deep networks. We argue that one major reason, distinguishing it from data-independent normalization methods, is randomness of batch statistics. This randomness appears in the parameters rather than in activations and admits an interpretation as a practical Bayesian learning. We apply this idea to other (deterministic) normalization techniques that are oblivious to the batch size. We show that their generalization performance can be improved significantly by Bayesian learning of the same form. We obtain test performance comparable to BN and, at the same time, better validation losses suitable for subsequent output uncertainty estimation through approximate Bayesian posterior.

Název v anglickém jazyce

Stochastic Normalizations as Bayesian Learning

Popis výsledku anglicky

In this work we investigate the reasons why Batch Normalization (BN) improves the generalization performance of deep networks. We argue that one major reason, distinguishing it from data-independent normalization methods, is randomness of batch statistics. This randomness appears in the parameters rather than in activations and admits an interpretation as a practical Bayesian learning. We apply this idea to other (deterministic) normalization techniques that are oblivious to the batch size. We show that their generalization performance can be improved significantly by Bayesian learning of the same form. We obtain test performance comparable to BN and, at the same time, better validation losses suitable for subsequent output uncertainty estimation through approximate Bayesian posterior.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2019

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

ACCV 2018: Proceedings of the 14th Asian Conference on Computer Vision, Part II

ISBN

978-3-030-20889-9

ISSN

0302-9743

e-ISSN

1611-3349

Počet stran výsledku

17

Strana od-do

463-479

Název nakladatele

Springer

Místo vydání

—

Místo konání akce

Perth

Datum konání akce

4. 12. 2018

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000492902300030