Initialization and Transfer Learning of Stochastic Binary Networks from Real-Valued Ones

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21230%2F21%3A00357000" target="_blank" >RIV/68407700:21230/21:00357000 - isvavai.cz</a>

Výsledek na webu

<a href="https://doi.org/10.1109/CVPRW53098.2021.00524" target="_blank" >https://doi.org/10.1109/CVPRW53098.2021.00524</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/CVPRW53098.2021.00524" target="_blank" >10.1109/CVPRW53098.2021.00524</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Initialization and Transfer Learning of Stochastic Binary Networks from Real-Valued Ones

Popis výsledku v původním jazyce

We consider the training of binary neural networks (BNNs) using the stochastic relaxation approach, which leads to stochastic binary networks (SBNs). We identify that a severe obstacle to training deep SBNs without skip connections is already the initialization phase. While smaller models can be trained from a random (possibly data-driven) initialization, for deeper models and large datasets, it becomes increasingly difficult to obtain non-vanishing and low variance gradients when initializing randomly.

Název v anglickém jazyce

Initialization and Transfer Learning of Stochastic Binary Networks from Real-Valued Ones

Popis výsledku anglicky

We consider the training of binary neural networks (BNNs) using the stochastic relaxation approach, which leads to stochastic binary networks (SBNs). We identify that a severe obstacle to training deep SBNs without skip connections is already the initialization phase. While smaller models can be trained from a random (possibly data-driven) initialization, for deeper models and large datasets, it becomes increasingly difficult to obtain non-vanishing and low variance gradients when initializing randomly.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/EF16_019%2F0000765" target="_blank" >EF16_019/0000765: Výzkumné centrum informatiky</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGITION WORKSHOPS (CVPRW 2021)

ISBN

978-1-6654-4899-4

ISSN

2160-7508

e-ISSN

2160-7516

Počet stran výsledku

9

Strana od-do

4655-4663

Název nakladatele

IEEE Computer Society Press

Místo vydání

New York

Místo konání akce

Nashville

Datum konání akce

20. 6. 2021

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000705890204090