Compact ConvNets with Ternary Weights and Binary Activations

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21730%2F18%3A00318883" target="_blank" >RIV/68407700:21730/18:00318883 - isvavai.cz</a>

Výsledek na webu

<a href="http://cmp.felk.cvut.cz/cvww2018/papers/18.pdf" target="_blank" >http://cmp.felk.cvut.cz/cvww2018/papers/18.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Compact ConvNets with Ternary Weights and Binary Activations

Popis výsledku v původním jazyce

Compact convolutional neural network (CNN) architectures with ternary weights and binary activations is a combination of methods suitable for making neural networks more efficient. We show that the combination of ternary weights and depthwise separable convolutions on the CIFAR-10 benchmark can yield a small neural network of size $32 kB$ and $83.70%$ test accuracy. We present a novel dithering binary activation which we expected to improve accuracy of networks with binary activations by randomizing quantization error. This work presents the outcome of our experiments which show that it brings only mild improvements. A compact SqueezeNet network with ternary weights and binary activations is more accurate than the same network with binary weights. Nevertheless, the accuracy gap to its full precision variant remains large.

Název v anglickém jazyce

Compact ConvNets with Ternary Weights and Binary Activations

Popis výsledku anglicky

Compact convolutional neural network (CNN) architectures with ternary weights and binary activations is a combination of methods suitable for making neural networks more efficient. We show that the combination of ternary weights and depthwise separable convolutions on the CIFAR-10 benchmark can yield a small neural network of size $32 kB$ and $83.70%$ test accuracy. We present a novel dithering binary activation which we expected to improve accuracy of networks with binary activations by randomizing quantization error. This work presents the outcome of our experiments which show that it brings only mild improvements. A compact SqueezeNet network with ternary weights and binary activations is more accurate than the same network with binary weights. Nevertheless, the accuracy gap to its full precision variant remains large.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/EF15_003%2F0000470" target="_blank" >EF15_003/0000470: Robotika pro Průmysl 4.0</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2018

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 23rd Computer Vision Winter Workshop

ISBN

978-80-270-3395-9

ISSN

—

e-ISSN

—

Počet stran výsledku

8

Strana od-do

—

Název nakladatele

Czech Society for Cybernetics and Informatics

Místo vydání

Praha

Místo konání akce

Český Krumlov

Datum konání akce

5. 2. 2018

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—