Adaptive Input Normalization for Quantized Neural Networks

Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21240%2F24%3A00375936" target="_blank" >RIV/68407700:21240/24:00375936 - isvavai.cz</a>
Výsledek na webu
<a href="https://doi.org/10.1109/DDECS60919.2024.10508927" target="_blank" >https://doi.org/10.1109/DDECS60919.2024.10508927</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1109/DDECS60919.2024.10508927" target="_blank" >10.1109/DDECS60919.2024.10508927</a>

Jazyk výsledku
angličtina
Název v původním jazyce
Adaptive Input Normalization for Quantized Neural Networks
Popis výsledku v původním jazyce
Neural networks with quantized activation functions cannot adapt the quantization at the input of their first layer. Preprocessing is therefore required to adapt the range of input data to the quantization range. Such preprocessing usually includes an activation-wise linear transformation and is steered by the properties of the training set. We suggest to include the linear transform into the training process. We document that it improves accuracy, requires the same resources as standard preprocessing, plays a role in network pruning, and is reasonably stable with respect to initialization.
Název v anglickém jazyce
Adaptive Input Normalization for Quantized Neural Networks
Popis výsledku anglicky
Neural networks with quantized activation functions cannot adapt the quantization at the input of their first layer. Preprocessing is therefore required to adapt the range of input data to the quantization range. Such preprocessing usually includes an activation-wise linear transformation and is steered by the properties of the training set. We suggest to include the linear transform into the training process. We document that it improves accuracy, requires the same resources as standard preprocessing, plays a role in network pruning, and is reasonably stable with respect to initialization.

Projekt
—
Návaznosti
I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění
2024
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku
Proceedings of the 27th International Symposium on Design and Diagnostics of Electronic Circuits & Systems
ISBN
979-8-3503-5934-3
ISSN
—
e-ISSN
—
Počet stran výsledku
6
Strana od-do
130-135
Název nakladatele
IEEE
Místo vydání
Piscataway
Místo konání akce
Kielce
Datum konání akce
3. 4. 2024
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
001227439800025

Podobné výsledky(10)