The Power of Max Pooling Layer

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F25%3A00636921" target="_blank" >RIV/67985807:_____/25:00636921 - isvavai.cz</a>

Výsledek na webu

<a href="https://doi.org/10.1007/978-3-032-04558-4_18" target="_blank" >https://doi.org/10.1007/978-3-032-04558-4_18</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-032-04558-4_18" target="_blank" >10.1007/978-3-032-04558-4_18</a>

Jazyk výsledku

angličtina

Název v původním jazyce

The Power of Max Pooling Layer

Popis výsledku v původním jazyce

Max pooling layers are the basic building blocks of convolutional neural networks. The theoretical characterization of their computational power is therefore a question of central interest. This paper deals with the representability of the max pooling layer by neural networks (NNs) employing the ReLU activation function. We provide two upper bounds on the size (number of ReLU neurons) and depth (number of layers) of the NNs that implement the maximum MAXn of n nonnegative numbers. We show that the MAXn function can be computed either by a NN of size n and logarithmic depth, or by a NN of quadratic size and constant depth for bounded input numbers of limited precision, where the constant depth depends on the magnitude of the weights. As a lower bound, we prove that no NN of depth 2 can compute the maximum of more than two nonnegative numbers. This confirms that the max pooling layer cannot be replaced by just two convolutional layer

Název v anglickém jazyce

The Power of Max Pooling Layer

Popis výsledku anglicky

Max pooling layers are the basic building blocks of convolutional neural networks. The theoretical characterization of their computational power is therefore a question of central interest. This paper deals with the representability of the max pooling layer by neural networks (NNs) employing the ReLU activation function. We provide two upper bounds on the size (number of ReLU neurons) and depth (number of layers) of the NNs that implement the maximum MAXn of n nonnegative numbers. We show that the MAXn function can be computed either by a NN of size n and logarithmic depth, or by a NN of quadratic size and constant depth for bounded input numbers of limited precision, where the constant depth depends on the magnitude of the weights. As a lower bound, we prove that no NN of depth 2 can compute the maximum of more than two nonnegative numbers. This confirms that the max pooling layer cannot be replaced by just two convolutional layer

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GA25-15490S" target="_blank" >GA25-15490S: LEDNeCo: Nízkoenergetické hluboké neurovýpočty</a><br>

Návaznosti

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2025

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Artificial Neural Networks and Machine Learning – ICANN 2025. Proceedings, Part I

ISBN

978-3-032-04557-7

ISSN

0302-9743

e-ISSN

—

Počet stran výsledku

13

Strana od-do

221-233

Název nakladatele

Springer

Místo vydání

Cham

Místo konání akce

Kaunas

Datum konání akce

9. 9. 2025

Typ akce podle státní příslušnosti

EUR - Evropská akce

Kód UT WoS článku

—