Investigation into Training Dynamics of Learned Optimizers (Student Abstract)

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21240%2F24%3A00375860" target="_blank" >RIV/68407700:21240/24:00375860 - isvavai.cz</a>

Výsledek na webu

<a href="https://doi.org/10.1609/aaai.v38i21.30514" target="_blank" >https://doi.org/10.1609/aaai.v38i21.30514</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1609/aaai.v38i21.30514" target="_blank" >10.1609/aaai.v38i21.30514</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Investigation into Training Dynamics of Learned Optimizers (Student Abstract)

Popis výsledku v původním jazyce

Modern machine learning heavily relies on optimization, and as deep learning models grow more complex and data-hungry, the search for efficient learning becomes crucial. Learned optimizers disrupt traditional handcrafted methods such as SGD and Adam by learning the optimization strategy itself, potentially speeding up training. However, the learned optimizers' dynamics are still not well understood. To remedy this, our work explores their optimization trajectories from the perspective of network architecture symmetries and proposed parameter update distributions.

Název v anglickém jazyce

Investigation into Training Dynamics of Learned Optimizers (Student Abstract)

Popis výsledku anglicky

Modern machine learning heavily relies on optimization, and as deep learning models grow more complex and data-hungry, the search for efficient learning becomes crucial. Learned optimizers disrupt traditional handcrafted methods such as SGD and Adam by learning the optimization strategy itself, potentially speeding up training. However, the learned optimizers' dynamics are still not well understood. To remedy this, our work explores their optimization trajectories from the perspective of network architecture symmetries and proposed parameter update distributions.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 38th AAAI Conference on Artificial Intelligence

ISBN

978-1-57735-887-9

ISSN

2159-5399

e-ISSN

2374-3468

Počet stran výsledku

2

Strana od-do

23657-23658

Název nakladatele

AAAI Press

Místo vydání

Menlo Park

Místo konání akce

Vancouver

Datum konání akce

20. 2. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

001239989100210