Learning Quantized Neural Networks, Discrete Choices and Representations
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
SGA0202400001
Main participants
České vysoké učení technické v Praze / Fakulta elektrotechnická
Contest type
VS - Public tender
Contract ID
24-12697S
Alternative language
Project name in Czech
Učení kvantovaných neuronových sítí, diskrétních voleb a reprezentací
Annotation in Czech
Navrhujeme komplexní vývoj stochastických diskrétních modelů a jejich souvisejících odhadů gradientů pro použití v hlubokém učení. Populární metody pro hluboké modely jsou navrženy částečně empiricky. Navrhujeme systematický teoretický přístup, abychom vysvětlili existující dobře fungující metody a vyvinuli vylepšené, účinné pro větší rozsah modelů. Za hlavní aplikaci takových estimátorů považujeme trénování binárních a kvantizovaných neuronových sítí, kde stochastická relaxace nabízí jasný přístup k jejich trénování pomocí stochastického gradientního sestupu. Očekává se, že dosažení účinnějších, výkonnějších a obecnějších kvantizovaných sítí bude mít velký dopad na nasazení aplikací do kompaktních a autonomních zařízení. Druhou aplikací, o které uvažujeme, je robustní odhad modelu pomoci RANSAC, kde se lze naučit rozložení návrhu pro minimální vzorky. Za třetí důležitý případ použití považujeme učení diskrétních reprezentací, jako jsou binární deskriptory pro sémantické hašování / vyhledávání textu a obrázků.
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
10102 - Applied mathematics
OECD FORD - secondary branch
10103 - Statistics and probability
OECD FORD - another secondary branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
CEP - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)
AF - Documentation, librarianship, work with information<br>BB - Applied statistics, operational research<br>BC - Theory and management systems<br>BD - Information theory<br>IN - Informatics
Solution timeline
Realization period - beginning
Jan 1, 2024
Realization period - end
Dec 31, 2026
Project status
B - Running multi-year project
Latest support payment
Feb 29, 2024
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP25-GA0-GA-R
Data delivery date
Feb 21, 2025
Finance
Total approved costs
5,100 thou. CZK
Public financial support
5,100 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK