Učení kvantovaných neuronových sítí, diskrétních voleb a reprezentací

Poskytovatel

Grantová agentura České republiky

Program

Standardní projekty

Veřejná soutěž

SGA0202400001

Hlavní účastníci

České vysoké učení technické v Praze / Fakulta elektrotechnická

Druh soutěže

VS - Veřejná soutěž

Číslo smlouvy

24-12697S

Název projektu anglicky

Learning Quantized Neural Networks, Discrete Choices and Representations

Anotace anglicky

We propose a comprehensive development of stochastic discrete models and their associated gradient estimators for use in deep learning. Popular methods for deep models are designed partially ad hoc. We propose a systematic theoretical approach, to explain existing well-performing methods and develop improved ones, efficient for a larger scope of models. As the main application of such estimators we consider training binary and quantized neural networks, where stochastic relaxation offers a sound approach for their training with the common stochastic gradient descent. Achieving more efficient, better performing and more general quantized networks is expected to have high impact on deploying applications to compact and autonomous devices. The second application we consider is robust model estimation with RANSAC, where the proposal distribution for minimal samples can be learned. As the third important use case, we consider learning discrete representations, such as binary descriptors for semantic hashing / retrieval of text and images.

Kategorie VaV

ZV - Základní výzkum

OECD FORD - hlavní obor

10102 - Applied mathematics

OECD FORD - vedlejší obor

10103 - Statistics and probability

OECD FORD - další vedlejší obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

CEP - odpovídající obory <br>(dle <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">převodníku</a>)

AF - Dokumentace, knihovnictví, práce s informacemi<br>BB - Aplikovaná statistika, operační výzkum<br>BC - Teorie a systémy řízení<br>BD - Teorie informace<br>IN - Informatika

Zahájení řešení

1. 1. 2024

Ukončení řešení

31. 12. 2026

Poslední stav řešení

B - Běžící víceletý projekt

Poslední uvolnění podpory

29. 2. 2024

Důvěrnost údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Systémové označení dodávky dat

CEP25-GA0-GA-R

Datum dodání záznamu

21. 2. 2025

Celkové uznané náklady

5 100 tis. Kč

Výše podpory ze státního rozpočtu

5 100 tis. Kč

Ostatní veřejné zdroje financování

0 tis. Kč

Neveřejné tuz. a zahr. zdroje finan.

0 tis. Kč