Transformers of multiple modalities for more natural spoken dialog
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
SGA0202200004
Main participants
Západočeská univerzita v Plzni / Fakulta aplikovaných věd
Contest type
VS - Public tender
Contract ID
22-27800S
Alternative language
Project name in Czech
Využití vícemodálních Transformerů pro přirozenější hlasový dialog
Annotation in Czech
Cílem projektu je výzkum přirozenějších hlasových dialogových systémů založených na Transformerech. Vzhledem k tomu, že Transformery lze použít v úlohách typu sequence-to-sequence, běžně se využívají v úlohách porozumění přirozenému jazyku a generování přirozeného jazyka. V projektu se chceme zaměřit na případy, kdy vstupem nebo výstupem neuronové sítě je řeč. K převodu řeči na sémantickou reprezentaci nebo dialogové záměry využijeme rozpoznávač řeči jako černou skříňku, pro zpracování výstupních řečových mřížek v obecném Transformeru nebo rekurentních neuronových sítích ale plánujeme vyvinout nové metody a přístupy. Inverzní proces generování řeči ze záměrů bude využívat předtrénované modely Transformerů pro generování jazyka a moderní architektury syntézy řeči založené na DNN. Řízení dialogu bude využívat neurální attention mechanismy ke sledování stavu dialogu a ke generování konzistentních výstupů v neformálním nebo konverzačním stylu. Pro náročný úkol syntézy řeči v daném řečovém stylu plánujeme vytvořit vlastní korpus konverzační řeči.
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
OECD FORD - secondary branch
—
OECD FORD - another secondary branch
—
CEP - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)
AF - Documentation, librarianship, work with information<br>BC - Theory and management systems<br>BD - Information theory<br>IN - Informatics
Solution timeline
Realization period - beginning
Jan 1, 2022
Realization period - end
Dec 31, 2024
Project status
K - Ending multi-year project
Latest support payment
Mar 6, 2023
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP24-GA0-GA-R
Data delivery date
Feb 19, 2024
Finance
Total approved costs
6,810 thou. CZK
Public financial support
6,471 thou. CZK
Other public sources
339 thou. CZK
Non public and foreign sources
0 thou. CZK