Využití vícemodálních Transformerů pro přirozenější hlasový dialog

Poskytovatel

Grantová agentura České republiky

Program

Standardní projekty

Veřejná soutěž

SGA0202200004

Hlavní účastníci

Západočeská univerzita v Plzni / Fakulta aplikovaných věd

Druh soutěže

VS - Veřejná soutěž

Číslo smlouvy

22-27800S

Název projektu anglicky

Transformers of multiple modalities for more natural spoken dialog

Anotace anglicky

The goal of the project is the research of more natural spoken dialog systems based on the Transformer framework. Since Transformers could be used in sequence-to-sequence scenarios, their use in natural language understanding and generation is common. We would like to focus on the cases where the input or output of a neural network is speech. To convert speech into semantic representation or dialog intents we will be using the speech recognizer as a black-box but we plan to develop novel methods and approaches to process speech lattices in the general Transformer or recurrent neural networks. The inverse process of generating speech from intents will employ the pre-trained Transformer models for language generation and the recent DNN-based speech synthesis architectures. The dialog management will use the attention neural mechanisms to keep track of the dialog state and to generate consistent prompts in an informal or conversational style. The challenging task of speech synthesis using the given speech style will be backed by the recorded corpus of conversational speech.

Kategorie VaV

ZV - Základní výzkum

OECD FORD - hlavní obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

OECD FORD - vedlejší obor

—

OECD FORD - další vedlejší obor

—

CEP - odpovídající obory <br>(dle <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">převodníku</a>)

AF - Dokumentace, knihovnictví, práce s informacemi<br>BC - Teorie a systémy řízení<br>BD - Teorie informace<br>IN - Informatika

Zahájení řešení

1. 1. 2022

Ukončení řešení

31. 12. 2024

Poslední stav řešení

B - Běžící víceletý projekt

Poslední uvolnění podpory

11. 5. 2022

Důvěrnost údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Systémové označení dodávky dat

CEP23-GA0-GA-R

Datum dodání záznamu

20. 2. 2023

Celkové uznané náklady

6 810 tis. Kč

Výše podpory ze státního rozpočtu

6 471 tis. Kč

Ostatní veřejné zdroje financování

339 tis. Kč

Neveřejné tuz. a zahr. zdroje finan.

0 tis. Kč