Multimodální zpracování lidské znakové a mluvené řeči počítačem pro komunikaci člověk-stroj

Poskytovatel

Akademie věd České republiky

Program

Informační společnost (Národní program výzkumu)

Veřejná soutěž

Informační společnost 1 (SAV02004-IS)

Hlavní účastníci

—

Druh soutěže

VS - Veřejná soutěž

Číslo smlouvy

1ET101470416

Název projektu anglicky

Multimodal human sign language and speech processing for man-machine communication

Anotace anglicky

The aim of the proposed project is to support audio speech recognition systems with visual recognition and apply information retrieval method on the recognition results. Multimodal audio-visual recognition will be employed in the task of sign language recognition and used to support information retrieval from video and audio recordings. The language we are interested in is Czech. Three tasks will be solved during recognition: audio continuous speech recognition, visual speech recognition, and audio-visual methods (classifiers) merging or combination. In case of sign language the objective is also the sign language synthesis. We suppose that we will be able to implement the sign-language-to-speech translation. High quality speech synthesis already developed at UWB will be used. Recognition techniques will be followed with information retrieval to enable talk content identification even from non-perfectly recognized word sequences. Computational linguistics will be used for translation.

Kategorie VaV

NV - Neprůmyslový výzkum (aplikovaný výzkum s výjimkou průmyslového)

CEP - hlavní obor

JD - Využití počítačů, robotika a její aplikace

CEP - vedlejší obor

IN - Informatika

CEP - další vedlejší obor

—

OECD FORD - odpovídající obory <br>(dle <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">převodníku</a>)

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)<br>20204 - Robotics and automatic control<br>20205 - Automation and control systems

Hodnocení poskytovatelem

U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)

Zhodnocení výsledků projektu

Technologie znakové syntézy, rozpoznávání, automatického překladu a 3D mluvící hlavy. Vytvoření a zveřejnění audiovizuálních databází, databází pro znakovou řeč.nKomplexní tektogramatický analyzátor. Kolekce IR dat pro mezinárodní evaluační kampaň CLEF.

Zahájení řešení

1. 7. 2004

Ukončení řešení

31. 12. 2008

Poslední stav řešení

U - Ukončený projekt

Poslední uvolnění podpory

21. 2. 2008

Důvěrnost údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Systémové označení dodávky dat

CEP09-AV0-1E-U/02:3

Datum dodání záznamu

4. 5. 2009

Celkové uznané náklady

22 737 tis. Kč

Výše podpory ze státního rozpočtu

22 289 tis. Kč

Ostatní veřejné zdroje financování

0 tis. Kč

Neveřejné tuz. a zahr. zdroje finan.

448 tis. Kč