Multimodální zpracování lidské znakové a mluvené řeči počítačem pro komunikaci člověk-stroj
Cíle projektu
Cílem projektu je podpořit systémy používající rozpoznávání mluvené řeči rozpoznáváním vizuálním a na výsledek aplikovat metody vyhledávání informací. Multimodální audio-vizuální rozpoznávání bude aplikováno na úlohu rozpoznávání znakové řeči a na podporu vyhledávání informací z video a audio nahrávek. Zkoumaným jazykem je čeština. Při rozpoznávání se budou řešit tři dílčí úlohy: audio rozpoznávání spojité mluvené řeči, vizuální rozpoznávání mluvené řeči a spojení či kombinace audio-vizuálních metod (klasifikátorů). V případě znakové řeči je cílem i syntéza znakové řeči počítačem. Předpokládáme, že výsledek nakonec umožní překlad znakové řeči do mluveného slova. Přitom bude použito již hotové technologie kvalitní počítačové syntézy vyvinuté na pracovišti navrhovatele. Metody rozpoznávání budou následovány metodami vyhledávání informace, které dokáží identifikovat obsah promluvy i z nepřesně rozpoznané posloupnosti slov. V úlohách překladu budou uplatněny metody komputační lingvistiky.
Klíčová slova
sign language processingmultimodal continuous speech recognitioninformation retrieval
Veřejná podpora
Poskytovatel
Akademie věd České republiky
Program
Informační společnost (Národní program výzkumu)
Veřejná soutěž
Informační společnost 1 (SAV02004-IS)
Hlavní účastníci
—
Druh soutěže
VS - Veřejná soutěž
Číslo smlouvy
1ET101470416
Alternativní jazyk
Název projektu anglicky
Multimodal human sign language and speech processing for man-machine communication
Anotace anglicky
The aim of the proposed project is to support audio speech recognition systems with visual recognition and apply information retrieval method on the recognition results. Multimodal audio-visual recognition will be employed in the task of sign language recognition and used to support information retrieval from video and audio recordings. The language we are interested in is Czech. Three tasks will be solved during recognition: audio continuous speech recognition, visual speech recognition, and audio-visual methods (classifiers) merging or combination. In case of sign language the objective is also the sign language synthesis. We suppose that we will be able to implement the sign-language-to-speech translation. High quality speech synthesis already developed at UWB will be used. Recognition techniques will be followed with information retrieval to enable talk content identification even from non-perfectly recognized word sequences. Computational linguistics will be used for translation.
Vědní obory
Kategorie VaV
NV - Neprůmyslový výzkum (aplikovaný výzkum s výjimkou průmyslového)
CEP - hlavní obor
JD - Využití počítačů, robotika a její aplikace
CEP - vedlejší obor
IN - Informatika
CEP - další vedlejší obor
—
OECD FORD - odpovídající obory
(dle převodníku)10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
20204 - Robotics and automatic control
20205 - Automation and control systems
Hodnocení dokončeného projektu
Hodnocení poskytovatelem
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Zhodnocení výsledků projektu
Technologie znakové syntézy, rozpoznávání, automatického překladu a 3D mluvící hlavy. Vytvoření a zveřejnění audiovizuálních databází, databází pro znakovou řeč.nKomplexní tektogramatický analyzátor. Kolekce IR dat pro mezinárodní evaluační kampaň CLEF.
Termíny řešení
Zahájení řešení
1. 7. 2004
Ukončení řešení
31. 12. 2008
Poslední stav řešení
U - Ukončený projekt
Poslední uvolnění podpory
21. 2. 2008
Dodání dat do CEP
Důvěrnost údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Systémové označení dodávky dat
CEP09-AV0-1E-U/02:3
Datum dodání záznamu
4. 5. 2009
Finance
Celkové uznané náklady
22 737 tis. Kč
Výše podpory ze státního rozpočtu
22 289 tis. Kč
Ostatní veřejné zdroje financování
0 tis. Kč
Neveřejné tuz. a zahr. zdroje finan.
448 tis. Kč
Uznané náklady
22 737 tis. Kč
Statní podpora
22 289 tis. Kč
0%
Poskytovatel
Akademie věd České republiky
CEP
JD - Využití počítačů, robotika a její aplikace
Doba řešení
01. 07. 2004 - 31. 12. 2008