Multimodal human sign language and speech processing for man-machine communication
Public support
Provider
Academy of Sciences of the Czech Republic
Programme
Information society (National programme of research)
Call for proposals
Informační společnost 1 (SAV02004-IS)
Main participants
—
Contest type
VS - Public tender
Contract ID
1ET101470416
Alternative language
Project name in Czech
Multimodální zpracování lidské znakové a mluvené řeči počítačem pro komunikaci člověk-stroj
Annotation in Czech
Cílem projektu je podpořit systémy používající rozpoznávání mluvené řeči rozpoznáváním vizuálním a na výsledek aplikovat metody vyhledávání informací. Multimodální audio-vizuální rozpoznávání bude aplikováno na úlohu rozpoznávání znakové řeči a na podporu vyhledávání informací z video a audio nahrávek. Zkoumaným jazykem je čeština. Při rozpoznávání se budou řešit tři dílčí úlohy: audio rozpoznávání spojité mluvené řeči, vizuální rozpoznávání mluvené řeči a spojení či kombinace audio-vizuálních metod (klasifikátorů). V případě znakové řeči je cílem i syntéza znakové řeči počítačem. Předpokládáme, že výsledek nakonec umožní překlad znakové řeči do mluveného slova. Přitom bude použito již hotové technologie kvalitní počítačové syntézy vyvinuté na pracovišti navrhovatele. Metody rozpoznávání budou následovány metodami vyhledávání informace, které dokáží identifikovat obsah promluvy i z nepřesně rozpoznané posloupnosti slov. V úlohách překladu budou uplatněny metody komputační lingvistiky.
Scientific branches
R&D category
NV - Nonindustrial research (Applied research excluded Industrial research)
CEP classification - main branch
JD - Use of computers, robotics and its application
CEP - secondary branch
IN - Informatics
CEP - another secondary branch
—
OECD FORD - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)<br>20204 - Robotics and automatic control<br>20205 - Automation and control systems
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
Technology of sign-language synthesis, recognition, machine translation,and 3D talking head Audiovisual and sign-language database collection, publication Complete tectogrammatical analyzer IR data collection for international evaluation campaign CLEF.
Solution timeline
Realization period - beginning
Jul 1, 2004
Realization period - end
Dec 31, 2008
Project status
U - Finished project
Latest support payment
Feb 21, 2008
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP09-AV0-1E-U/02:3
Data delivery date
May 4, 2009
Finance
Total approved costs
22,737 thou. CZK
Public financial support
22,289 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
448 thou. CZK