Multimodal human sign language and speech processing for man-machine communication
Project goals
The aim of the proposed project is to support audio speech recognition systems with visual recognition and apply information retrieval method on the recognition results. Multimodal audio-visual recognition will be employed in the task of sign language recognition and used to support information retrieval from video and audio recordings. The language we are interested in is Czech. Three tasks will be solved during recognition: audio continuous speech recognition, visual speech recognition, and audio-visual methods (classifiers) merging or combination. In case of sign language the objective is also the sign language synthesis. We suppose that we will be able to implement the sign-language-to-speech translation. High quality speech synthesis already developed at UWB will be used. Recognition techniques will be followed with information retrieval to enable talk content identification even from non-perfectly recognized word sequences. Computational linguistics will be used for translation.
Keywords
sign language processingmultimodal continuous speech recognitioninformation retrieval
Public support
Provider
Academy of Sciences of the Czech Republic
Programme
Information society (National programme of research)
Call for proposals
Informační společnost 1 (SAV02004-IS)
Main participants
—
Contest type
VS - Public tender
Contract ID
1ET101470416
Alternative language
Project name in Czech
Multimodální zpracování lidské znakové a mluvené řeči počítačem pro komunikaci člověk-stroj
Annotation in Czech
Cílem projektu je podpořit systémy používající rozpoznávání mluvené řeči rozpoznáváním vizuálním a na výsledek aplikovat metody vyhledávání informací. Multimodální audio-vizuální rozpoznávání bude aplikováno na úlohu rozpoznávání znakové řeči a na podporu vyhledávání informací z video a audio nahrávek. Zkoumaným jazykem je čeština. Při rozpoznávání se budou řešit tři dílčí úlohy: audio rozpoznávání spojité mluvené řeči, vizuální rozpoznávání mluvené řeči a spojení či kombinace audio-vizuálních metod (klasifikátorů). V případě znakové řeči je cílem i syntéza znakové řeči počítačem. Předpokládáme, že výsledek nakonec umožní překlad znakové řeči do mluveného slova. Přitom bude použito již hotové technologie kvalitní počítačové syntézy vyvinuté na pracovišti navrhovatele. Metody rozpoznávání budou následovány metodami vyhledávání informace, které dokáží identifikovat obsah promluvy i z nepřesně rozpoznané posloupnosti slov. V úlohách překladu budou uplatněny metody komputační lingvistiky.
Scientific branches
R&D category
NV - Nonindustrial research (Applied research excluded Industrial research)
CEP classification - main branch
JD - Use of computers, robotics and its application
CEP - secondary branch
IN - Informatics
CEP - another secondary branch
—
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
20204 - Robotics and automatic control
20205 - Automation and control systems
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
Technology of sign-language synthesis, recognition, machine translation,and 3D talking head Audiovisual and sign-language database collection, publication Complete tectogrammatical analyzer IR data collection for international evaluation campaign CLEF.
Solution timeline
Realization period - beginning
Jul 1, 2004
Realization period - end
Dec 31, 2008
Project status
U - Finished project
Latest support payment
Feb 21, 2008
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP09-AV0-1E-U/02:3
Data delivery date
May 4, 2009
Finance
Total approved costs
22,737 thou. CZK
Public financial support
22,289 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
448 thou. CZK
Basic information
Recognised costs
22 737 CZK thou.
Public support
22 289 CZK thou.
98%
Provider
Academy of Sciences of the Czech Republic
CEP
JD - Use of computers, robotics and its application
Solution period
01. 07. 2004 - 31. 12. 2008