Multi-modal dialogue system with sign language capabilities

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F11%3A43898198" target="_blank" >RIV/49777513:23520/11:43898198 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1145/2049536.2049599" target="_blank" >http://dx.doi.org/10.1145/2049536.2049599</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1145/2049536.2049599" target="_blank" >10.1145/2049536.2049599</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Multi-modal dialogue system with sign language capabilities

Popis výsledku v původním jazyce

This paper presents the design of a multimodal sign-language-enabled dialogue system. Its functionality was tested on a prototype of an information kiosk for the deaf people providing information about train connections. We use an automatic computer-vision-based sign language recognition, automatic speech recognition and touchscreen as input modalities. The outputs are shown on a screen displaying 3D signing avatar and on a touchscreen displaying graphical user interface. The information kiosk can be used both by hearing users and deaf users in several languages. We focus on description of sign language input and output modality.

Název v anglickém jazyce

Multi-modal dialogue system with sign language capabilities

Popis výsledku anglicky

This paper presents the design of a multimodal sign-language-enabled dialogue system. Its functionality was tested on a prototype of an information kiosk for the deaf people providing information about train connections. We use an automatic computer-vision-based sign language recognition, automatic speech recognition and touchscreen as input modalities. The outputs are shown on a screen displaying 3D signing avatar and on a touchscreen displaying graphical user interface. The information kiosk can be used both by hearing users and deaf users in several languages. We focus on description of sign language input and output modality.

Druh

D - Stať ve sborníku

CEP obor

JD - Využití počítačů, robotika a její aplikace

OECD FORD obor

—

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2011

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

ASSETS'11: Proceedings of the 13th international ACM SIGACCESS Conference on Computers and Accessibility

ISBN

978-1-4503-0919-6

ISSN

—

e-ISSN

—

Počet stran výsledku

2

Strana od-do

265-266

Název nakladatele

Association for Computing Machinery (ACM)

Místo vydání

New York

Místo konání akce

Dundee, Scotland

Datum konání akce

24. 10. 2011

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000304018900052