Extraction of Features for Lip-reading Using Autoencoders

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F46747885%3A24220%2F14%3A%230003112" target="_blank" >RIV/46747885:24220/14:#0003112 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-3-319-11581-8_26" target="_blank" >http://dx.doi.org/10.1007/978-3-319-11581-8_26</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-319-11581-8_26" target="_blank" >10.1007/978-3-319-11581-8_26</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Extraction of Features for Lip-reading Using Autoencoders

Popis výsledku v původním jazyce

We study the incorporation of facial depth data in the task of isolated word visual speech recognition. We propose novel features based on unsupervised training of a single layer autoencoder. The features are extracted from both video and depth channelsobtained by Microsoft Kinect device. We perform all experiments on our database of 54 speakers, each uttering 50 words. We compare our autoencoder features to traditional methods such as DCT or PCA. The features are further processed by simplified variant of hierarchical linear discriminant analysis in order to capture the speech dynamics. The classification is performed using a multi-stream Hidden Markov Model for various combinations of audio, video, and depth channels. We also evaluate visual features in the join audio-video isolated word recognition in noisy environments.

Název v anglickém jazyce

Extraction of Features for Lip-reading Using Autoencoders

Popis výsledku anglicky

We study the incorporation of facial depth data in the task of isolated word visual speech recognition. We propose novel features based on unsupervised training of a single layer autoencoder. The features are extracted from both video and depth channelsobtained by Microsoft Kinect device. We perform all experiments on our database of 54 speakers, each uttering 50 words. We compare our autoencoder features to traditional methods such as DCT or PCA. The features are further processed by simplified variant of hierarchical linear discriminant analysis in order to capture the speech dynamics. The classification is performed using a multi-stream Hidden Markov Model for various combinations of audio, video, and depth channels. We also evaluate visual features in the join audio-video isolated word recognition in noisy environments.

Druh

D - Stať ve sborníku

CEP obor

JC - Počítačový hardware a software

OECD FORD obor

—

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2014

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proc. of 16th International Conference, SPECOM

ISBN

978-3-319-11580-1

ISSN

0302-9743

e-ISSN

—

Počet stran výsledku

8

Strana od-do

209-216

Název nakladatele

Springer International Publishing

Místo vydání

Berlín, Německo

Místo konání akce

Novi Sad, Srbsko

Datum konání akce

1. 1. 2014

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000345576400026