Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F06%3A00000105" target="_blank" >RIV/49777513:23520/06:00000105 - isvavai.cz</a>

Alternative codes found

RIV/49777513:23520/06:00000011 RIV/49777513:23520/06:00000017

Result on the web

—

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis

Original language description

This paper presents the whole process of design, implementation and evaluation of the audio-visual speech synthesis system. Such system consists of the acoustic synthesis emulating human speech and the facial animation emulating the human lip articulation. The acoustic speech synthesis is based on concatenation of speech units. The visual subsystem is designed as a realistic, fully three-dimensional parametrically controllable facial animation model. The design, acquisition and processing of audio-visual speech corpus for such purpose is presented. Also, solution to the problem of mapping visual parameters from speech signal either directly or through recognized text is presented. Furthermore, the 3D scanning algorithm is presented. In the end of thispaper, evaluation of intelligibility of the presented audio-visual speech synthesis and its possible applications are presented.

Czech name

Návrh, implementace a vyhodnocení české realistické audiovizuální syntézy řeči

Czech description

Článek prezentuje celý proces návrhu, implementace a vyhodnocení systému audiovizuální syntézy řeči. Takový systém sestává z akustické syntézy emulující lidskou řeč a animace tváře emulující lidskou artikulaci rtů. Akustická syntéza řeči je založena na řetězení řečových jednotek. Vizuální subsystém je navržen jako realistická, plně trojdimenzionální parametricky ovládatelný model animace tváře. Návrh, získávání a zpracování audiovizuální řečové databáze pro tyto účely je prezentováno. Také je prezentováno řešení problému mapování vizuálních parametrů přímo z řečového signálu nebo z rozpoznaného

Type

J_x - Unclassified - Peer-reviewed scientific article (Jimp, Jsc and Jost)

CEP classification

JD - Use of computers, robotics and its application

OECD FORD branch

—

Project

Result was created during the realization of more than one project. More information in the Projects tab.

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>Z - Vyzkumny zamer (s odkazem do CEZ)

Publication year

2006

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Name of the periodical

Signal Processing

ISSN

0165-1684

e-ISSN

—

Volume of the periodical

—

Issue of the periodical within the volume

—

Country of publishing house

NL - THE KINGDOM OF THE NETHERLANDS

Number of pages

17

Pages from-to

3657

UT code for WoS article

—

EID of the result in the Scopus database

—