Tools for analysis of desynchronisation between video and synthesised audio track in TV broadcasting
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F11%3A43898327" target="_blank" >RIV/49777513:23520/11:43898327 - isvavai.cz</a>
Result on the web
—
DOI - Digital Object Identifier
—
Alternative languages
Result language
čeština
Original language name
Analyzér desynchronizace obrazové a syntetizované zvukové stopy TV vysílání
Original language description
Jde o nástroj, jehož cílem je analyzovat potenciální míru desynchronizace obrazové a syntetizované zvukové stopy pro dané televizní pořady. Syntetizovaná zvuková stopa obsahuje řeč vytvářenou počítačovým syntetizérem (systémem TTS), jehož vstupem jsou skryté titulky k danému pořadu (vysílané na teletextu 888). V závislosti na typu pořadu (rychlosti dialogů) nejsou systémy TTS vždy schopny dodržet požadované časování. Nástroj tedy analyzuje, jakým způsobem se bude rozbíhat časování uměle vytvářené zvukové stopy oproti zobrazování odpovídajících titulků. Nástroj je rozdělen do dvou modulů: první simuluje vytváření řeči z daných titulků a vytváří záznam o trvání a časovém rozložení této řeči; druhý modul tento záznam zpracovává. Analýzou velkého množstvítitulků pro různé druhy pořadů (a žánrů) je možné získat statistické údaje o desynchronizaci řeči vůči titulkům, na jejichž základě lze pak optimálně naladit systém TTS a off-line upravit tempo řeči nezávisle pro jednotlivé hlasu použité
Czech name
Analyzér desynchronizace obrazové a syntetizované zvukové stopy TV vysílání
Czech description
Jde o nástroj, jehož cílem je analyzovat potenciální míru desynchronizace obrazové a syntetizované zvukové stopy pro dané televizní pořady. Syntetizovaná zvuková stopa obsahuje řeč vytvářenou počítačovým syntetizérem (systémem TTS), jehož vstupem jsou skryté titulky k danému pořadu (vysílané na teletextu 888). V závislosti na typu pořadu (rychlosti dialogů) nejsou systémy TTS vždy schopny dodržet požadované časování. Nástroj tedy analyzuje, jakým způsobem se bude rozbíhat časování uměle vytvářené zvukové stopy oproti zobrazování odpovídajících titulků. Nástroj je rozdělen do dvou modulů: první simuluje vytváření řeči z daných titulků a vytváří záznam o trvání a časovém rozložení této řeči; druhý modul tento záznam zpracovává. Analýzou velkého množstvítitulků pro různé druhy pořadů (a žánrů) je možné získat statistické údaje o desynchronizaci řeči vůči titulkům, na jejichž základě lze pak optimálně naladit systém TTS a off-line upravit tempo řeči nezávisle pro jednotlivé hlasu použité
Classification
Type
R - Software
CEP classification
JD - Use of computers, robotics and its application
OECD FORD branch
—
Result continuities
Project
<a href="/en/project/TA01011264" target="_blank" >TA01011264: Elimination of the language barriers faced by the handicapped watchers of the Czech Television II</a><br>
Continuities
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Others
Publication year
2011
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Internal product ID
ASdesync
Technical parameters
Software se využívá k analýze desynchronizace (chyb časování) zvukové stopy syntetizované podle titulků. Modul pro simulaci syntézy funguje na běžném kancelářském PC, nicméně vzhledem k časově náročným výpočtům (především při analýze velkého množství titulků, které jsou třeba pro validní závěry) je vhodné použít výkonné výpočetní servery nebo clustery, na kterých tento modul dokáže výpočty paralelizovat a tím výrazně zrychlit. Modul pro analýzu výstupních záznamů nemá žádné zvláštní požadavky na HW. Kesvému běhu potřebuje běhové prostředí programovacího jazyka Python. Součástí programu je též uživatelská dokumentace. Bližší informace: Zdeněk Hanzlíček, zhanzlic@kky.zcu.cz, tel. 377 632 584, http://www.kky.zcu.cz/cs/sw/desync
Economical parameters
Nástroj je výstupem projektu TA01011264 (ELJABR II), kde je jedním z cílů automatické vytváření doprovodné zvukové stopy ze skrytých titulků (automatické dabování). Nástroj je důležitý pro analýzu rozbíhání zvukové stopy s danými titulky. Výsledné statistiky lze využít pro vhodné nastavení parametrů použitého řečového syntetizéru a určení optimální off-line úpravy rychlosti použitého hlasu nebo hlasů. Bližší informace: Zdeněk Hanzlíček, zhanzlic@kky.zcu.cz, 377 632 584, http://www.kky.zcu.cz/cs/sw/desync
Owner IČO
49777513
Owner name
Katedra kybernetiky, Fakulta aplikovaných věd, Západočeská univerzita v Plzni