RAVDAI - system for real-time audiovisual data description using artificial intelligence

Provider

Ministry of Industry and Trade

Programme

—

Call for proposals

—

Main participants

SpeechTech, s.r.o.

Contest type

OP - EU Operational Programme

Contract ID

MPO 88097/24/61400

Project name in Czech

RAVDAI - real-time nástroj pro popis audiovizuálních dat s využitím umělé inteligence

Annotation in Czech

Projekt si klade za cíl na základě vlastního výzkumu a vývoje state-of-the-art technologií založených převážně na moderních metodách umělé inteligence vytvořit nový komplexní systém pro segmentaci a popis audiovizuálních dat v reálném čase. Stávající, již zastaralé, řešení umožňuje pouze přepis zvukové složky dat do textu. Toto naše řešení je nyní základem nejen pro společnosti poskytující on-line monitoring médií, kde ale přestává být konkurenceschopné z důvodu nástupu univerzálních řešení velkých firem jako Google či Microsoft. Nový systém zpracovávající obě modality - zvuk i obraz, tak kromě vlastního přepisu řeči do textu bude schopen klasifikace obrazové scény a zvukových událostí, extrakce textu z obrazu a detekce a identifikace osob v obrazu či řečníků ve zvuku. Tyto základní funkce nám umožní tvorbu komplexní segmentace a popisu audiovizuálních dat. Takový systém je žádán jak stávajícími zákazníky, tak např. Českou televizí. Důležitým aspektem nového řešení bude schopnost práce s real-time streamy, tedy nepřetržité zpracování dat v reálném čase jak zvukové, tak i obrazové složky dat s výstupy získanými průběžně s malým zpožděním. V projektu bude vytvořeno řešení se zcela novou modulární architekturou, která umožní systém nasazovat v různých IT infrastrukturách, včetně on-premise řešení, u zákazníků na různých operačních systémech, včetně cloudového řešení, pro zpracování velkých objemů dat. Výstupem projektu budou 3 výsledky: Výsledek č. 1: Nástroj pro off-line zpracování video složky dat (software) Výsledek č. 2: Nástroj pro off-line zpracování audio složky dat (software) Výsledek č. 3: Nástroj pro real-time segmentaci a popis audiovizuálních dat (software)

R&D category

AP - Applied research

OECD FORD - main branch

20206 - Computer hardware and architecture

OECD FORD - secondary branch

—

OECD FORD - another secondary branch

—

CEP - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)

JC - Computer hardware and software

Realization period - beginning

Jul 1, 2023

Realization period - end

Dec 31, 2026

Project status

B - Running multi-year project

Latest support payment

Sep 23, 2024

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Data delivery code

CEP25-MPO-EI-R

Data delivery date

Feb 21, 2025

Total approved costs

12,237 thou. CZK

Public financial support

0 thou. CZK

Other public sources

0 thou. CZK

Non public and foreign sources

3,272 thou. CZK