RAVDAI - real-time nástroj pro popis audiovizuálních dat s využitím umělé inteligence
Cíle projektu
Projekt si klade za cíl na základě vlastního výzkumu a vývoje state-of-the-art technologií založených převážně na moderních metodách umělé inteligence vytvořit nový komplexní systém pro segmentaci a popis audiovizuálních dat v reálném čase. Stávající, již zastaralé, řešení umožňuje pouze přepis zvukové složky dat do textu. Toto naše řešení je nyní základem nejen pro společnosti poskytující on-line monitoring médií, kde ale přestává být konkurenceschopné z důvodu nástupu univerzálních řešení velkých firem jako Google či Microsoft. Nový systém zpracovávající obě modality - zvuk i obraz, tak kromě vlastního přepisu řeči do textu bude schopen klasifikace obrazové scény a zvukových událostí, extrakce textu z obrazu a detekce a identifikace osob v obrazu či řečníků ve zvuku. Tyto základní funkce nám umožní tvorbu komplexní segmentace a popisu audiovizuálních dat. Takový systém je žádán jak stávajícími zákazníky, tak např. Českou televizí. Důležitým aspektem nového řešení bude schopnost práce s real-time streamy, tedy nepřetržité zpracování dat v reálném čase jak zvukové, tak i obrazové složky dat s výstupy získanými průběžně s malým zpožděním. V projektu bude vytvořeno řešení se zcela novou modulární architekturou, která umožní systém nasazovat v různých IT infrastrukturách, včetně on-premise řešení, u zákazníků na různých operačních systémech, včetně cloudového řešení, pro zpracování velkých objemů dat. Výstupem projektu budou 3 výsledky: Výsledek č. 1: Nástroj pro off-line zpracování video složky dat (software) Výsledek č. 2: Nástroj pro off-line zpracování audio složky dat (software) Výsledek č. 3: Nástroj pro real-time segmentaci a popis audiovizuálních dat (software)
Klíčová slova
Veřejná podpora
Poskytovatel
Ministerstvo průmyslu a obchodu
Program
Operační program Technologie a aplikace pro konkurenceschopnost (2021-2027)
Veřejná soutěž
—
Hlavní účastníci
SpeechTech, s.r.o.
Druh soutěže
OP - Operační program EU
Číslo smlouvy
MPO 88097/24/61400
Alternativní jazyk
Název projektu anglicky
RAVDAI - system for real-time audiovisual data description using artificial intelligence
Anotace anglicky
Based on its own research and development of state-of-the-art technologies based mainly on modern artificial intelligence methods, the project aims to create a new complex system for segmentation and description of audiovisual data in real time. The existing, already outdated, solution only allows transcribing the audio component of the data into text. This solution of ours is now the basis not only for companies providing online media monitoring, but it ceases to be competitive due to the advent of universal solutions from large companies such as Google or Microsoft. The new system, processing both modalities - sound and image, so in addition to its own transcription of speech into text, it will be able to classify visual scenes and sound events, extract text from images and detect and identify people in images or speakers in audio. These basic functions will enable us to create complex segmentation and description of audiovisual data. Such a system is requested both by existing customers and, for example, by Czech Television. An important aspect of the new solution will be the ability to work with real-time streams, i.e. continuous real-time data processing of both audio and video data components with outputs obtained continuously with a small delay. The project will create a solution with a completely new modular architecture that will enable the system to be deployed in various IT infrastructures, including on-premise solutions, for customers on various operating systems, including a cloud solution, for processing large volumes of data. The output of the project will be 3 results: Result No. 1: Tool for off-line processing of the video data folder (software) Result No. 2: Tool for off-line processing of the audio data file (software) Result No. 3: Tool for real-time segmentation and description of audiovisual data (software).
Vědní obory
Kategorie VaV
AP - Aplikovaný výzkum
OECD FORD - hlavní obor
20206 - Computer hardware and architecture
OECD FORD - vedlejší obor
—
OECD FORD - další vedlejší obor
—
CEP - odpovídající obory
(dle převodníku)JC - Počítačový hardware a software
Termíny řešení
Zahájení řešení
1. 7. 2023
Ukončení řešení
31. 12. 2026
Poslední stav řešení
B - Běžící víceletý projekt
Poslední uvolnění podpory
23. 9. 2024
Dodání dat do CEP
Důvěrnost údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Systémové označení dodávky dat
CEP25-MPO-EI-R
Datum dodání záznamu
21. 2. 2025
Finance
Celkové uznané náklady
12 237 tis. Kč
Výše podpory ze státního rozpočtu
0 tis. Kč
Ostatní veřejné zdroje financování
0 tis. Kč
Neveřejné tuz. a zahr. zdroje finan.
3 272 tis. Kč
Základní informace
Poskytovatel
Ministerstvo průmyslu a obchodu
OECD FORD
Computer hardware and architecture
Doba řešení
01. 07. 2023 - 31. 12. 2026