Flexible models for known-item search in large video collections
Project goals
Searching videos for an item known a priori (e.g., a particular scene) represents a traditionally difficult task because of the gap between a mental target residing in the mind of the user (i.e., what the user wants) and annotations/features automatically detected from videos by trained retrieval systems. Apart from exciting advances in deep learning, a promising approach to bridge the gap is also an interactive incremental framework based on Bayesian learning from relevance feedback. In this project, we plan to focus on combinations of both areas to provide new opportunities to design more effective complex models for known-item search in video collections. The models will be organized in a framework comprising suitable query initialization/retrieval approaches, multi-valued relevance feedback, and methods for simulations of users and known-item search strategies. The effectiveness of the involved models will be evaluated with real users and the overall framework will be confronted with state-of-the-art interactive video retrieval systems at international evaluation campaigns.
Keywords
Video retrievalknown-item searchrelevance feedbackdeep learninginteractive retrievalevaluation campaigns
Public support
Provider
Czech Science Foundation
Programme
Junior Grants
Call for proposals
Juniorské granty 5 (SGA0201900002)
Main participants
Univerzita Karlova / Matematicko-fyzikální fakulta
Contest type
VS - Public tender
Contract ID
19-22071Y
Alternative language
Project name in Czech
Flexibilní modely pro hledání známé scény v rozsáhlých kolekcích videa
Annotation in Czech
Vyhledávání známé nebo předem popsané scény ve videu patří mezi složité problémy z důvodu sémantické mezery mezi mentálním cílem hledání (pouze v mysli uživatele) a rysy/anotacemi automaticky extrahovanými naučenými modely z obsahu videa pro potřeby vyhledávání. Vedle nových oběvů v oblasti hlubokého učení je interaktivní inkrementální přístup založený na Bayesovském učení dalším slibným způsobem, jak překonat tuto mezeru. V tomto projektu se plánujeme zaměřit na kombinaci obou oblastí a tím poskytnout nové možnosti návrhu efektivnějších komplexních modelů pro hledání známé scény ve video kolekcích. Nové modely budou organizovány ve frameworku, který bude zahrnovat vhodné přístupy inicializace vyhledávání, využití vícehodnotové zpětné vazby a simulace uživatelů a vyhledávacích strategií. Efektivita nových modelů bude vyhodnocována s reálnými uživateli. Prototypy založené na navrhovaném frameworku budou konfrontovány v rámci prestižních mezinárodních evaluačních kampaní.
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
OECD FORD - secondary branch
—
OECD FORD - another secondary branch
—
AF - Documentation, librarianship, work with information
BC - Theory and management systems
BD - Information theory
IN - Informatics
Completed project evaluation
Provider evaluation
V - Vynikající výsledky projektu (s mezinárodním významem atd.)
Project results evaluation
The project solution was done according to the project plan, and the planned results were achieved and published at high-quality conferences and in prestigious journals.
Solution timeline
Realization period - beginning
Jan 1, 2019
Realization period - end
Jun 30, 2022
Project status
U - Finished project
Latest support payment
Apr 1, 2022
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP23-GA0-GJ-U
Data delivery date
Jun 26, 2023
Finance
Total approved costs
8,001 thou. CZK
Public financial support
8,001 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
8 001 CZK thou.
Public support
8 001 CZK thou.
100%
Provider
Czech Science Foundation
OECD FORD
Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Solution period
01. 01. 2019 - 30. 06. 2022