Solving inverse problems for the analysis of fast moving objects
Project goals
Objects moving fast with respect to the camera appear blurred when observed. Surprisingly this common phenomenon has not yet been considered and analyzed by the computer vision community. It is the blur that encodes information about the object motion properties. Instead of considering blur as a nuisance, the project proposes to take it as a cue for detection and tracking of fast moving objects. We formulate accurate and tractable formation models and find solutions of corresponding inverse problems which are more complex than standard blind deconvolution, since occlusion is present and blur is space variant. The complexity of the inverse problems is addressed by deriving additional priors from tracking the objects in videos and constraining the admissible set of motion blurs with the help of convolutional neural networks and blur invariants. The resulting methodology of tracking with deblurring will allow us to implement novel video analysis algorithms such as temporal superresolution, or visualization of angular velocity and deformations that are otherwise imperceptible.
Keywords
deblurringtrackingfast moving objectsblind deconvolutionblur invariants
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 22 (SGA0201800001)
Main participants
České vysoké učení technické v Praze / Fakulta elektrotechnická
Contest type
VS - Public tender
Contract ID
18-05360S
Alternative language
Project name in Czech
Řešení inverzních problémů vznikajících při analýze rychle se pohybujících objektů
Annotation in Czech
Objekty, které se pohybující vzhledem k senzoru velkou rychlostí, jsou zaznamenány rozmazaně. Tak častý jev zatím nebyl překvapivě analyzován v oboru počítačového vidění. Funkce rozmazání v sobě obsahuje informace o vlastnostech pohybu objektu.Rozmazání tedy nemusí být přítěž ale nástroj na detekci a sledování rychle se pohybujících objektů. V projektu navrhneme přesné a zároveň použitelné matematické modely a ukážeme řešení odpovídajících inverzních úloh, které jsou složitější než klasická slepá dekonvoluce, protože je v nich přítomna okluze a rozmazání je prostorově proměnné. Snížení složitosti inverzních úloh docílíme vhodnými apriorními znalostmi získanými sledováním těchto objektů z videa a definováním fyzikálně přípustných množin rozmazání s využitím konvolučních neuronových sítí a invariantů k rozmazání. Výsledná metodika kombinující sledování a odstraňování rozmazání nám umožní implementovat nové nástroje analyzující videa, jako např. zvýšení rozlišení v čase nebo vizualizace vektoru úhlové rychlosti a deformací, které nejsou jinak viditelné.
Scientific branches
Completed project evaluation
Provider evaluation
V - Vynikající výsledky projektu (s mezinárodním významem atd.)
Project results evaluation
The project achieved a number of high-quality outputs (7x Jimp, 14x SCOPUS) published to prestigious conferences and journals. The objectives of the project have been achieved - the partial fulfilment of the mathematical formulation of blurring is acceptable regarding the presence of research risk. The active involvement of doctoral students can also be assessed positively.
Solution timeline
Realization period - beginning
Jan 1, 2018
Realization period - end
Dec 31, 2021
Project status
U - Finished project
Latest support payment
Apr 1, 2021
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP22-GA0-GA-U
Data delivery date
Jun 29, 2022
Finance
Total approved costs
11,655 thou. CZK
Public financial support
8,266 thou. CZK
Other public sources
3,389 thou. CZK
Non public and foreign sources
0 thou. CZK
Recognised costs
11 655 CZK thou.
Public support
8 266 CZK thou.
0%
Provider
Czech Science Foundation
OECD FORD
Robotics and automatic control
Solution period
01. 01. 2018 - 31. 12. 2021