MFT: Long-Term Tracking of Every Pixel

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21230%2F24%3A00373794" target="_blank" >RIV/68407700:21230/24:00373794 - isvavai.cz</a>

Výsledek na webu

<a href="https://doi.org/10.1109/WACV57701.2024.00669" target="_blank" >https://doi.org/10.1109/WACV57701.2024.00669</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/WACV57701.2024.00669" target="_blank" >10.1109/WACV57701.2024.00669</a>

Jazyk výsledku

angličtina

Název v původním jazyce

MFT: Long-Term Tracking of Every Pixel

Popis výsledku v původním jazyce

We propose MFT -- Multi-Flow dense Tracker -- a novel method for dense, pixel-level, long-term tracking. The approach exploits optical flows estimated not only between consecutive frames, but also for pairs of frames at logarithmically spaced intervals. It selects the most reliable sequence of flows on the basis of estimates of its geometric accuracy and the probability of occlusion, both provided by a pre-trained CNN. We show that MFT achieves competitive performance on the TAP-Vid benchmark, outperforming baselines by a significant margin, and tracking densely orders of magnitude faster than the state-of-the-art point-tracking methods. The method is insensitive to medium-length occlusions and it is robustified by estimating flow with respect to the reference frame, which reduces drift.

Název v anglickém jazyce

MFT: Long-Term Tracking of Every Pixel

Popis výsledku anglicky

We propose MFT -- Multi-Flow dense Tracker -- a novel method for dense, pixel-level, long-term tracking. The approach exploits optical flows estimated not only between consecutive frames, but also for pairs of frames at logarithmically spaced intervals. It selects the most reliable sequence of flows on the basis of estimates of its geometric accuracy and the probability of occlusion, both provided by a pre-trained CNN. We show that MFT achieves competitive performance on the TAP-Vid benchmark, outperforming baselines by a significant margin, and tracking densely orders of magnitude faster than the state-of-the-art point-tracking methods. The method is insensitive to medium-length occlusions and it is robustified by estimating flow with respect to the reference frame, which reduces drift.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/EF16_019%2F0000765" target="_blank" >EF16_019/0000765: Výzkumné centrum informatiky</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)

ISBN

979-8-3503-1892-0

ISSN

2472-6737

e-ISSN

2642-9381

Počet stran výsledku

11

Strana od-do

6823-6833

Název nakladatele

IEEE

Místo vydání

Piscataway

Místo konání akce

Waikoloa, HI, USA

Datum konání akce

4. 1. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

001222964606093