Composed Image Retrieval for Training-Free Domain Conversion

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21230%2F25%3A00382721" target="_blank" >RIV/68407700:21230/25:00382721 - isvavai.cz</a>

Výsledek na webu

<a href="https://doi.org/10.1109/WACV61041.2025.00175" target="_blank" >https://doi.org/10.1109/WACV61041.2025.00175</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/WACV61041.2025.00175" target="_blank" >10.1109/WACV61041.2025.00175</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Composed Image Retrieval for Training-Free Domain Conversion

Popis výsledku v původním jazyce

This work addresses composed image retrieval in the context of domain conversion, where the content of a query image is retrieved in the domain specified by the query text. We show that a strong vision-language model provides sufficient descriptive power without additional training. The query image is mapped to the text input space using textual inversion. Unlike common practice that invert in the continuous space of text tokens, we use the discrete word space via a nearest-neighbor search in a text vocabulary. With this inversion, the image is softly mapped across the vocabulary and is made more robust using retrieval-based augmentation. Database images are retrieved by a weighted ensemble of text queries combining mapped words with the domain text. Our method outperforms prior art by a large margin on standard and newly introduced benchmarks. Code: https://github.com/NikosEfth/freedom

Název v anglickém jazyce

Composed Image Retrieval for Training-Free Domain Conversion

Popis výsledku anglicky

This work addresses composed image retrieval in the context of domain conversion, where the content of a query image is retrieved in the domain specified by the query text. We show that a strong vision-language model provides sufficient descriptive power without additional training. The query image is mapped to the text input space using textual inversion. Unlike common practice that invert in the continuous space of text tokens, we use the discrete word space via a nearest-neighbor search in a text vocabulary. With this inversion, the image is softly mapped across the vocabulary and is made more robust using retrieval-based augmentation. Database images are retrieved by a weighted ensemble of text queries combining mapped words with the domain text. Our method outperforms prior art by a large margin on standard and newly introduced benchmarks. Code: https://github.com/NikosEfth/freedom

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2025

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)

ISBN

979-8-3315-1084-8

ISSN

2472-6737

e-ISSN

2642-9381

Počet stran výsledku

11

Strana od-do

1723-1733

Název nakladatele

IEEE

Místo vydání

Piscataway

Místo konání akce

Tucson

Datum konání akce

28. 2. 2025

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

001481328900165