Mutual Support of Data Modalities in the Task of Sign Language Recognition

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F21%3A43962807" target="_blank" >RIV/49777513:23520/21:43962807 - isvavai.cz</a>

Výsledek na webu

<a href="https://openaccess.thecvf.com/content/CVPR2021W/ChaLearn/papers/Gruber_Mutual_Support_of_Data_Modalities_in_the_Task_of_Sign_CVPRW_2021_paper.pdf" target="_blank" >https://openaccess.thecvf.com/content/CVPR2021W/ChaLearn/papers/Gruber_Mutual_Support_of_Data_Modalities_in_the_Task_of_Sign_CVPRW_2021_paper.pdf</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/CVPRW53098.2021.00381" target="_blank" >10.1109/CVPRW53098.2021.00381</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Mutual Support of Data Modalities in the Task of Sign Language Recognition

Popis výsledku v původním jazyce

This paper presents a method for automatic sign language recognition that was utilized in the CVPR 2021 ChaLearn Challenge (RGB track). Our method is composed of several approaches combined in an ensemble scheme to perform isolated sign-gesture recognition. We combine modalities of video sample frames processed by a 3D ConvNet (I3D), with body-pose information in the form of joint locations processed by a Transformer, hand region images transformed into a semantic space, and linguistically defined locations of hands. Although the individual models perform sub-par (60% to 93% accuracy on validation data), the weighted ensemble results in 95.46% accuracy.

Název v anglickém jazyce

Mutual Support of Data Modalities in the Task of Sign Language Recognition

Popis výsledku anglicky

This paper presents a method for automatic sign language recognition that was utilized in the CVPR 2021 ChaLearn Challenge (RGB track). Our method is composed of several approaches combined in an ensemble scheme to perform isolated sign-gesture recognition. We combine modalities of video sample frames processed by a 3D ConvNet (I3D), with body-pose information in the form of joint locations processed by a Transformer, hand region images transformed into a semantic space, and linguistically defined locations of hands. Although the individual models perform sub-par (60% to 93% accuracy on validation data), the weighted ensemble results in 95.46% accuracy.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

20204 - Robotics and automatic control

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

ISBN

978-1-66544-899-4

ISSN

2160-7508

e-ISSN

2160-7516

Počet stran výsledku

10

Strana od-do

3419-3428

Název nakladatele

IEEE

Místo vydání

Nashville

Místo konání akce

Virtual, Online

Datum konání akce

19. 6. 2021

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000705890203056