Bengali Visual Genome: A Multimodal Dataset for Machine Translation and Image Captioning

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F21%3A10456913" target="_blank" >RIV/00216208:11320/21:10456913 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-981-16-6624-7_7" target="_blank" >http://dx.doi.org/10.1007/978-981-16-6624-7_7</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-981-16-6624-7_7" target="_blank" >10.1007/978-981-16-6624-7_7</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Bengali Visual Genome: A Multimodal Dataset for Machine Translation and Image Captioning

Popis výsledku v původním jazyce

Multimodal machine translation (MMT) refers to the extraction of information from more than one modality aiming at performance improvement by utilizing information collected from the modalities other than pure text. The availability of multimodal datasets, particularly for Indian regional languages, is still limited, and thus, there is a need to build such datasets for regional languages to promote the state of MMT research. In this work, we describe the process of creation of the Bengali Visual Genome (BVG) dataset. The BVG is the first multimodal dataset consisting of text and images suitable for English-to-Bengali multimodal machine translation tasks and multimodal research. We also demonstrate the sample use-cases of machine translation and region-specific image captioning using the new BVG dataset. These results can be considered as the baseline for subsequent research.

Název v anglickém jazyce

Bengali Visual Genome: A Multimodal Dataset for Machine Translation and Image Captioning

Popis výsledku anglicky

Multimodal machine translation (MMT) refers to the extraction of information from more than one modality aiming at performance improvement by utilizing information collected from the modalities other than pure text. The availability of multimodal datasets, particularly for Indian regional languages, is still limited, and thus, there is a need to build such datasets for regional languages to promote the state of MMT research. In this work, we describe the process of creation of the Bengali Visual Genome (BVG) dataset. The BVG is the first multimodal dataset consisting of text and images suitable for English-to-Bengali multimodal machine translation tasks and multimodal research. We also demonstrate the sample use-cases of machine translation and region-specific image captioning using the new BVG dataset. These results can be considered as the baseline for subsequent research.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GX19-26934X" target="_blank" >GX19-26934X: Neuronové reprezentace v multimodálním a mnohojazyčném modelování</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

9th International Conference on Frontiers of Intelligent Computing: Theory and Applications (FICTA 2021)

ISBN

978-981-16-6624-7

ISSN

—

e-ISSN

—

Počet stran výsledku

8

Strana od-do

63-70

Název nakladatele

Springer Nature Singapore

Místo vydání

Singapore

Místo konání akce

Mizoram, India

Datum konání akce

25. 6. 2021

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—