Multimodal Shannon Game with Images

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F25%3A10511672" target="_blank" >RIV/00216208:11320/25:10511672 - isvavai.cz</a>

Výsledek na webu

<a href="https://link.springer.com/chapter/10.1007/978-3-031-82487-6_3#citeas" target="_blank" >https://link.springer.com/chapter/10.1007/978-3-031-82487-6_3#citeas</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-031-82487-6_3" target="_blank" >10.1007/978-3-031-82487-6_3</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Multimodal Shannon Game with Images

Popis výsledku v původním jazyce

The Shannon game has long been used as a thought experiment in linguistics and NLP, asking participants to guess the next letter in a sentence based on its preceding context. We extend the game by introducing an optional extra modality in the form of image information. To investigate the impact of multimodal information in this game, we use human participants and a language model (LM, GPT-2). We show that the addition of image information improves both self-reported confidence and accuracy for both humans and LM. Certain word classes, such as nouns and determiners, benefit more from the additional modality information. The priming effect in both humans and the LM becomes more apparent as the context size (extra modality information + sentence context) increases. These findings highlight the potential of multimodal information in improving language understanding and modeling.

Název v anglickém jazyce

Multimodal Shannon Game with Images

Popis výsledku anglicky

The Shannon game has long been used as a thought experiment in linguistics and NLP, asking participants to guess the next letter in a sentence based on its preceding context. We extend the game by introducing an optional extra modality in the form of image information. To investigate the impact of multimodal information in this game, we use human participants and a language model (LM, GPT-2). We show that the addition of image information improves both self-reported confidence and accuracy for both humans and LM. Certain word classes, such as nouns and determiners, benefit more from the additional modality information. The priming effect in both humans and the LM becomes more apparent as the context size (extra modality information + sentence context) increases. These findings highlight the potential of multimodal information in improving language understanding and modeling.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2025

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

ACAIN

ISBN

978-3-031-82486-9

ISSN

—

e-ISSN

—

Počet stran výsledku

14

Strana od-do

32-45

Název nakladatele

Springer

Místo vydání

Cham, Switzerland

Místo konání akce

Castiglione della Pescaia, Italy

Datum konání akce

22. 9. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—