Textual embeddings with word-type-weighted word2vec

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F24%3A00603024" target="_blank" >RIV/67985807:_____/24:00603024 - isvavai.cz</a>

Nalezeny alternativní kódy

RIV/68407700:21240/24:00377340

Výsledek na webu

<a href="https://ceur-ws.org/Vol-3792/paper4.pdf" target="_blank" >https://ceur-ws.org/Vol-3792/paper4.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Textual embeddings with word-type-weighted word2vec

Popis výsledku v původním jazyce

The increasing use of artificial neural networks for knowledge processing often lacks precise knowledge representation. To address this issue, we propose using a word-type-weighted Word2Vec model to achieve more accurate representations of individual words within sentences. Our approach incorporates weighting vector embeddings of words based on parts-of-speech predictions generated by the spaCy library. Experimental results demonstrate that, compared to simple Word2Vec, our model enhances the accuracy of recognizing the semantics of a sentence, while maintaining significantly lower computational requirements than large language models and various variants of Transformer.

Název v anglickém jazyce

Textual embeddings with word-type-weighted word2vec

Popis výsledku anglicky

The increasing use of artificial neural networks for knowledge processing often lacks precise knowledge representation. To address this issue, we propose using a word-type-weighted Word2Vec model to achieve more accurate representations of individual words within sentences. Our approach incorporates weighting vector embeddings of words based on parts-of-speech predictions generated by the spaCy library. Experimental results demonstrate that, compared to simple Word2Vec, our model enhances the accuracy of recognizing the semantics of a sentence, while maintaining significantly lower computational requirements than large language models and various variants of Transformer.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 24th Conference Information Technologies – Applications and Theory (ITAT 2024)

ISBN

—

ISSN

1613-0073

e-ISSN

—

Počet stran výsledku

6

Strana od-do

37-42

Název nakladatele

Technical University & CreateSpace Independent Publishing

Místo vydání

Aachen

Místo konání akce

Drienica

Datum konání akce

20. 9. 2024

Typ akce podle státní příslušnosti

EUR - Evropská akce

Kód UT WoS článku

—