Syntax Representation in Word Embeddings and Neural Networks - A Survey

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F20%3A10424473" target="_blank" >RIV/00216208:11320/20:10424473 - isvavai.cz</a>

Výsledek na webu

<a href="https://ics.upjs.sk/~horvath/itat2020/paper16.pdf" target="_blank" >https://ics.upjs.sk/~horvath/itat2020/paper16.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Syntax Representation in Word Embeddings and Neural Networks - A Survey

Popis výsledku v původním jazyce

Neural networks trained on natural language processing tasks capture syntax even though it is not provided as a supervision signal. This indicates that syntactic analysis is essential to the understating of language in artificial intelligence systems. This overview paper covers approaches of evaluating the amount of syntactic information included in the representations of words for different neural network architectures. We mainly summarize research on English monolingual data on language modeling tasks and multilingual data for neural machine translation systems and multilingual language models. We describe which pre-trained models and representations of language are best suited for transfer to syntactic tasks.

Název v anglickém jazyce

Syntax Representation in Word Embeddings and Neural Networks - A Survey

Popis výsledku anglicky

Neural networks trained on natural language processing tasks capture syntax even though it is not provided as a supervision signal. This indicates that syntactic analysis is essential to the understating of language in artificial intelligence systems. This overview paper covers approaches of evaluating the amount of syntactic information included in the representations of words for different neural network architectures. We mainly summarize research on English monolingual data on language modeling tasks and multilingual data for neural machine translation systems and multilingual language models. We describe which pre-trained models and representations of language are best suited for transfer to syntactic tasks.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GA18-02196S" target="_blank" >GA18-02196S: Reprezentace lingvistické struktury v neuronových sítích</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 20th Conference Information Technologies - Applications and Theory (ITAT 2020)

ISBN

—

ISSN

1613-0073

e-ISSN

—

Počet stran výsledku

11

Strana od-do

38-48

Název nakladatele

Tomáš Horváth

Místo vydání

Košice, Slovakia

Místo konání akce

Oravská Lesná, Slovakia

Datum konání akce

18. 9. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—