Universal Dependencies according to BERT: both more specific and more general

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F20%3A10424474" target="_blank" >RIV/00216208:11320/20:10424474 - isvavai.cz</a>

Výsledek na webu

<a href="https://www.aclweb.org/anthology/2020.findings-emnlp.245/" target="_blank" >https://www.aclweb.org/anthology/2020.findings-emnlp.245/</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.18653/v1/2020.findings-emnlp.245" target="_blank" >10.18653/v1/2020.findings-emnlp.245</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Universal Dependencies according to BERT: both more specific and more general

Popis výsledku v původním jazyce

This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions. Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one. We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.

Název v anglickém jazyce

Universal Dependencies according to BERT: both more specific and more general

Popis výsledku anglicky

This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions. Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one. We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Findings of the Association for Computational Linguistics: EMNLP 2020

ISBN

978-1-952148-90-3

ISSN

—

e-ISSN

—

Počet stran výsledku

13

Strana od-do

2710-2722

Název nakladatele

Association for Computational Linguistics

Místo vydání

Stroudsburg, PA, USA

Místo konání akce

Online

Datum konání akce

16. 11. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—