BERT-Based Sentiment Analysis Using Distillation

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F20%3A43959644" target="_blank" >RIV/49777513:23520/20:43959644 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-3-030-59430-5_5" target="_blank" >http://dx.doi.org/10.1007/978-3-030-59430-5_5</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-030-59430-5_5" target="_blank" >10.1007/978-3-030-59430-5_5</a>

Jazyk výsledku

angličtina

Název v původním jazyce

BERT-Based Sentiment Analysis Using Distillation

Popis výsledku v původním jazyce

In this paper, we present our experiments with BERT (Bidirectional Encoder Representations from Transformers) models in the task of sentiment analysis, which aims to predict the sentiment polarity for the given text. We trained an ensemble of BERT models from a large self-collected movie reviews dataset and distilled the knowledge into a single production model. Moreover, we proposed an improved BERT’s pooling layer architecture, which outperforms standard classification layer while enables per-token sentiment predictions. We demonstrate our improvements on a publicly available dataset with Czech movie reviews.

Název v anglickém jazyce

BERT-Based Sentiment Analysis Using Distillation

Popis výsledku anglicky

In this paper, we present our experiments with BERT (Bidirectional Encoder Representations from Transformers) models in the task of sentiment analysis, which aims to predict the sentiment polarity for the given text. We trained an ensemble of BERT models from a large self-collected movie reviews dataset and distilled the knowledge into a single production model. Moreover, we proposed an improved BERT’s pooling layer architecture, which outperforms standard classification layer while enables per-token sentiment predictions. We demonstrate our improvements on a publicly available dataset with Czech movie reviews.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

20205 - Automation and control systems

Projekt

<a href="/cs/project/TN01000024" target="_blank" >TN01000024: Národní centrum kompetence - Kybernetika a umělá inteligence</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Statistical Language and Speech Processing, SLSP 2020

ISBN

978-3-030-59429-9

ISSN

0302-9743

e-ISSN

1611-3349

Počet stran výsledku

13

Strana od-do

58-70

Název nakladatele

Springer

Místo vydání

Cham

Místo konání akce

Cardiff, UK

Datum konání akce

14. 10. 2020

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—