Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F22%3ALWUJEFEY" target="_blank" >RIV/00216208:11320/22:LWUJEFEY - isvavai.cz</a>

Výsledek na webu

<a href="https://www.jstage.jst.go.jp/article/jnlp/29/2/29_314/_article/-char/ja/" target="_blank" >https://www.jstage.jst.go.jp/article/jnlp/29/2/29_314/_article/-char/ja/</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.5715/jnlp.29.314" target="_blank" >10.5715/jnlp.29.314</a>

Jazyk výsledku

—

Název v původním jazyce

言語間での転移学習のための事前学習モデルと多言語の学習者 データを用いた文法誤り訂正

Popis výsledku v původním jazyce

本稿では，文法誤り訂正における言語間での転移学習について研究を行う．近年，機 械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知 識の活用が行われている一方で，文法誤り訂正では多言語の知識を用いる研究はほ とんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題で ある．一方で，類似した言語間には共通の文法項目が存在していることが広く知ら れており，そのような言語間で共通した文法項目については言語間で転移が可能な のではないかと考えられる．そこで我々は事前学習モデルと多言語の学習者データ を用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において 可能であるかを調査する．実験の結果，文法誤り訂正において言語間で文法知識の 転移が可能であることを示した．また，分析の結果，事前学習モデルの構造が文法 知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文 法項目の転移が行われていること，転移元の言語と転移先の言語のデータのサイズ に関わらず文法知識の転移が起きていることを確認した．

Název v anglickém jazyce

Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

Popis výsledku anglicky

In this study, we explore cross-lingual transfer learning in grammatical error correction (GEC) tasks. Few studies have investigated the use of knowledge from other languages for GEC; therefore, it is unclear if useful grammatical knowledge can be transferred. There are often common grammatical items between similar languages, and it may be possible to perform cross-lingual transfer learning by exploiting their grammatical similarities. In this study, we use pre-trained model and multilingual learner corpus for cross-lingual transfer learning for GEC. Our results demonstrate that transfer learning from other languages can improve the accuracy of GEC. We also demonstrate that proximity to source languages has a signi cant impact on the accuracy of correcting certain types of errors.

Druh

J_ost - Ostatní články v recenzovaných periodicích

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

—

Rok uplatnění

2022

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název periodika

Journal of Natural Language Processing

ISSN

1340-7619

e-ISSN

2227-7390

Svazek periodika

29

Číslo periodika v rámci svazku

2

Stát vydavatele periodika

JP - Japonsko

Počet stran výsledku

30

Strana od-do

314-343

Kód UT WoS článku

—

EID výsledku v databázi Scopus

—