Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F22%3ALWUJEFEY" target="_blank" >RIV/00216208:11320/22:LWUJEFEY - isvavai.cz</a>

Result on the web

<a href="https://www.jstage.jst.go.jp/article/jnlp/29/2/29_314/_article/-char/ja/" target="_blank" >https://www.jstage.jst.go.jp/article/jnlp/29/2/29_314/_article/-char/ja/</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.5715/jnlp.29.314" target="_blank" >10.5715/jnlp.29.314</a>

Result language

—

Original language name

言語間での転移学習のための事前学習モデルと多言語の学習者 データを用いた文法誤り訂正

Original language description

本稿では，文法誤り訂正における言語間での転移学習について研究を行う．近年，機 械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知 識の活用が行われている一方で，文法誤り訂正では多言語の知識を用いる研究はほ とんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題で ある．一方で，類似した言語間には共通の文法項目が存在していることが広く知ら れており，そのような言語間で共通した文法項目については言語間で転移が可能な のではないかと考えられる．そこで我々は事前学習モデルと多言語の学習者データ を用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において 可能であるかを調査する．実験の結果，文法誤り訂正において言語間で文法知識の 転移が可能であることを示した．また，分析の結果，事前学習モデルの構造が文法 知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文 法項目の転移が行われていること，転移元の言語と転移先の言語のデータのサイズ に関わらず文法知識の転移が起きていることを確認した．

Czech name

—

Czech description

—

Type

J_ost - Miscellaneous article in a specialist periodical

CEP classification

—

OECD FORD branch

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Project

—

Continuities

—

Publication year

2022

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Name of the periodical

Journal of Natural Language Processing

ISSN

1340-7619

e-ISSN

2227-7390

Volume of the periodical

29

Issue of the periodical within the volume

2

Country of publishing house

JP - JAPAN

Number of pages

30

Pages from-to

314-343

UT code for WoS article

—

EID of the result in the Scopus database

—