KWJA: A Japanese language analyzer based on a general-purpose language model

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F22%3AJ6ZSMPX6" target="_blank" >RIV/00216208:11320/22:J6ZSMPX6 - isvavai.cz</a>

Result on the web

<a href="https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=220232&item_no=1&page_id=13&block_id=8" target="_blank" >https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=220232&item_no=1&page_id=13&block_id=8</a>

DOI - Digital Object Identifier

—

Result language

—

Original language name

KWJA：汎用言語モデルに基づく日本語解析器

Original language description

概要：現在の自然言語処理では end-to-end のニューラルモデルが主流となっている．しかし，本質的に試 行錯誤を必要とする情報分析や因果関係分析などを支援するためには，エンティティやイベント，および，それらの関係の認識が必須であり，形態素解析や述語項構造解析などの言語解析が依然として重要である．これまで，解析器はそれぞれのタスクごとに開発されており，それらを繋いで利用するにはコストが高いという問題があった．本研究では，汎用言語モデルに基づく高精度な統合的日本語解析器 KWJA を設計・構築する．本解析器は，入力誤り訂正，分かち書き，単語正規化，形態素解析，固有表現認識，言語素性付与，構文解析，述語項構造解析，橋渡し照応解析，共参照解析，談話関係解析を統一的なアーキテクチャで実現する．構築した解析器は https://github.com/ku-nlp/kwja で公開している．

Czech name

—

Czech description

—

Type

J_ost - Miscellaneous article in a specialist periodical

CEP classification

—

OECD FORD branch

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Project

—

Continuities

—

Publication year

2022

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Name of the periodical

IPSJ SIG Technical Report

ISSN

2188-8779

e-ISSN

2227-7390

Volume of the periodical

—

Issue of the periodical within the volume

2022

Country of publishing house

JP - JAPAN

Number of pages

14

Pages from-to

1-14

UT code for WoS article

000857610000001

EID of the result in the Scopus database

2-s2.0-85138638378