Transfer Learning Of Language-independent End-to-end ASR With Language Model Fusion

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26230%2F19%3APU134185" target="_blank" >RIV/00216305:26230/19:PU134185 - isvavai.cz</a>

Výsledek na webu

<a href="https://ieeexplore.ieee.org/document/8682918" target="_blank" >https://ieeexplore.ieee.org/document/8682918</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/ICASSP.2019.8682918" target="_blank" >10.1109/ICASSP.2019.8682918</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Transfer Learning Of Language-independent End-to-end ASR With Language Model Fusion

Popis výsledku v původním jazyce

This work explores better adaptation methods to low-resource lan-guages using an external language model (LM) under the frame-work of transfer learning. We first build a language-independentASR system in a unified sequence-to-sequence (S2S) architecturewith a shared vocabulary among all languages. During adaptation,we performLM fusion transfer, where an external LM is integratedinto the decoder network of the attention-based S2S model in thewhole adaptation stage, to effectively incorporate linguistic contextof the target language. We also investigate various seed models fortransfer learning. Experimental evaluations using the IARPA BA-BEL data set show that LM fusion transfer improves performanceson all target five languages compared with simple transfer learningwhen the external text data is available. Our final system drasticallyreduces the performance gap from the hybrid systems.

Název v anglickém jazyce

Transfer Learning Of Language-independent End-to-end ASR With Language Model Fusion

Popis výsledku anglicky

This work explores better adaptation methods to low-resource lan-guages using an external language model (LM) under the frame-work of transfer learning. We first build a language-independentASR system in a unified sequence-to-sequence (S2S) architecturewith a shared vocabulary among all languages. During adaptation,we performLM fusion transfer, where an external LM is integratedinto the decoder network of the attention-based S2S model in thewhole adaptation stage, to effectively incorporate linguistic contextof the target language. We also investigate various seed models fortransfer learning. Experimental evaluations using the IARPA BA-BEL data set show that LM fusion transfer improves performanceson all target five languages compared with simple transfer learningwhen the external text data is available. Our final system drasticallyreduces the performance gap from the hybrid systems.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/LQ1602" target="_blank" >LQ1602: IT4Innovations excellence in science</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2019

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of ICASSP

ISBN

978-1-5386-4658-8

ISSN

—

e-ISSN

—

Počet stran výsledku

5

Strana od-do

6096-6100

Název nakladatele

IEEE Signal Processing Society

Místo vydání

Brighton

Místo konání akce

Brighton

Datum konání akce

12. 5. 2019

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000482554006065