Application of LSTM Neural Networks in Language Modelling

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F13%3A43921189" target="_blank" >RIV/49777513:23520/13:43921189 - isvavai.cz</a>

Výsledek na webu

<a href="http://link.springer.com/chapter/10.1007%2F978-3-642-40585-3_14#page-1" target="_blank" >http://link.springer.com/chapter/10.1007%2F978-3-642-40585-3_14#page-1</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-642-40585-3_14" target="_blank" >10.1007/978-3-642-40585-3_14</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Application of LSTM Neural Networks in Language Modelling

Popis výsledku v původním jazyce

Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN)can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline.

Název v anglickém jazyce

Application of LSTM Neural Networks in Language Modelling

Popis výsledku anglicky

Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN)can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline.

Druh

D - Stať ve sborníku

CEP obor

JD - Využití počítačů, robotika a její aplikace

OECD FORD obor

—

Projekt

<a href="/cs/project/DF12P01OVV022" target="_blank" >DF12P01OVV022: Zpřístupnění rozsáhlého video archivu kulturního dědictví pomocí metod automatického rozpoznávání mluvené řeči a strojového překladu. (AMALACH)</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2013

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Text, Speech, and Dialogue

ISBN

978-3-642-40584-6

ISSN

0302-9743

e-ISSN

—

Počet stran výsledku

8

Strana od-do

105-112

Název nakladatele

Springer

Místo vydání

Heidelberg

Místo konání akce

Plzeň

Datum konání akce

1. 9. 2013

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—