Continuous Distributed Representations of Words as Input of LSTM Network Language Model
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F14%3A43922923" target="_blank" >RIV/49777513:23520/14:43922923 - isvavai.cz</a>
Výsledek na webu
<a href="http://link.springer.com/chapter/10.1007/978-3-319-10816-2_19" target="_blank" >http://link.springer.com/chapter/10.1007/978-3-319-10816-2_19</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1007/978-3-319-10816-2_19" target="_blank" >10.1007/978-3-319-10816-2_19</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Continuous Distributed Representations of Words as Input of LSTM Network Language Model
Popis výsledku v původním jazyce
he continuous skip-gram model is an efficient algorithm for learning quality distributed vector representations that are able to capture a large number of syntactic and semantic word relationships. Artificial neural networks have become the state-of-the-art in the task of language modelling whereas Long-Short Term Memory (LSTM) networks seem to be efficient training algorithm. In this paper, we carry out experiments with a combination of these powerful models: the continuous distributed representationsof words are trained with skip-gram method on a big corpora and are used as the input of LSTM language model instead of traditional 1-of-N coding. The possibilities of this approach are shown in experiments on perplexity with Wikipedia and Penn Treebankcorpus.
Název v anglickém jazyce
Continuous Distributed Representations of Words as Input of LSTM Network Language Model
Popis výsledku anglicky
he continuous skip-gram model is an efficient algorithm for learning quality distributed vector representations that are able to capture a large number of syntactic and semantic word relationships. Artificial neural networks have become the state-of-the-art in the task of language modelling whereas Long-Short Term Memory (LSTM) networks seem to be efficient training algorithm. In this paper, we carry out experiments with a combination of these powerful models: the continuous distributed representationsof words are trained with skip-gram method on a big corpora and are used as the input of LSTM language model instead of traditional 1-of-N coding. The possibilities of this approach are shown in experiments on perplexity with Wikipedia and Penn Treebankcorpus.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
JD - Využití počítačů, robotika a její aplikace
OECD FORD obor
—
Návaznosti výsledku
Projekt
<a href="/cs/project/DF12P01OVV022" target="_blank" >DF12P01OVV022: Zpřístupnění rozsáhlého video archivu kulturního dědictví pomocí metod automatického rozpoznávání mluvené řeči a strojového překladu. (AMALACH)</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2014
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Text, Speech, and Dialogue, 17th International Conference, TSD 2014, Brno, Czech Republic, September 8-12, 2014. Proceedings
ISBN
978-3-319-10815-5
ISSN
0302-9743
e-ISSN
—
Počet stran výsledku
8
Strana od-do
150-157
Název nakladatele
Springer
Místo vydání
Heidelberg
Místo konání akce
Brno, Czech Republic
Datum konání akce
8. 9. 2014
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—