Web Text Data Mining for Building Large Scale Language Modelling Corpus
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F11%3A43898187" target="_blank" >RIV/49777513:23520/11:43898187 - isvavai.cz</a>
Výsledek na webu
<a href="http://dx.doi.org/10.1007/978-3-642-23538-2_45" target="_blank" >http://dx.doi.org/10.1007/978-3-642-23538-2_45</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1007/978-3-642-23538-2_45" target="_blank" >10.1007/978-3-642-23538-2_45</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Web Text Data Mining for Building Large Scale Language Modelling Corpus
Popis výsledku v původním jazyce
The paper describes a system for collecting a large text corpus from Internet news servers. The architecture and text preprocessing algorithms are described. We also describe the used duplicity detection algorithm. The resulting corpus contains more than1 billion tokens in more than 3 millions articles with assigned topics and duplicates identified. Corpus statistics like consistency and perplexity are presented.
Název v anglickém jazyce
Web Text Data Mining for Building Large Scale Language Modelling Corpus
Popis výsledku anglicky
The paper describes a system for collecting a large text corpus from Internet news servers. The architecture and text preprocessing algorithms are described. We also describe the used duplicity detection algorithm. The resulting corpus contains more than1 billion tokens in more than 3 millions articles with assigned topics and duplicates identified. Corpus statistics like consistency and perplexity are presented.
Klasifikace
Druh
J<sub>x</sub> - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)
CEP obor
JD - Využití počítačů, robotika a její aplikace
OECD FORD obor
—
Návaznosti výsledku
Projekt
<a href="/cs/project/FR-TI1%2F486" target="_blank" >FR-TI1/486: *MegaWord.cz</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach
Ostatní
Rok uplatnění
2011
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název periodika
Lecture Notes in Computer Science
ISSN
0302-9743
e-ISSN
—
Svazek periodika
Neuveden
Číslo periodika v rámci svazku
6836
Stát vydavatele periodika
DE - Spolková republika Německo
Počet stran výsledku
8
Strana od-do
356-363
Kód UT WoS článku
—
EID výsledku v databázi Scopus
—