Text Tokenisation Using unitok

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F14%3A00077514" target="_blank" >RIV/00216224:14330/14:00077514 - isvavai.cz</a>

Výsledek na webu

—

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Text Tokenisation Using unitok

Popis výsledku v původním jazyce

This paper presents unitok, a tool for tokenisation of text in many languages. Although a simple idea ? exploiting spaces in the text to separate tokens ? works well most of the time, the rest of observed cases is quite complicated, language dependent and requires a special treatment. The paper covers the overall design of unitok as well as the way the tool deals with some language or web data specific tokenisation cases. The rule what to consider a token is briefly described. The tool is compared to two other tokenisers in terms of output token count and tokenising speed. unitok is publicly available under the GPL licence at http://corpus.tools.

Název v anglickém jazyce

Text Tokenisation Using unitok

Popis výsledku anglicky

This paper presents unitok, a tool for tokenisation of text in many languages. Although a simple idea ? exploiting spaces in the text to separate tokens ? works well most of the time, the rest of observed cases is quite complicated, language dependent and requires a special treatment. The paper covers the overall design of unitok as well as the way the tool deals with some language or web data specific tokenisation cases. The rule what to consider a token is briefly described. The tool is compared to two other tokenisers in terms of output token count and tokenising speed. unitok is publicly available under the GPL licence at http://corpus.tools.

Druh

D - Stať ve sborníku

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2014

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Eighth Workshop on Recent Advances in Slavonic Natural Language Processing

ISBN

—

ISSN

2336-4289

e-ISSN

—

Počet stran výsledku

5

Strana od-do

71-75

Název nakladatele

Tribun EU

Místo vydání

Brno

Místo konání akce

Brno

Datum konání akce

1. 1. 2014

Typ akce podle státní příslušnosti

CST - Celostátní akce

Kód UT WoS článku

—