Utok: The Fast Rule-based Tokenizer

Kód výsledku v IS VaVaI

RIV/00216224:14330/22:00127488 - isvavai.cz

Výsledek na webu

https://nlp.fi.muni.cz/raslan/2022/paper24.pdf

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Utok: The Fast Rule-based Tokenizer

Popis výsledku v původním jazyce

Tokenization is one of the first processing steps in most natural language processing applications. The papper introduces a new tokenizer Utok which follows the Unitok tokenizer in the form of simplicity of configuration for different languages and is much faster in processing speed.

Název v anglickém jazyce

Utok: The Fast Rule-based Tokenizer

Popis výsledku anglicky

Tokenization is one of the first processing steps in most natural language processing applications. The papper introduces a new tokenizer Utok which follows the Unitok tokenizer in the form of simplicity of configuration for different languages and is much faster in processing speed.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10200 - Computer and information sciences

Projekt

LM2018101: Digitální výzkumná infrastruktura pro jazykové technologie, umění a humanitní vědy

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2022

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the Sixteenth Workshop on Recent Advances in Slavonic Natural Languages Processing, RASLAN 2022

ISBN

9788026317524

ISSN

2336-4289

e-ISSN

—

Počet stran výsledku

6

Strana od-do

149-154

Název nakladatele

Tribun EU

Místo vydání

Brno

Místo konání akce

Brno

Datum konání akce

1. 1. 2022

Typ akce podle státní příslušnosti

CST - Celostátní akce

Kód UT WoS článku

—