jusText

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F11%3A00056804" target="_blank" >RIV/00216224:14330/11:00056804 - isvavai.cz</a>

Result on the web

<a href="http://nlp.fi.muni.cz/projects/justext/" target="_blank" >http://nlp.fi.muni.cz/projects/justext/</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

jusText

Original language description

jusText is a heuristic based boilerplate removal tool useful for cleaning documents in large textual corpora. The tool has been implemented in Python, licensed under New BSD License and made an open source software (available for download including the source code at http://code.google.com/p/justext/). It is successfully used for cleaning large textual corpora at Natural language processing centre at Faculty of informatics, Masaryk university Brno and it's industry partners. The research leading to thispiece of software was published in author's Ph.D. thesis "Removing Boilerplate and Duplicate Content from Web Corpora". The boilerplate removal algorithm is able to remove most of non-grammatical sentences from a web page like navigation, advertisements, tables, short notes and so on. It has been shown it overperforms or at least keeps up with it's competitors (according to comparison with participants of Cleaneval competition in author's Ph.D. thesis).

Czech name

—

Czech description

—

Type

R - Software

CEP classification

AI - Linguistics

OECD FORD branch

—

Project

<a href="/en/project/LC536" target="_blank" >LC536: Integrated center for natural language processing</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Publication year

2011

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

jusText

Technical parameters

Software k odstraňování částí neobsahujících souvislé věty v rozsáhlých souborech textových dokumentů. Licence: New BSD License. Odpovědná osoba pro jednání: doc. PhDr. Karel Pala, CSc.; email: pala@fi.muni.cz; telefon: 549495616; adresa: Karel Pala, Fakulta informatiky Masarykovy univerzity, Botanická 68a, 602 00 Brno.

Economical parameters

Díky vyvinutí tohoto nástroje je dosahováno účinného odstranění balastních částí textových dokumentů získaných z internetu ve velkých textových korpusech sestavovaných v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity. Ruční kontrola a úpravy dat by při rozsahu běžně zpracovávaných korpusů v řádu jednotek až desítek miliard slov vyžadovaly dodatečné náklady na školení a práci kvalifikovaného personálu. Bez použití tohoto nástroje by nebylo možné provádět úspěšně jazykové analýzy, ani poskytovat kvalitní data průmyslovým partnerům FI MU. Zdrojový kód, dokumentace a další materiály jsou udržovány v anglickém jazyce, čímž je umožněna univerzální přístupnost nástroje. Software byl (v podobě instalačního balíku pro Python)stažen celkem 663 krát (viz http://code.google.com/p/justext/downloads/list, navštíveno 12. 4. 2012) a dále zpřístupněn v podobě kompletního zdrojového kódu a pomocných slovníků. Je tedy hojně využíván dalšími uživateli.

Owner IČO

00216224

Owner name

Masarykova univerzita