onion

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F11%3A00056803" target="_blank" >RIV/00216224:14330/11:00056803 - isvavai.cz</a>

Result on the web

<a href="http://nlp.fi.muni.cz/projects/onion/" target="_blank" >http://nlp.fi.muni.cz/projects/onion/</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

onion

Original language description

onion (ONe Instance ONly) is a tool for removing duplicate parts from large collections of texts. The tool has been implemented in Python, licensed under New BSD License and made an open source software (available for download including the source code at http://code.google.com/p/onion/). It is being successfuly used for cleaning large textual corpora at Natural language processing centre at Faculty of informatics, Masaryk university Brno and it's industry partners. The research leading to this piece ofsoftware was published in author's Ph.D. thesis "Removing Boilerplate and Duplicate Content from Web Corpora". The deduplication algorithm is based on comparing n-grams of words of text.

Czech name

—

Czech description

—

Type

R - Software

CEP classification

AI - Linguistics

OECD FORD branch

—

Project

<a href="/en/project/LC536" target="_blank" >LC536: Integrated center for natural language processing</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Publication year

2011

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

onion

Technical parameters

Software k odstraňování duplicitních částí v rozsáhlých souborech textových dokumentů. Implementace v jazyce Python. Licence: New BSD License. Odpovědná osoba pro jednání: doc. PhDr. Karel Pala, CSc.; email: pala@fi.muni.cz; telefon: 549495616; adresa: Karel Pala, Fakulta informatiky Masarykovy univerzity, Botanická 68a, 602 00 Brno.

Economical parameters

Díky vyvinutí tohoto nástroje je dosahováno účinného odstranění duplicitních částí textových dokumentů ve velkých textových korpusech sestavovaných v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity. V případě nasazení méně účinného nástroje by výsledné korpusy nedosahovaly požadovaných kvalit a nebylo by možné provádět úspěšně jazykové analýzy v rámci Centra, ani poskytovat kvalitní data v rámci spolupráce s průmyslovými partnery Fakulty informatiky MU. Zdrojový kód, dokumentace a další materiály jsou udržovány v anglickém jazyce, čímž je umožněna univerzální přístupnost nástroje. Software byl (v podobě instalačního balíku pro Python) stažen celkem 23 krát (viz http://code.google.com/p/onion/downloads/list, navštíveno12. 4. 2012) a dále zpřístupněn v podobě kompletního zdrojového kódu a všech natrénovaných modelů. Lze tedy usuzovat, že je testován nebo nasazen dalšími uživateli kromě Masarykovy univerzity.

Owner IČO

00216224

Owner name

Masarykova univerzita