SpiderLing

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F12%3A00064706" target="_blank" >RIV/00216224:14330/12:00064706 - isvavai.cz</a>

Výsledek na webu

<a href="http://nlp.fi.muni.cz/trac/spiderling/" target="_blank" >http://nlp.fi.muni.cz/trac/spiderling/</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

SpiderLing

Popis výsledku v původním jazyce

SpiderLing - a web spider for linguistics - is a software for obtaining large textual data from the web. The purpose of the obtained data is building text corpora. Many documents on the web only contain material not suitable for text corpora, such as site navigation, lists of links, lists of products, and other kind of text not comprised of full sentences. In fact such pages represent the vast majority of the web. Therefore, by doing unrestricted web crawls, we typically download a lot of data which gets filtered out during post-processing. This makes the process of web corpus collection inefficient. SpiderLing focuses the crawling on the text rich parts of the web and maximizes the number of words in the final corpus per downloaded megabyte. The crawler was used for building large corpora in American Spanish, Arabic, Czech, English, Estonian, French, Hungarian, Japanese, Korean, Polish, Russian, Tajik, and six Turkic languages consisting of 74 billion words altogether.

Název v anglickém jazyce

SpiderLing

Popis výsledku anglicky

SpiderLing - a web spider for linguistics - is a software for obtaining large textual data from the web. The purpose of the obtained data is building text corpora. Many documents on the web only contain material not suitable for text corpora, such as site navigation, lists of links, lists of products, and other kind of text not comprised of full sentences. In fact such pages represent the vast majority of the web. Therefore, by doing unrestricted web crawls, we typically download a lot of data which gets filtered out during post-processing. This makes the process of web corpus collection inefficient. SpiderLing focuses the crawling on the text rich parts of the web and maximizes the number of words in the final corpus per downloaded megabyte. The crawler was used for building large corpora in American Spanish, Arabic, Czech, English, Estonian, French, Hungarian, Japanese, Korean, Polish, Russian, Tajik, and six Turkic languages consisting of 74 billion words altogether.

Druh

R - Software

CEP obor

AI - Jazykověda

OECD FORD obor

—

Projekt

<a href="/cs/project/LM2010013" target="_blank" >LM2010013: LINDAT-CLARIN: Institut pro analýzu, zpracování a distribuci lingvistických dat</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2012

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

SpiderLing

Technické parametry

Software pro získávání velkého množství textových dokumentů z internetu. Implementace v jazyce Python. Licence: GNU General Public license. Odpovědná osoba pro jednání: Mgr. Pavel Rychlý, Ph.D.; email: pary@fi.muni.cz; telefon: 549496399; adresa: Pavel Rychlý, Fakulta informatiky Masarykovy univerzity, Botanická 68a, 602 00 Brno.

Ekonomické parametry

Úspory: Oproti dříve používanému nástroji Heritrix bylo - sníženo zatížení univerzitních strojů a sítě (zkrácen strojový čas potřebný k běhu programu a sníženo množství přenesených dat) - dosaženo vyšší výtěžnosti získaných dat Umožnění navazujících projektů: V případě nasazení méně specializovaného nástroje (běžného crawleru) by bylo nutno využít více prostředků po delší dobu, tudíž by nebylo sestaveno takové množství textových korpusů a nemohly úspěšně navázat projekty uživatelů korpusů (např. vývoj morfologického analyzátoru tádžické perštiny, výuka angličtiny, jazykové analýzy a další). Velké textové korpusy sestavené v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity jsou zdarma dostupné pro zaměstance a studenty Masarykovy univerzity. Některé korpusy jsou využívány také Oddělením anglistiky Filozofické fakulty Univerzity Palackého Olomouc.

IČO vlastníka výsledku

00216224

Název vlastníka

Masarykova univerzita