SpiderLing
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F12%3A00064706" target="_blank" >RIV/00216224:14330/12:00064706 - isvavai.cz</a>
Result on the web
<a href="http://nlp.fi.muni.cz/trac/spiderling/" target="_blank" >http://nlp.fi.muni.cz/trac/spiderling/</a>
DOI - Digital Object Identifier
—
Alternative languages
Result language
angličtina
Original language name
SpiderLing
Original language description
SpiderLing - a web spider for linguistics - is a software for obtaining large textual data from the web. The purpose of the obtained data is building text corpora. Many documents on the web only contain material not suitable for text corpora, such as site navigation, lists of links, lists of products, and other kind of text not comprised of full sentences. In fact such pages represent the vast majority of the web. Therefore, by doing unrestricted web crawls, we typically download a lot of data which gets filtered out during post-processing. This makes the process of web corpus collection inefficient. SpiderLing focuses the crawling on the text rich parts of the web and maximizes the number of words in the final corpus per downloaded megabyte. The crawler was used for building large corpora in American Spanish, Arabic, Czech, English, Estonian, French, Hungarian, Japanese, Korean, Polish, Russian, Tajik, and six Turkic languages consisting of 74 billion words altogether.
Czech name
—
Czech description
—
Classification
Type
R - Software
CEP classification
AI - Linguistics
OECD FORD branch
—
Result continuities
Project
<a href="/en/project/LM2010013" target="_blank" >LM2010013: LINDAT-CLARIN: Institute for analysis, processing and distribution of linguistic data</a><br>
Continuities
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach
Others
Publication year
2012
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Internal product ID
SpiderLing
Technical parameters
Software pro získávání velkého množství textových dokumentů z internetu. Implementace v jazyce Python. Licence: GNU General Public license. Odpovědná osoba pro jednání: Mgr. Pavel Rychlý, Ph.D.; email: pary@fi.muni.cz; telefon: 549496399; adresa: Pavel Rychlý, Fakulta informatiky Masarykovy univerzity, Botanická 68a, 602 00 Brno.
Economical parameters
Úspory: Oproti dříve používanému nástroji Heritrix bylo - sníženo zatížení univerzitních strojů a sítě (zkrácen strojový čas potřebný k běhu programu a sníženo množství přenesených dat) - dosaženo vyšší výtěžnosti získaných dat Umožnění navazujících projektů: V případě nasazení méně specializovaného nástroje (běžného crawleru) by bylo nutno využít více prostředků po delší dobu, tudíž by nebylo sestaveno takové množství textových korpusů a nemohly úspěšně navázat projekty uživatelů korpusů (např. vývoj morfologického analyzátoru tádžické perštiny, výuka angličtiny, jazykové analýzy a další). Velké textové korpusy sestavené v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity jsou zdarma dostupné pro zaměstance a studenty Masarykovy univerzity. Některé korpusy jsou využívány také Oddělením anglistiky Filozofické fakulty Univerzity Palackého Olomouc.
Owner IČO
00216224
Owner name
Masarykova univerzita