Job Provenance - Insight into Very Large Provenance Datasets

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14310%2F08%3A00026804" target="_blank" >RIV/00216224:14310/08:00026804 - isvavai.cz</a>

Alternative codes found

RIV/63839172:_____/08:00001003

Result on the web

—

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

Job Provenance - Insight into Very Large Provenance Datasets

Original language description

Following the job centric monitoring concept, Job Provenance (JP) service organizes provenance records on the per job basis. It is designed to manage very large number of records, as was required in the EGEE project where it was developed originally. Thequantitative aspect is also a focus of the presented demonstration. We show JP capability to retrieve data items of interest from a large dataset of full records of more than 1 million of jobs, to perform non trivial transformation on those data, and organize the results in such a way that repeated interactive queries are possible. The application area of the demo is derived from that of previous Provenance Challenges. Though the topic of the demo (a computational experiment) is arranged rather artificially, the demonstration still delivers its main message that JP supports non-trivial transformations and interactive queries on large data sets.

Czech name

Job Provenance - Přístup k velmi rozsáhlým provenancím

Czech description

Systém Job Provenance je pokračováním konceptu monitorování orientovaného na úlohy. Systém je navržen tak, aby zvládal ukládat a zpracovávat velmi velké množství záznamů (původní motivace vychází z projektu EU EGEE). Na kvantitativní pohled je také zaměřene prezentovaná práce a demo. Ukazujeme schopnost JP v reálném čase odpovídat dotazy nad více než miliónem záznamů, a provést netriviální transformaci těchto dat. Aplikační oblast vychází ze zadání předchozích akcí "Provenance Challenge". Námětem demonstrace je výpočetní experiment nad obrazovými daty NMR scanu mozku. Přestože je uspořádán částečně uměle, dokazuje inzerovanou schopnost JP pracovat interaktivně nad velkým množstvím dat.

Type

D - Article in proceedings

CEP classification

JC - Computer hardware and software

OECD FORD branch

—

Project

—

Continuities

Z - Vyzkumny zamer (s odkazem do CEZ)

Publication year

2008

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Article name in the collection

Provenance and Annotation of Data and Processes. Second International Provenance and Annotation Workshop, IPAW 2008; LNCS

ISBN

978-3-540-89964-8

ISSN

—

e-ISSN

—

Number of pages

8

Pages from-to

—

Publisher name

Springer Berlin / Heidelberg

Place of publication

Berlin

Event location

Salt Lake City, UT, USA

Event date

Jan 1, 2008

Type of event by nationality

WRD - Celosvětová akce

UT code for WoS article

—