Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F23%3A10253666" target="_blank" >RIV/61989100:27740/23:10253666 - isvavai.cz</a>
Výsledek na webu
<a href="https://opencode.it4i.eu/lexis-platform/data/api" target="_blank" >https://opencode.it4i.eu/lexis-platform/data/api</a>
DOI - Digital Object Identifier
—
Alternativní jazyky
Jazyk výsledku
čeština
Název v původním jazyce
Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi
Popis výsledku v původním jazyce
Toto rozhraní tvoří sadu služeb poskytujících funkce pro přenos dat od uživatele na vybranou lokaci (např. superpočítačové centrum) nebo také přenos dat mezi lokacemi. Poskytuje abstrakci nad různými protokoly pro přenos a ukládání dat. (iROSD,POSIX,rsync,sftp,HTTPS TUS). Implementuje koncept "datasetu", který slučuje data a strukturovaná metadata a rovněž poskytuje funkce pro vyhledávání mezi nimi. Toto rozhraní je používáno v rámci platformy LEXIS přes grafické webové rozhraní nebo přímo prostřednictvím specializovaných knihoven pro přenosy dat v rámci spouštění komplexních výpočetních úloh napříč různými lokacemi a to automatizovaně a transparentně pro uživatele.
Název v anglickém jazyce
The "Distributed Data Infrastructure" (DDI) interface of the LEXIS platform for distributed management of data and metadata between sites
Popis výsledku anglicky
This interface is a set of services providing functions for transferring data from a user to a selected location (e.g. a supercomputer center) or also transferring data between locations. It provides an abstraction over various protocols for transferring and storing data. (iROSD, POSIX, rsync, sftp, HTTPS TUS). It implements the concept of a "dataset" that merges data and structured metadata as well as providing search functionality between them. This interface is used within the LEXIS platform through a graphical web interface or directly through specialized libraries for data transfers in the context of running complex computing tasks across different locations in an automated and transparent manner for users.
Klasifikace
Druh
R - Software
CEP obor
—
OECD FORD obor
10200 - Computer and information sciences
Návaznosti výsledku
Projekt
—
Návaznosti
—
Ostatní
Rok uplatnění
2023
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Interní identifikační kód produktu
035/14-12_2023_SW
Technické parametry
Software je implementován v jazyce Python pomocí frameworků Djangoa Celery. Je integrován s knihovnami specifickými pro daný typ úložiště a přenosového protokolu (např. Python,iRODS klient, paramiko SSH,atd.).Pro ukládání metadat je využívána dokumentovaná databáze ElasticSearch a pro řízení asynchronních úloh pro přenos dat pomocí architektury master-worker je rovněž použito řešení, které řídí přístup k frontám úloh - tzv. task broker založený na RabbitMQ. Kód je strukturovaný tak, aby bylo možno snadno přidávat nové typy uložišť s vlastními přenosovými protokoly.
Ekonomické parametry
zlepšení služeb
IČO vlastníka výsledku
61989100
Název vlastníka
VŠB - TU Ostrava, IT4Innovations