The "Distributed Data Infrastructure" (DDI) interface of the LEXIS platform for distributed management of data and metadata between sites
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F23%3A10253666" target="_blank" >RIV/61989100:27740/23:10253666 - isvavai.cz</a>
Result on the web
<a href="https://opencode.it4i.eu/lexis-platform/data/api" target="_blank" >https://opencode.it4i.eu/lexis-platform/data/api</a>
DOI - Digital Object Identifier
—
Alternative languages
Result language
čeština
Original language name
Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi
Original language description
Toto rozhraní tvoří sadu služeb poskytujících funkce pro přenos dat od uživatele na vybranou lokaci (např. superpočítačové centrum) nebo také přenos dat mezi lokacemi. Poskytuje abstrakci nad různými protokoly pro přenos a ukládání dat. (iROSD,POSIX,rsync,sftp,HTTPS TUS). Implementuje koncept "datasetu", který slučuje data a strukturovaná metadata a rovněž poskytuje funkce pro vyhledávání mezi nimi. Toto rozhraní je používáno v rámci platformy LEXIS přes grafické webové rozhraní nebo přímo prostřednictvím specializovaných knihoven pro přenosy dat v rámci spouštění komplexních výpočetních úloh napříč různými lokacemi a to automatizovaně a transparentně pro uživatele.
Czech name
Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi
Czech description
Toto rozhraní tvoří sadu služeb poskytujících funkce pro přenos dat od uživatele na vybranou lokaci (např. superpočítačové centrum) nebo také přenos dat mezi lokacemi. Poskytuje abstrakci nad různými protokoly pro přenos a ukládání dat. (iROSD,POSIX,rsync,sftp,HTTPS TUS). Implementuje koncept "datasetu", který slučuje data a strukturovaná metadata a rovněž poskytuje funkce pro vyhledávání mezi nimi. Toto rozhraní je používáno v rámci platformy LEXIS přes grafické webové rozhraní nebo přímo prostřednictvím specializovaných knihoven pro přenosy dat v rámci spouštění komplexních výpočetních úloh napříč různými lokacemi a to automatizovaně a transparentně pro uživatele.
Classification
Type
R - Software
CEP classification
—
OECD FORD branch
10200 - Computer and information sciences
Result continuities
Project
—
Continuities
—
Others
Publication year
2023
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Internal product ID
035/14-12_2023_SW
Technical parameters
Software je implementován v jazyce Python pomocí frameworků Djangoa Celery. Je integrován s knihovnami specifickými pro daný typ úložiště a přenosového protokolu (např. Python,iRODS klient, paramiko SSH,atd.).Pro ukládání metadat je využívána dokumentovaná databáze ElasticSearch a pro řízení asynchronních úloh pro přenos dat pomocí architektury master-worker je rovněž použito řešení, které řídí přístup k frontám úloh - tzv. task broker založený na RabbitMQ. Kód je strukturovaný tak, aby bylo možno snadno přidávat nové typy uložišť s vlastními přenosovými protokoly.
Economical parameters
zlepšení služeb
Owner IČO
61989100
Owner name
VŠB - TU Ostrava, IT4Innovations