All
All

What are you looking for?

All
Projects
Organizations

Quick search

  • Projects supported by TA ČR
  • Excellent projects
  • Projects with the highest public support
  • Current projects

Smart search

  • That is how I find a specific +word
  • That is how I leave the -word out of the results
  • “That is how I can find the whole phrase”

The "Distributed Data Infrastructure" (DDI) interface of the LEXIS platform for distributed management of data and metadata between sites

Result description

This interface is a set of services providing functions for transferring data from a user to a selected location (e.g. a supercomputer center) or also transferring data between locations. It provides an abstraction over various protocols for transferring and storing data. (iROSD, POSIX, rsync, sftp, HTTPS TUS). It implements the concept of a "dataset" that merges data and structured metadata as well as providing search functionality between them. This interface is used within the LEXIS platform through a graphical web interface or directly through specialized libraries for data transfers in the context of running complex computing tasks across different locations in an automated and transparent manner for users.

Keywords

The result's identifiers

Alternative languages

  • Result language

    čeština

  • Original language name

    Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi

  • Original language description

    Toto rozhraní tvoří sadu služeb poskytujících funkce pro přenos dat od uživatele na vybranou lokaci (např. superpočítačové centrum) nebo také přenos dat mezi lokacemi. Poskytuje abstrakci nad různými protokoly pro přenos a ukládání dat. (iROSD,POSIX,rsync,sftp,HTTPS TUS). Implementuje koncept "datasetu", který slučuje data a strukturovaná metadata a rovněž poskytuje funkce pro vyhledávání mezi nimi. Toto rozhraní je používáno v rámci platformy LEXIS přes grafické webové rozhraní nebo přímo prostřednictvím specializovaných knihoven pro přenosy dat v rámci spouštění komplexních výpočetních úloh napříč různými lokacemi a to automatizovaně a transparentně pro uživatele.

  • Czech name

    Rozhraní "Distributed Data Infrastructure" (DDI) platformy LEXIS pro distribuované řízení dat a metadat mezi lokacemi

  • Czech description

    Toto rozhraní tvoří sadu služeb poskytujících funkce pro přenos dat od uživatele na vybranou lokaci (např. superpočítačové centrum) nebo také přenos dat mezi lokacemi. Poskytuje abstrakci nad různými protokoly pro přenos a ukládání dat. (iROSD,POSIX,rsync,sftp,HTTPS TUS). Implementuje koncept "datasetu", který slučuje data a strukturovaná metadata a rovněž poskytuje funkce pro vyhledávání mezi nimi. Toto rozhraní je používáno v rámci platformy LEXIS přes grafické webové rozhraní nebo přímo prostřednictvím specializovaných knihoven pro přenosy dat v rámci spouštění komplexních výpočetních úloh napříč různými lokacemi a to automatizovaně a transparentně pro uživatele.

Classification

  • Type

    R - Software

  • CEP classification

  • OECD FORD branch

    10200 - Computer and information sciences

Result continuities

  • Project

  • Continuities

Others

  • Publication year

    2023

  • Confidentiality

    S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Data specific for result type

  • Internal product ID

    035/14-12_2023_SW

  • Technical parameters

    Software je implementován v jazyce Python pomocí frameworků Djangoa Celery. Je integrován s knihovnami specifickými pro daný typ úložiště a přenosového protokolu (např. Python,iRODS klient, paramiko SSH,atd.).Pro ukládání metadat je využívána dokumentovaná databáze ElasticSearch a pro řízení asynchronních úloh pro přenos dat pomocí architektury master-worker je rovněž použito řešení, které řídí přístup k frontám úloh - tzv. task broker založený na RabbitMQ. Kód je strukturovaný tak, aby bylo možno snadno přidávat nové typy uložišť s vlastními přenosovými protokoly.

  • Economical parameters

    zlepšení služeb

  • Owner IČO

    61989100

  • Owner name

    VŠB - TU Ostrava, IT4Innovations

Basic information

Result type

R - Software

R

OECD FORD

Computer and information sciences

Year of implementation

2023