Knihovna pro integraci nástroje ApacheAirflow v platformě LEXIS

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F23%3A10253663" target="_blank" >RIV/61989100:27740/23:10253663 - isvavai.cz</a>

Výsledek na webu

<a href="https://opencode.it4i.eu/lexis-platform/orchestrator/airflow-provider" target="_blank" >https://opencode.it4i.eu/lexis-platform/orchestrator/airflow-provider</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

čeština

Název v původním jazyce

Knihovna pro integraci nástroje ApacheAirflow v platformě LEXIS

Popis výsledku v původním jazyce

Integrace nástroje Apache Air flow pro správu distribuovaných výpočetních tokům do platformy LEXIS umožnila sestavovat mimo jiné výpočetní toky (workflows) obsahující výpočetní úlohy spouštěné na superpočítačích, a přenášet data mezi danými úlohami. Integrací se myslí zapojení Apache Airflow do platformy LEXIS a rozšíření o moduly rozšiřující funkcionalitu Apache Airfolow. Ve výsledku je tak uživateli umožněno spouštění jednoduchých i netriviálních výpočetních toků přes LEXIS platformu i na geograficky vzdálených výpočetních zdrojích. Úlohy samotné mohou být orchestrovány podle potřeb na daný výpočetní zdroj. Výpočetní toky lze specifikovat v jazyce Python nebo deklarativně ve standardu OASIS TOSCA do souboru YAML.

Název v anglickém jazyce

A library for integrating the ApacheAirflow tool in the LEXIS platform

Popis výsledku anglicky

The integration of the Apache Air flow tool for managing distributed computing flows into the LEXIS platform made it possible, among other things, to compile computing flows (workflows) containing computing tasks running on supercomputers, and to transfer data between the given tasks. Integration means connecting Apache Airflow to the LEXIS platform and expanding it with modules that extend the functionality of Apache Airflow. As a result, the user is thus enabled to run simple and non-trivial computing flows via the LEXIS platform even on geographically remote computing resources. The tasks themselves can be orchestrated according to the needs of a given computing resource. Computational flows can be specified in Python or declaratively in the OASIS TOSCA standard in a YAML file.

Druh

R - Software

CEP obor

—

OECD FORD obor

10200 - Computer and information sciences

Projekt

—

Návaznosti

—

Rok uplatnění

2023

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

034/14-12-2023_SW

Technické parametry

Pro integraci Apache Airflow byl implementován plugin rozšiřující API Apache Ariflow o potřebné prvky rozhraní. Autentizace a autorizace je grantovou službou Keycloak a UserOrg (součástí LEXIS platformy).Operátory se rozšířily mimo jiné i o HPC-as-Service Middlewarea a data staging operátor.

Ekonomické parametry

zlepšení služby

IČO vlastníka výsledku

61989100

Název vlastníka

VŠB - TU Ostrava, IT4Innovations