A library for integrating the ApacheAirflow tool in the LEXIS platform
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F23%3A10253663" target="_blank" >RIV/61989100:27740/23:10253663 - isvavai.cz</a>
Result on the web
<a href="https://opencode.it4i.eu/lexis-platform/orchestrator/airflow-provider" target="_blank" >https://opencode.it4i.eu/lexis-platform/orchestrator/airflow-provider</a>
DOI - Digital Object Identifier
—
Alternative languages
Result language
čeština
Original language name
Knihovna pro integraci nástroje ApacheAirflow v platformě LEXIS
Original language description
Integrace nástroje Apache Air flow pro správu distribuovaných výpočetních tokům do platformy LEXIS umožnila sestavovat mimo jiné výpočetní toky (workflows) obsahující výpočetní úlohy spouštěné na superpočítačích, a přenášet data mezi danými úlohami. Integrací se myslí zapojení Apache Airflow do platformy LEXIS a rozšíření o moduly rozšiřující funkcionalitu Apache Airfolow. Ve výsledku je tak uživateli umožněno spouštění jednoduchých i netriviálních výpočetních toků přes LEXIS platformu i na geograficky vzdálených výpočetních zdrojích. Úlohy samotné mohou být orchestrovány podle potřeb na daný výpočetní zdroj. Výpočetní toky lze specifikovat v jazyce Python nebo deklarativně ve standardu OASIS TOSCA do souboru YAML.
Czech name
Knihovna pro integraci nástroje ApacheAirflow v platformě LEXIS
Czech description
Integrace nástroje Apache Air flow pro správu distribuovaných výpočetních tokům do platformy LEXIS umožnila sestavovat mimo jiné výpočetní toky (workflows) obsahující výpočetní úlohy spouštěné na superpočítačích, a přenášet data mezi danými úlohami. Integrací se myslí zapojení Apache Airflow do platformy LEXIS a rozšíření o moduly rozšiřující funkcionalitu Apache Airfolow. Ve výsledku je tak uživateli umožněno spouštění jednoduchých i netriviálních výpočetních toků přes LEXIS platformu i na geograficky vzdálených výpočetních zdrojích. Úlohy samotné mohou být orchestrovány podle potřeb na daný výpočetní zdroj. Výpočetní toky lze specifikovat v jazyce Python nebo deklarativně ve standardu OASIS TOSCA do souboru YAML.
Classification
Type
R - Software
CEP classification
—
OECD FORD branch
10200 - Computer and information sciences
Result continuities
Project
—
Continuities
—
Others
Publication year
2023
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Internal product ID
034/14-12-2023_SW
Technical parameters
Pro integraci Apache Airflow byl implementován plugin rozšiřující API Apache Ariflow o potřebné prvky rozhraní. Autentizace a autorizace je grantovou službou Keycloak a UserOrg (součástí LEXIS platformy).Operátory se rozšířily mimo jiné i o HPC-as-Service Middlewarea a data staging operátor.
Economical parameters
zlepšení služby
Owner IČO
61989100
Owner name
VŠB - TU Ostrava, IT4Innovations