Služba pro sběr a ukládání metadat o vykonaných HPC jobech z plánovače PBS
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F22%3A10250837" target="_blank" >RIV/61989100:27740/22:10250837 - isvavai.cz</a>
Nalezeny alternativní kódy
RIV/61989100:27240/22:10250837
Výsledek na webu
<a href="https://code.it4i.cz/energy-efficiency/pbs-collector" target="_blank" >https://code.it4i.cz/energy-efficiency/pbs-collector</a>
DOI - Digital Object Identifier
—
Alternativní jazyky
Jazyk výsledku
čeština
Název v původním jazyce
Služba pro sběr a ukládání metadat o vykonaných HPC jobech z plánovače PBS
Popis výsledku v původním jazyce
Pro analýzu a předpověď využití zdrojů počítačového clusteru je potřebné mít dostatečně dlouhou historii metadat vykonaných úloh. Plánovač úloh PBS uchovává tato metadata pouze po dobu 14 dní. Tato služba implementuje vytvoření databáze, napojení se na rozhraní plánovače PBS a uložení metadat o ukončených úlohách do databáze.
Název v anglickém jazyce
Service for HPC jobs metadata collection from PBS scheduler
Popis výsledku anglicky
It is necessary to collect metadata of computer cluster usage to analyze and predict compute resources requirements of the future workloads. Job scheduler PBS stores the metadata for 14 days only. This service implements a database, connector to the interface of the PBS scheduler, and a service storing metadata of the finished jobs.
Klasifikace
Druh
R - Software
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Návaznosti výsledku
Projekt
Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2022
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Interní identifikační kód produktu
027/14-12-2022_SW
Technické parametry
Sběr metadat z Portable Batch System (PBS) plánovače je zabezpečen pomocí skriptů napsaných v jazyce Python3. Služba implementuje rozhraní pro načtení metadat z plánovače PBS, následné zpracování a filtraci načtených dat a uložení dat do databáze. Podporováno je také zálohování databáze do externího souboru pro archivaci a kontrola, zda je služba aktivní. Pro ukládání dat je využita databáze PostgreSQL (https://www.postgresql.org/).
Ekonomické parametry
Znalost historie metadat vykonaných úloh je možné využít k předpovědi spotřeby zdrojů (např. čas, energie) budoucích úloh. Pomocí těchto dat je možno zlepšit plánování úloh a zefektivnit využití výpočetních zdrojů superpočítačového centra.
IČO vlastníka výsledku
61989100
Název vlastníka
Vysoká škola báňská-Technická univerzita Ostrava