Service for HPC jobs metadata collection from PBS scheduler

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989100%3A27740%2F22%3A10250837" target="_blank" >RIV/61989100:27740/22:10250837 - isvavai.cz</a>

Alternative codes found

RIV/61989100:27240/22:10250837

Result on the web

<a href="https://code.it4i.cz/energy-efficiency/pbs-collector" target="_blank" >https://code.it4i.cz/energy-efficiency/pbs-collector</a>

DOI - Digital Object Identifier

—

Result language

čeština

Original language name

Služba pro sběr a ukládání metadat o vykonaných HPC jobech z plánovače PBS

Original language description

Pro analýzu a předpověď využití zdrojů počítačového clusteru je potřebné mít dostatečně dlouhou historii metadat vykonaných úloh. Plánovač úloh PBS uchovává tato metadata pouze po dobu 14 dní. Tato služba implementuje vytvoření databáze, napojení se na rozhraní plánovače PBS a uložení metadat o ukončených úlohách do databáze.

Czech name

Služba pro sběr a ukládání metadat o vykonaných HPC jobech z plánovače PBS

Czech description

Pro analýzu a předpověď využití zdrojů počítačového clusteru je potřebné mít dostatečně dlouhou historii metadat vykonaných úloh. Plánovač úloh PBS uchovává tato metadata pouze po dobu 14 dní. Tato služba implementuje vytvoření databáze, napojení se na rozhraní plánovače PBS a uložení metadat o ukončených úlohách do databáze.

Type

R - Software

CEP classification

—

OECD FORD branch

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Project

Result was created during the realization of more than one project. More information in the Projects tab.

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2022

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

027/14-12-2022_SW

Technical parameters

Sběr metadat z Portable Batch System (PBS) plánovače je zabezpečen pomocí skriptů napsaných v jazyce Python3. Služba implementuje rozhraní pro načtení metadat z plánovače PBS, následné zpracování a filtraci načtených dat a uložení dat do databáze. Podporováno je také zálohování databáze do externího souboru pro archivaci a kontrola, zda je služba aktivní. Pro ukládání dat je využita databáze PostgreSQL (https://www.postgresql.org/).

Economical parameters

Znalost historie metadat vykonaných úloh je možné využít k předpovědi spotřeby zdrojů (např. čas, energie) budoucích úloh. Pomocí těchto dat je možno zlepšit plánování úloh a zefektivnit využití výpočetních zdrojů superpočítačového centra.

Owner IČO

61989100

Owner name

Vysoká škola báňská-Technická univerzita Ostrava