HiSS-Cube: Hierarchical Semi-Sparse Cube

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985815%3A_____%2F21%3A00617868" target="_blank" >RIV/67985815:_____/21:00617868 - isvavai.cz</a>

Výsledek na webu

<a href="https://ascl.net/2503.001" target="_blank" >https://ascl.net/2503.001</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

HiSS-Cube: Hierarchical Semi-Sparse Cube

Popis výsledku v původním jazyce

Hierarchical Semi-Sparse Cube (HiSS-Cube) framework provides highly parallel processing of combined multi-modal multi-dimensional big data. The package builds a database on top of the HDF5 framework which supports parallel queries. A database index on top of HDF5 can be easily constructed in parallel, and the code supports efficient multi-modal big data combinations. The performance of HiSS-Cube is bounded by the I/O bandwidth and I/O operations per second of the underlying parallel file system, it scales linearly with the number of I/O nodes and can be extended to any kind of multidimensional data combination and information retrieval.nn

Název v anglickém jazyce

HiSS-Cube: Hierarchical Semi-Sparse Cube

Popis výsledku anglicky

Hierarchical Semi-Sparse Cube (HiSS-Cube) framework provides highly parallel processing of combined multi-modal multi-dimensional big data. The package builds a database on top of the HDF5 framework which supports parallel queries. A database index on top of HDF5 can be easily constructed in parallel, and the code supports efficient multi-modal big data combinations. The performance of HiSS-Cube is bounded by the I/O bandwidth and I/O operations per second of the underlying parallel file system, it scales linearly with the number of I/O nodes and can be extended to any kind of multidimensional data combination and information retrieval.nn

Druh

R - Software

CEP obor

—

OECD FORD obor

10308 - Astronomy (including astrophysics,space science)

Projekt

—

Návaznosti

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

HiSS-Cube

Technické parametry

Program v jazyce Python 3, vyžaduje běh na velkém paralelním clusteru spodporou MPI a paralelního HDF5. Dokumentace a analýza s příklady výsledků je v podobě Jupyter notebooků

Ekonomické parametry

Program inovativním způsobem vytváří řídkou datovou kostku pro kombinované obrázky a spektra z velkých přehlídek oblohy. Kostka je optimalizována na rychlé paralelní zpracovaní a strojové učení. Byl popsán a použit ve dvou recenzovaných článcích.

IČO vlastníka výsledku

68407700

Název vlastníka

Fakulta informačních technologií ČVUT v Praze