Efficient handling of lots of simulation data files
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216275%3A25530%2F22%3A39919497" target="_blank" >RIV/00216275:25530/22:39919497 - isvavai.cz</a>
Výsledek na webu
<a href="http://dx.doi.org/10.46354/i3m.2022.emss.043" target="_blank" >http://dx.doi.org/10.46354/i3m.2022.emss.043</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.46354/i3m.2022.emss.043" target="_blank" >10.46354/i3m.2022.emss.043</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Efficient handling of lots of simulation data files
Popis výsledku v původním jazyce
Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared.
Název v anglickém jazyce
Efficient handling of lots of simulation data files
Popis výsledku anglicky
Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Návaznosti výsledku
Projekt
—
Návaznosti
S - Specificky vyzkum na vysokych skolach
Ostatní
Rok uplatnění
2022
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Proceedings of the 34th European Modeling & Simulation Symposium (EMSS 2022)
ISBN
978-88-85741-73-7
ISSN
2724-0029
e-ISSN
2724-0029
Počet stran výsledku
4
Strana od-do
1-4
Název nakladatele
CAL-TEK SRL
Místo vydání
Rende
Místo konání akce
Řím
Datum konání akce
19. 9. 2022
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—