Duet Benchmarking: Improving Measurement Accuracy in the Cloud
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F20%3A10422226" target="_blank" >RIV/00216208:11320/20:10422226 - isvavai.cz</a>
Výsledek na webu
<a href="https://doi.org/10.1145/3358960.3379132" target="_blank" >https://doi.org/10.1145/3358960.3379132</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1145/3358960.3379132" target="_blank" >10.1145/3358960.3379132</a>
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Duet Benchmarking: Improving Measurement Accuracy in the Cloud
Popis výsledku v původním jazyce
We investigate the duet measurement procedure, which helps improve the accuracy of performance comparison experiments conducted on shared machines by executing the measured artifacts in parallel and evaluating their relative performance together, rather than individually. Specifically, we analyze the behavior of the procedure in multiple cloud environments and use experimental evidence to answer multiple research questions concerning the assumption underlying the procedure. We demonstrate improvements in accuracy ranging from 2.3x to 12.5x (5.03x on average) for the tested ScalaBench (and DaCapo) workloads, and from 23.8x to 82.4x (37.4x on average) for the SPEC CPU 2017 workloads.
Název v anglickém jazyce
Duet Benchmarking: Improving Measurement Accuracy in the Cloud
Popis výsledku anglicky
We investigate the duet measurement procedure, which helps improve the accuracy of performance comparison experiments conducted on shared machines by executing the measured artifacts in parallel and evaluating their relative performance together, rather than individually. Specifically, we analyze the behavior of the procedure in multiple cloud environments and use experimental evidence to answer multiple research questions concerning the assumption underlying the procedure. We demonstrate improvements in accuracy ranging from 2.3x to 12.5x (5.03x on average) for the tested ScalaBench (and DaCapo) workloads, and from 23.8x to 82.4x (37.4x on average) for the SPEC CPU 2017 workloads.
Klasifikace
Druh
D - Stať ve sborníku
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Návaznosti výsledku
Projekt
<a href="/cs/project/8A18009" target="_blank" >8A18009: From the cloud to the edge - smart IntegraTion and OPtimization Technologies for highly efficient Image and VIdeo processing Systems</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach<br>I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace
Ostatní
Rok uplatnění
2020
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název statě ve sborníku
Proceedings of the ACM/SPEC International Conference on Performance Engineering
ISBN
978-1-4503-6991-6
ISSN
—
e-ISSN
—
Počet stran výsledku
8
Strana od-do
100-107
Název nakladatele
ACM
Místo vydání
ACM New York
Místo konání akce
Edmonton, Canada
Datum konání akce
20. 4. 2020
Typ akce podle státní příslušnosti
WRD - Celosvětová akce
Kód UT WoS článku
—