Trading Performance for Stability in Markov Decision Processes

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F13%3A00066541" target="_blank" >RIV/00216224:14330/13:00066541 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1109/LICS.2013.39" target="_blank" >http://dx.doi.org/10.1109/LICS.2013.39</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1109/LICS.2013.39" target="_blank" >10.1109/LICS.2013.39</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Trading Performance for Stability in Markov Decision Processes

Popis výsledku v původním jazyce

We study the complexity of central controller synthesis problems for finite-state Markov decision processes, where the objective is to optimize both the expected mean-payoff performance of the system and its stability. We argue that the basic theoreticalnotion of expressing the stability in terms of the variance of the mean-payoff (called global variance in our paper) is not always sufficient, since it ignores possible instabilities on respective runs. For this reason we propose alernative definitionsof stability, which we call local and hybrid variance, and which express how rewards on each run deviate from the run's own mean-payoff and from the expected mean-payoff, respectively.

Název v anglickém jazyce

Trading Performance for Stability in Markov Decision Processes

Popis výsledku anglicky

We study the complexity of central controller synthesis problems for finite-state Markov decision processes, where the objective is to optimize both the expected mean-payoff performance of the system and its stability. We argue that the basic theoreticalnotion of expressing the stability in terms of the variance of the mean-payoff (called global variance in our paper) is not always sufficient, since it ignores possible instabilities on respective runs. For this reason we propose alernative definitionsof stability, which we call local and hybrid variance, and which express how rewards on each run deviate from the run's own mean-payoff and from the expected mean-payoff, respectively.

Druh

D - Stať ve sborníku

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

<a href="/cs/project/GPP202%2F12%2FP612" target="_blank" >GPP202/12/P612: Formální verifikace stochastických systémů s reálným časem</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2013

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of 28th Annual ACM/IEEE Symposium on Logic in Computer Science (LICS 2013)

ISBN

9781479904136

ISSN

1043-6871

e-ISSN

—

Počet stran výsledku

10

Strana od-do

331-340

Název nakladatele

IEEE Computer Society

Místo vydání

London

Místo konání akce

New Orleans

Datum konání akce

25. 6. 2013

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

000326815000038