Trading performance for stability in Markov decision processes

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14330%2F17%3A00094587" target="_blank" >RIV/00216224:14330/17:00094587 - isvavai.cz</a>

Výsledek na webu

<a href="http://dx.doi.org/10.1016/j.jcss.2016.09.009" target="_blank" >http://dx.doi.org/10.1016/j.jcss.2016.09.009</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1016/j.jcss.2016.09.009" target="_blank" >10.1016/j.jcss.2016.09.009</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Trading performance for stability in Markov decision processes

Popis výsledku v původním jazyce

We study controller synthesis problems for finite-state Markov decision processes, where the objective is to optimize the expected mean-payoff performance and stability (also known as variability in the literature). We argue that the basic notion of expressing the stability using the statistical variance of the mean payoff is sometimes insufficient, and propose an alternative definition. We show that a strategy ensuring both the expected mean payoff and the variance below given bounds requires randomization and memory, under both the above definitions. We then show that the problem of finding such a strategy can be expressed as a set of constraints.

Název v anglickém jazyce

Trading performance for stability in Markov decision processes

Popis výsledku anglicky

We study controller synthesis problems for finite-state Markov decision processes, where the objective is to optimize the expected mean-payoff performance and stability (also known as variability in the literature). We argue that the basic notion of expressing the stability using the statistical variance of the mean payoff is sometimes insufficient, and propose an alternative definition. We show that a strategy ensuring both the expected mean payoff and the variance below given bounds requires randomization and memory, under both the above definitions. We then show that the problem of finding such a strategy can be expressed as a set of constraints.

Druh

J_imp - Článek v periodiku v databázi Web of Science

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GA15-17564S" target="_blank" >GA15-17564S: Teorie her jako prostředek pro formální analýzu a verifikaci počítačových systémů</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2017

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název periodika

Journal of Computer and System Sciences

ISSN

0022-0000

e-ISSN

—

Svazek periodika

84

Číslo periodika v rámci svazku

2017

Stát vydavatele periodika

US - Spojené státy americké

Počet stran výsledku

27

Strana od-do

144-170

Kód UT WoS článku

000388430000011

EID výsledku v databázi Scopus

2-s2.0-84994078050