Míry růstu a optimality v průměru v rizikových markovských rozhodovacích řetězcích
Popis výsledku
V práci je charakterizována třída řízení, která maximalizuje míru růstu i průměrný růst přidruženého ekvivalentu za jistoty v rizikových markovských rozhodovacích řetězcích. Na rozdíl od literatury úloha je řešena metodami stochastického dynamického programování, kde matrice pravděpodobností přechodů jsou nahrazeny obecnými nezápornými maticemi. Využitím blokově trojúhelníkového rozkladu třídy nezáproných matic jsou nalezeny nutné a postačujících podmínky pro nezávislost optimálních hodnot na počátečnímstavu, jakož i rozklad stavového prostoru na třídy s konstatními optimálními hodnotami. Pro modely, kde je míra růstu nezávislá na počátečním stavu, je v zhávěru práce ikázáno, jak lze výše uvedené metody modifikovat při hledání minimální míry růstu nebo odpovídajícího průměrného ekvivalentu za jistoty.
Klíčová slova
risk-sensitive Markov decision chainsaverage optimal policiesoptimal growth rates
Identifikátory výsledku
Kód výsledku v IS VaVaI
Výsledek na webu
—
DOI - Digital Object Identifier
—
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains
Popis výsledku v původním jazyce
In this note we focus attention on characterization of policies maximizing growth rate of expected utility, along with average of the associated certainty equivalent, in risk-sensitive Markov decision chains with finite state and action spaces. In contrast to existing literature, the problem is handled by methods of stochastic dynamic programming on condition that the transition probabilities are replaced by general nonnegative matrices. Using the block-triangular decomposition of a collection of nonnegative matrices we establish necessary and sufficient condition guaranteeing independence of optimal values on starting state along with partition of the state space into subsets with constant optimal values. Finally for models with growth rate independent of the starting state we show how the method work if we minimize growth rate or average of the certainty equivalent.
Název v anglickém jazyce
Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains
Popis výsledku anglicky
In this note we focus attention on characterization of policies maximizing growth rate of expected utility, along with average of the associated certainty equivalent, in risk-sensitive Markov decision chains with finite state and action spaces. In contrast to existing literature, the problem is handled by methods of stochastic dynamic programming on condition that the transition probabilities are replaced by general nonnegative matrices. Using the block-triangular decomposition of a collection of nonnegative matrices we establish necessary and sufficient condition guaranteeing independence of optimal values on starting state along with partition of the state space into subsets with constant optimal values. Finally for models with growth rate independent of the starting state we show how the method work if we minimize growth rate or average of the certainty equivalent.
Klasifikace
Druh
Jx - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)
CEP obor
BC - Teorie a systémy řízení
OECD FORD obor
—
Návaznosti výsledku
Projekt
Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.
Návaznosti
Z - Vyzkumny zamer (s odkazem do CEZ)
Ostatní
Rok uplatnění
2008
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název periodika
Kybernetika
ISSN
0023-5954
e-ISSN
—
Svazek periodika
44
Číslo periodika v rámci svazku
2
Stát vydavatele periodika
CZ - Česká republika
Počet stran výsledku
22
Strana od-do
—
Kód UT WoS článku
000257062200006
EID výsledku v databázi Scopus
—
Základní informace
Druh výsledku
Jx - Nezařazeno - Článek v odborném periodiku (Jimp, Jsc a Jost)
CEP
BC - Teorie a systémy řízení
Rok uplatnění
2008