Perturbations and Error Bounds in Discounted Markov Reward Models

Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985556%3A_____%2F07%3A00083287" target="_blank" >RIV/67985556:_____/07:00083287 - isvavai.cz</a>
Result on the web
—
DOI - Digital Object Identifier
—

Result language
angličtina
Original language name
Perturbations and Error Bounds in Discounted Markov Reward Models
Original language description
This note presents succinct proofs of the basic perturbation formulas for the steady state distributions of finite state discrete-time Markov chains. Perturbation results are then applied to Markov reward chains. For the average reward criterion the respective perturbation formulae follow then immediately. For models with discounting some perturbation formulas are presented and it is shown how the perturbation results for steady state distributions can be employed for obtaining error bounds formulas oftotal discounted rewards.
Czech name
Perturbace a odhady chyb v markovských procesech s ohodnoceními
Czech description
V příspěvku je uvedeno jednoduché odvození základních perturbačních vztahů pro markovské řetězce s diskrétním časem: Tyto vztahy jsou následně použity pro markovské procesy s ohodnoceními. Pro případ kritéria průměrného výnosu perturbační vztahy plynou okamžitě; pro modely s diskontovaním přibližné rovnice dostanememe rozvojem mocnin přechodových matic, přesně vztahy pak transformací diskontovaných modelů na tvar odpovídající modelům s kritériem průměrného výnosu.

Project
Result was created during the realization of more than one project. More information in the Projects tab.
Continuities
Z - Vyzkumny zamer (s odkazem do CEZ)

Publication year
2007
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Article name in the collection
Proceedings 15th International Scientific Conference on Mathematical Method in Economics and Industry
ISBN
978-80-89089-58-1
ISSN
—
e-ISSN
—
Number of pages
8
Pages from-to
158-165
Publisher name
Univerzita P.J. Šafárika v Košicích
Place of publication
Košice
Event location
Herĺany
Event date
Jun 3, 2007
Type of event by nationality
WRD - Celosvětová akce
UT code for WoS article
—

Similar results(10)