Úlohy stochastického dynamického programování: teorie a aplikace

Abstract

Názov práce: Úlohy stochastického dynamického programování: teorie a aplikace Autor: Gabriel Lendel Katedra: Katedra pravděpodobnosti a matematické statistiky Vedúci diplomovej práce: Ing. Karel Sladký CSc. e-mail vedúceho: sladky@utia.cas.cz Abstrakt: V predloženej práci študujeme riadené Markovove ret'azce s ohodnotením, ktoré umožňujú modelovat' dynamické systémy, ktorých správanie je čiastočne ná- hodné a čiastočne pod kontrolou. Zaoberáme sa zostavením iteračných postupov, kto- rých cielom je nájst' riadenie systému tak, aby bolo optimálne alebo skoro optimálne vzhl'adom k zvolenému kritériu. Konkrétne v práci skúmame hlavne úlohu nájdenia riadenia, ktoré je optimálne vzhl'adom k celkovému očakávanému diskontovanému výnosu alebo priemernému očakávanému výnosu, či pre diskrétne alebo spojité sys- témy. Študujeme algoritmy iterujúce riadenie (policy iteration) a aproximatívne algo- ritmy iterujúce hodnotu (value iteration). Pre vybrané postupy uvádzame numerickú analýzu konkrétnych problémov. Kl'účové slová: Stochastické dynamické programovanie, riadené Markovove ret'azce s ohodnotením, policy iteration, value iteration

Title: Stochastic Dynamic Programming Problems: Theory and Applications Author: Gabriel Lendel Department: Department of Probability and Mathematical Statistics Supervisor: Ing. Karel Sladký CSc. Supervisor's e-mail address: sladky@utia.cas.cz Abstract: In the present work we study Markov decision processes which provide a mathematical framework for modeling decision-making in situations where outcomes are partly random and partly under the control of a decision maker. We study iterative procedures for finding policy that is optimal or nearly optimal with respect to the selec- ted criteria. Specifically, we mainly examine the task of finding a policy that is optimal with respect to the total expected discounted reward or the average expected reward for discrete or continuous systems. In the work we study policy iteration algorithms and aproximative value iteration algorithms. We give numerical analysis of specific problems. Keywords: Stochastic dynamic programming, Markov decision process, policy ite- ration, value iteration