Sensitivity and statistical inference in Markov decision models and collective risk models

Abstract

The first part of this thesis deals with the sensitivity and statistical estimation of the optimal value of a Markov decision model (MDM) in the transition probability function, i.e.\ the family of all transition probabilities. Such models are used for modelling {\color{black}stochastic optimization problems with sequential decision making} which appear in many application areas. Since in practice, the used MDM is most often less complex than the underlying `true' MDM, we first discuss the impact of a reduction of the model complexity in the transition probability function on the optimal value of the MDM, i.e.\ the solution of the underlying stochastic control problem. Besides a statement on the continuity of the optimal value regarded as a real-valued functional on a set of transition probability functions, we will in particular introduce a sort of derivative of this functional which can be used to measure the (first-order) sensitivity of the optimal value w.r.t.\ deviations in the transition probability function. In addition, we perform a statistical analysis of the optimal value of a MDM where the underlying transition probability function is unknown, a situation that often occurs in practice. By limiting ourselves to a simple MDM in which the transition probability function is generated only by a single distribution function, we show that the optimal value construed as a real-valued functional defined on a set of distribution functions is continuous and functionally differentiable in a certain sense. By means of these regularity properties, we discuss the asymptotics of suitable estimators for the optimal value of the MDM in nonparametric and parametric statistical models. Our theoretical findings in the first part of this thesis are illustrated by means of optimization problems in inventory control and mathematical finance. The second part of this thesis is devoted to the nonparametric estimation of risk measures of collective risks in a non-homogeneous individual risk model in connection with the determination of appropriate insurance premiums. We present two nonparametric candidates for the estimator of the exact insurance individual premium and show several asymptotic properties for the estimated premiums, such as strong consistency, asymptotic normality, and qualitative robustness, that are applicable in `large' insurance collectives.

Der erste Teil dieser Arbeit befasst sich mit der Sensitivität und statistischen Schätzung des optimalen Wertes eines Markov Entscheidungsmodells (MEMs) in der Übergangswahrscheinlichkeitsfunktion, d. h. der Familie aller Übergangswahrscheinlichkeiten. Solche Modelle werden zur Modellierung von stochastischen Optimierungsproblemen mit sequentieller Entscheidungsfindung verwendet, die in vielen Anwendungsbereichen auftreten. Da das verwendete MEM in der Praxis meist weniger komplex ist als das zugrundeliegende "wahre" MEM, diskutieren wir zunächst den Einfluss einer Reduktion der Modellkomplexität in der Übergangswahrscheinlichkeitsfunktion auf den optimalen Wert des MEM, d.h. der Lösung des zugrundeliegenden stochastischen Kontrollproblems. Neben einer Aussage über die Stetigkeit des optimalen Wertes, aufgefasst als ein reellwertiges Funktional definiert auf einer Menge von Übergangswahrscheinlichkeitsfunktionen, werden wir insbesondere eine Art Ableitung dieses Funktionals vorstellen, die zur Messung der Sensitivität (ersten Ordnung) des optimalen Wertes bezüglich Abweichungen in der Übergangswahrscheinlichkeitsfunktion verwendet werden kann. Darüber hinaus führen wir eine statistische Untersuchung des optimalen Wertes eines MEMs durch, bei dem die zugrundeliegende Übergangswahrscheinlichkeitsfunktion unbekannt ist, eine Situation, die in der Praxis häufig vorkommt. Indem wir uns auf ein einfaches MEMs beschränken, in welchem die Übergangswahrscheinlichkeitsfunktion nur durch eine einzelne Verteilungsfunktion erzeugt wird, zeigen wir, dass der optimale Wert, welcher als ein Funktional auf einer Menge von Verteilungsfunktionen betrachtet wird, stetig und funktional differenzierbar in einem gewissen Sinn ist. Mit Hilfe dieser Regularitätseigenschaften diskutieren wir in nichtparametrischen und parametrischen statistischen Modellen die Asymptotiken geeigneter Schätzer für den optimalen Wert des MEM. Unsere theoretischen Erkenntnisse im ersten Teil dieser Arbeit werden anhand von Optimierungsproblemen in der Lagerbestandskontrolle und der Finanzmathematik veranschaulicht. Der zweite Teil dieser Arbeit widmet sich der nichtparametrischen Schätzung von Risikomaßen kollektiver Risiken in einem individuellen Risikomodell im Zusammenhang mit der Bestimmung geeigneter Versicherungsprämien. Wir stellen zwei nichtparametrische Kandidaten für den Schätzer der exakten individuellen Versicherungs -prämie vor und zeigen für die geschätzten Prämien mehrere asymptotische Eigenschaften wie starke Konsistenz, asymptotische Normalität und qualitative Robustheit, welche in "großen" Versicherungskollektiven anwendbar sind.