Denumerable Markov Decision Chains: Sensitive Optimality Criteria

Summary

Assuming compact metric action spaces and the usual continuity properties of the immediate costs and of the transition probabilities we regard the existence of average and/or sensitive optimal stationary policies. We generalize results from the unichain case to the multichain case. It appears that the simultaneous Doeblin condition is not sufficient. However, the continuity of the ergodic potential guarantees not only average but also bias and Blackwell optimality. Relations between these conditions and uniform strong ergodicity are discussed. An extension is also made to the unbounded costs case.

Zusammenfassung

Für Markoffsche Entscheidungsprozesse mit abzählbarem Zustandsraum und kompaktem metrischen Aktionenraum betrachten wir unter den üblichen Stetigkeitsannahmen für die einstufigen Kosten und die Obergangswahrscheinlichkeiten die Existenz von durchschnitts- und/oder sensitiv optimalen stationären Strategien. Wir verallgemeinern Ergebnisse vom Fall einer ergodischen Klasse auf den Fall mehrerer ergodischer Klassen. Es zeigt sich, daß die simultane Doeblin-Bedingung nicht hinreichend ist. Doch die Stetigkeit des ergodischen Potentials garantiert nicht nur Durchschnittsoptimalität, sondern auch Bias- und Blackwell-Optimalität. Beziehungen zwischen diesen Bedingungen und gleichmäßiger starker Ergodizität werden diskutiert. Auch wird eine Erweiterung auf den Fall unbeschränkter Kosten gegeben.