Monotonicity in Markov models

Spel, Jip Josephine; Petrov, Tatjana; Katoen, Joost-Pieter

doi:HT030626337

Monotonicity in Markov models

Spel, Jip Josephine^RWTH*

2023 & 2024

Verantwortlichkeitsangabevorgelegt von Jip Spel, M.Sc.

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2024

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Katoen, Joost-Pieter (Thesis advisor)^RWTH* ; Petrov, Tatjana (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2023-07-07

Online
DOI: 10.18154/RWTH-2023-11664
URL: https://publications.rwth-aachen.de/record/974903/files/974903.pdf

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
In vielen Systemen treten Formen von Wahrscheinlichkeiten auf, unter anderem in Kommunikationsprotokollen, Zufallsprotokollen und biologischen Systemen vor. Solche Systeme können wir als Markow-Modelle modellieren, und anhand einer Spezifikation in (einer probabilistischen Erweiterung der) lineare temporalen Logik (LTL) oder baumbasierten temporalen Logik (CTL) verifizieren. Das Ziel ist die Berechnung der Wahrscheinlichkeit oder der erwarteten Gesamtkosten für das Erreichen eines der Teilzuständen. Die Wahrscheinlichkeiten in einem Markow-Modell werden oft als ein exakter Wert angegeben. In der Praxis sind diese Wahrscheinlichkeiten jedoch nicht genau bekannt, sondern liegen in einem Intervall. Außerdem können diese Wahrscheinlichkeiten von anderen Wahrscheinlichkeiten abhängen. Deshalb konzentrieren wir uns auf parametrische Markow-Modelle, in denen die Wahrscheinlichkeiten symbolisch durch Parameter in rationalen Funktionen dargestellt werden. In dieser Arbeit konzentrieren wir uns auf parametrische Markow-Ketten (pMCs) und parametrische Markow-Entscheidungsprozesse (pMDPs). Beide Arten von Markow-Modellen haben eine endliche Menge von Zuständen, von denen einer den Ausgangszustand darstellt, und einer oder mehrere Zielzustände sind. Die Übergänge zwischen den Zuständen werden mit einer parametrischen Wahrscheinlichkeitsfunktion gekennzeichnet. Bei pMCs ist diese Funktion für alle Zustände deterministisch; bei pMDPs kann diese Funktion auch für einige Zustände nicht-deterministisch sein. Eines der Probleme, das wir in dieser Arbeit analysieren, ist das sogenannte 𝜀- optimale Syntheseproblem. Hier besteht das Ziel darin, einen Wert für die Parameter zu finden, sodass die erwartete Gesamtbelohnung für diese Werte so nah wie möglich am unbekannten Optimum ist. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, die rationale Funktion zu berechnen, indem man die Zustände im Modell eliminiert. Diese Funktion ist jedoch exponentiell zur Anzahl der Variablen, wodurch dieser Ansatz für Modelle mit mehr als zwei Parametern nicht praktikabel ist. Ein anderer Ansatz ist das sogenannte Parameter-Lifting. Dabei handelt es sich um eine Abstraktionstechnik, bei der jeder Parameter durch eine nicht-deterministische Wahl zwischen den Extremwerten für den Parameter ersetzt wird. Auf dieser Weise erhalten wir eine untere und obere Grenze für die erwartete Gesamtkosten des Modells für einen gegebenen Parameterbereich. Wenn wir nun solche Parameterwerte finden, sodass die erwartete Gesamtkosten höchstens 𝜀 von einem solchen Grenzwert entfernt ist, haben wir eine Lösung für das 𝜀-optimale Syntheseproblem gefunden. Andernfalls müssen wir die Parameterregion aufteilen und die Grenzen für jede Teilregion berechnen. Ein Nachteil dieses Ansatzes ist, dass wir eine exponentielle Anzahl von Teilregionen erhalten können. In dieser Arbeit führen wir die Monotonie von parametrischen Markow-Modellen ein und definieren sie. In vielen Systemen sehen wir, dass, wenn wir die Wahrscheinlichkeit eines Parameters erhöhen, auch die erwartete Gesamtkosten steigt. Wir nutzen diese Eigenschaft, um das Problem der 𝜀-optimalen Synthese anzugehen und so die Parametersynthese zu verbessern. Zunächst definieren wir die Monotonie für pMCs und zeigen, wie man sie mit Hilfe einer partiellen Ordnung auf den Zuständen berechnen kann. Als nächstes erweitern wir diesen Ansatz auf pMDPs. Anhand einer Implementierung im Model Checker Storm zeigen wir, dass unser Ansatz automatisch Monotonie für pMCs und pMDPs berechnen kann, ohne dass zuvor die rationale Funktion berechnet werden muss. Außerdem kombinieren wir Parameter-Lifting und Monotonie für pMCs und zeigen anhand von Experimenten, dass wir das 𝜀-optimale Syntheseproblem mit Hilfe dieses kombinierten Ansatzes schneller lösen können. Ein weiteres Problem, mit dem wir uns in dieser Arbeit befassen, ist das Erfüllungs- problem (feasiblity) für parametrische Markow-Modelle. Dabei suchen wir Parameter- werte mit denen wir das Ziel mit mindestens einer bestimmten Wahrscheinlichkeit (oder erwarteten Gesamtkosten) erreichen. Wir verwenden verschiedene Gradienten- methode aus der Literatur und zeigen, wie man das Erfüllungsproblem mit diesen Methoden lösen kann. Wir analysieren mehrere klassische und adaptive Methoden und vergleichen sie mit den existierenden Methoden Partikelschwarmoptimierung (PSO), quadratisch eingeschränkten quadratischen Programmen (QCQP) und sequentieller konvexer Programmierung (SCP). Die verschiedene Gradientenmethode sind in Storm implementier. Die beste Gradientenmethode skaliert auf wesentlich größere pMCs als zuvor und übertrifft empirisch PSO und QCQP, oft um mindestens eine Größenordnung. Im Vergleich zu SCP schneidet die resultierende Methode ähnlich gut ab. Zum Schluss konzentrieren wir uns auf eine parametrische Erweiterung von probabilistischen Zeitautomaten (PTA). Diese PTA kombinieren die zeitlichen Aspekte von zeitgesteuerten Automaten (TA) mit MDPs. PTAs werden z.B. zur Analyse von Kommunikationsprotokollen und Netzwerksystemen verwendet. Wie bei anderen Markow-Modellen auch, wird vorausgesetzt, dass die Wahrscheinlichkeiten im PTA vorgegeben sind. Wir erweitern PTAs zu parametrischen PTAs, sodass die Wahrscheinlichkeiten in einem bestimmten Intervall liegen und voneinander abhängig sein können. Die Semantik eines pPTA ist ein unendlicher pMDP. Wir analysieren einige bestehende Techniken für PTA und verwenden sie, um einen endlichen pMDP aus einem pPTA zu extrahieren. Diese Funktion ist im Modest Toolset tool implementiert. Um zum Beispiel die Monotonie in einem pPTA zu bestimmen, können wir nun das zugrundeliegende pMDP mit den in dieser Arbeit vorgestellten Techniken analysieren.

Many systems exhibit probabilistic behavior, such as randomized protocols, communication protocols, or biological systems. Probabilistic model checking is a common way to analyze these type of systems. We often model these systems as Markov models and check them against a specification typically given in a probabilistic extension of LTL or CTL. One of the main goals is to analyze the probability to reach or the expected total reward upon reaching a set of target states. When checking for these properties, we assume probabilities to be fixed constants. In practice, however, these probabilities are often not fixed but bounded to a given interval. Moreover, these probabilities can be dependent on other probabilities. Therefore, we consider parametric Markov models, in which the probabilities are given symbolically by rational functions over parameters. We focus on parametric Markov chains (pMCs) and parametric Markov decision processes (pMDPs). Both models have a finite set of states, of which one is the initial state, and one or more are the target states. The transitions are given by a parametric transition function. PMCs have a deterministic transition function, whereas for pMDPs the transition function might be non-deterministic. One problem addressed when analyzing parametric Markov models is the almost- optimal synthesis problem, i.e., finding a parameter instantiation such that the expected total reward is 𝜀-close to the real unknown optimal expected total reward. This para- meter instantiation must lay within a given region, which is a subset of the parameter space. A common technique to tackle this almost-optimal synthesis problem is by checking rational functions obtained by state elimination. These functions are known to be exponential in the number of parameters and become infeasible for more than two parameters. Parameter lifting is an approach which uses an abstraction technique to overcome this problem. It replaces parameter values with a non-deterministic choice over the extremal values. This gives lower and upper bounds on the probabilities or the expected total reward of a region in the parameter space. We now pick a parameter instantiation and check the value of the solution function at this instantiation. If the found solution is 𝜀-close to such a bound, we have found a solution to the almost- optimal synthesis problem, otherwise, the region has to be split. The drawback of parameter lifting is an exponential blow-up in the regions we need to check, due to this region splitting, making it only feasible for a handful of parameters. In this dissertation, we introduce and define the monotonicity of parametric Markov models. We observe that many systems are monotonic in one or more parameters, e.g., if we increase the probability of a parameter, the expected total reward also increases. We use this property to deal with the almost-optimal synthesis problem and improve parameter lifting with this. In order to do so, we, first of all, define monotonicity on pMCs, and show how it can be computed by using a partial order on the states. We then lift this approach to pMDPs. We implement the monotonicity checking for pMCs and pMDPs in the model checker Storm and experimentally show that our approach can automatically detect monotonicity. Furthermore, we explain our novel algorithmic approach in which we combine monotonicity checking and parameter lifting for pMCs, and experimentally show that we significantly improve the time to determine almost-optimal synthesis. Another problem we deal with is the feasibility problem for parametric Markov models, i.e., finding parameter instantiations that reach the target with at least a given probability (or expected total reward). Techniques tackling the feasibility problem include particle swarm optimization (PSO), quadratically-constrained quadratic pro- gram (QCQP), and sequential convex programming (SCP). We consider the well-known gradient descent method to deal with the feasibility problem. This approach is suitable for pMCs as, first of all, analyzing the gradient of the rational function of a pMC can be done efficiently, without calculating the entire function. Secondly, in pMCs, many parameters may occur and gradient-based search methods scale to models with a large number of parameters. We deal with several classical and adaptive gradient-based methods and compare them to the state-of-the-art methods PSO, QCQP, and SCP. The resulting method, as implemented in Storm, scales to significantly larger pMCs than before and empirically outperforms PSO and QCQP, often by at least one order of magnitude. Furthermore, it performs akin to SCP. Finally, we focus on parametric probabilistic timed automata (pPTA). Probabilistic timed automata (PTA) combine the features of timed automata with those of MDPs. They are often used to analyze communication protocols and networked systems. As for other Markov models, they assume probabilities to be known. We extend PTAs to pPTAs, such that the probabilities can be unknown. Furthermore, we show that some techniques to reduce PTAs to MDPs also work for pPTAs. An implementation of this reduction for pPTAs is available in the Modest Toolset. We check for monotonicity in the obtained pMDPs.

OpenAccess:
PDF
(additional files)