Zusammenfassung
Dieses Kapitel ist Markov-Ketten gewidmet. Wir führen wichtige Begriffe wie Irreduzibilität, Aperiodizität und Stationarität ein und zeigen, dass eine reversible, homogene Markov-Kette stationär ist. Als ein bekanntes Beispiel einer stationären Markov-Kette betrachten wir den PageRank-Algorithmus. Schließlich wird das Markov-Ketten-Monte-Carlo-Verfahren zur Simulation der stationären Verteilung eingeführt und analysiert.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Author information
Authors and Affiliations
Corresponding author
Übungsaufgaben
Übungsaufgaben
Aufgabe 16.1
(Mischen von Karten) Betrachten Sie einen Stapel Spielkarten bestehend aus n Karten. Ihre Reihenfolge wird repräsentiert durch eine Permutation \(\pi \) der Zahlen \(\{1,2,\ldots , m\}\). Wenn man die Karten mischt, so verändert man ihre Reihenfolge, das heißt, man wendet eine weitere Permutation \(\pi '\) auf die Permutation \(\pi \) an und die Karten haben danach die Reihenfolge \(\pi '\circ \pi \). Bezeichne \(Z_m\) die Menge aller Permutationen von \(\{1,2,\ldots , m\}\).
Starten Sie nun zu einem Zeitpunkt \(t=0\) mit einer gewissen Kartenreihenfolge \(X_0 = \pi _0\in Z_m\). Zum Zeitpunkt \(t > 0\) wählen Sie zufällig eine Permutation \(\pi _t\in Z_m\) mit Wahrscheinlichkeit \(p_{\pi _t}\) und mischen die Karten mittels \(\pi _t\), also \(X_{t+1} = \pi _t\circ X_t\).
-
a)
Geben Sie die Übergangswahrscheinlichkeiten \(p_{\pi ,\pi ^\prime }\) für \(\pi ,\pi ^\prime \in Z_m\) an.
-
b)
Geben Sie zwei Beispiele für die Verteilung \(\{p_\pi \}_{\pi \in Z_m}\) derart an, dass die Markov-Kette \(\{X_t\}\) irreduzibel beziehungsweise reduzibel ist.
-
c)
Zeigen Sie, dass die Übergangsmatrix doppelt stochastisch ist, das heißt, dass sowohl die Zeilensummen als auch die Spaltensummen jeweils Eins ergeben, symbolisch
$$ \sum _{\pi ^\prime \in Z_m} p_{\pi ,\pi ^\prime } = \sum _{\pi ^\prime \in Z_m} p_{\pi ^\prime ,\pi } = 1 \quad {\text {f}}{\ddot{\text {u}}}{\text {r alle}}\ \pi \in Z_m. $$ -
d)
Zeigen Sie, dass die Gleichverteilung auf \(Z_m\) eine stationäre Verteilung für die Markov-Kette ist. Mit anderen Worten, die Wahrscheinlichkeitsverteilung \({\mu } = [\mu _\pi ]_{\pi \in Z_m}\) mit \(\mu _\pi = 1/m!\) für alle \(\pi \in Z_m\) ist stationär.
Aufgabe 16.2
(Computerausstattung) Der Sollstand an Computern in einem Großraumbüro sei \(n\in \mathbb {N}^*\). Am Anfang der Woche t seien \(X_t\in \{0,1,\ldots ,n\}\) Computer intakt. Während dieser Woche fallen davon \(Y_t\) Computer aus. Montags wird die Differenz zum Soll nachbestellt, wobei die Computer erst am Sonntag geliefert werden. In der ersten Woche seien \(X_0\) Computer vorhanden.
-
a)
Zeigen Sie die Rekursionsformel
$$ X_{t+1} = n - Y_t,\quad t=0,1,2,\ldots . $$ -
b)
Die Zufallsvariablen \(\{Y_t\}\) seien jeweils gleichverteilt, das heißt
$$ \mathbb {P}(\{Y_t=k\}|\{X_t=\ell \}) = \frac{1}{\ell +1},\quad k\in \{0,1,\ldots ,\ell \}. $$Betrachten Sie die Zufallsvariablen \(\{X_t\}\) als Markov-Kette mit Zustandsraum \(Z\mathrel {\mathrel {\mathop :}=}\{0,1,\ldots ,n\}\). Bestimmen Sie die Übergangswahrscheinlichkeit
$$ \mathbb {P}(\{X_{t+1}=k\}|\{X_t=\ell \}) $$und erstellen Sie die Übergangsmatrix.
-
c)
Bestimmen Sie die stationäre Verteilung \(\boldsymbol{\pi }\).
-
d)
Berechnen Sie den Erwartungswert der Verteilung \(\boldsymbol{\pi }\) im Fall \(n=5\).
Aufgabe 16.3
(zufällige Irrfahrt) Vorgelegt sei folgender ungerichtete Graph:
Die Markov-Kette \(\{X_t\}\) modelliere die zufällige Irrfahrt auf diesem Graphen. Dies bedeutet, falls wir zum Zeitpunkt \(t\in \mathbb {N}\) in einem Knoten \(x_i\in V\) sind, dann gehen wir gleichverteilt zu einem der Nachbarknoten.
-
a)
Bestimmen Sie die Übergangsmatrix \({{\boldsymbol{P}}}\in \mathbb {R}^{8\times 8}\).
-
b)
Zeigen Sie, dass die Verteilung
$$ {\pi } = \frac{1}{d}\big [\deg (x_1),\deg (x_2),\ldots ,\deg (x_n)\big ]^\intercal $$stationär ist, wobei \(d\mathrel {\mathrel {\mathop :}=}\sum _{i=1}^n \deg (x_1)\).
Rights and permissions
Copyright information
© 2022 Der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE , ein Teil von Springer Nature
About this chapter
Cite this chapter
Harbrecht, H., Multerer, M. (2022). Markov-Ketten. In: Algorithmische Mathematik. Springer Spektrum, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-41952-2_16
Download citation
DOI: https://doi.org/10.1007/978-3-642-41952-2_16
Published:
Publisher Name: Springer Spektrum, Berlin, Heidelberg
Print ISBN: 978-3-642-41951-5
Online ISBN: 978-3-642-41952-2
eBook Packages: Life Science and Basic Disciplines (German Language)