Semi-Markow-Prozess

Ein Semi-Markow-Prozess (SMP), auch bekannt als Markow-Erneuerungsprozess, ist eine Verallgemeinerung eines Markow-Prozesses. Im Unterschied zu einem Markow-Prozess, dessen Zustandsänderungen in gleichen Zeitabständen erfolgen, wird hierbei die Verweildauer in einem Zustand durch einen weiteren stochastischen Prozess gegeben.

Definition

In der Theorie der stochastischen Prozesse ist ein Semi-Markow-Prozess $Z$ gegeben durch ein Paar von Prozessen $Z=(X,Y)$. Dabei ist $X$ eine Markow-Kette mit Zustandsraum $S$ und Übergangsmatrix $P$ (sog. steuernde Kette). $Y$ ist ein Prozess, für den $Y(n)$ nur von $r=X(n-1)$ und $s=X(n)$ abhängt. Die Verteilungsfunktion ist dabei durch $F_{rs}$ gegeben.

Der Semi-Markow-Prozess $Z$ ist dann derjenige Prozess, dessen Zustand zum Zeitpunkt $n$ aus $S$ entsprechend $X(n)$ bestimmt ist. Die Verweildauer von $X(n-1)$ bis $X(n)$ ist dann gegeben durch $Y(n)$.

Eigenschaften

Da die Eigenschaften von $Y$ abhängig sind sowohl vom aktuellen Zustand $X(n-1)$ als auch vom Folgezustand $X(n)$ ist die Markow-Eigenschaft im Allgemeinen nicht erfüllt. Dennoch ist der Prozess $W(n)=(X(n),Y(n))$ ein Markow-Prozess. Dies erklärt auch den Namen Semi-Markow-Prozess.

Anwendungen

Systeme beispielsweise in der Warteschlangentheorie weisen Eigenschaften auf, die mit einfachen Markow-Prozessen nicht immer abgebildet werden können. Als Beispiel sei hier die Autokorrelation genannt. Um dies zu erreichen, werden oft Semi-Markow-Prozesse zur Modellierung der Ankunftsraten eingesetzt.