Dosažitelný stav

Definice

Nechť je homogenní Markovův řetězec s diskrétním časem. O stavu se říká , že je dosažitelný ze státu , pokud takový existuje $\{X_{n}\}_{n\in \mathbb {N} }$ $j$ $i$ $n=n(i,j)$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

píšou . $i\rightarrow j$

Komunikující státy

Stavy a jsou nazývány komunikující if a . Píšeme: . $i$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i šipka doleva doprava j$
Komunikační vlastnost generuje na stavovém prostoru vztah ekvivalence . Vygenerované třídy ekvivalence se nazývají nerozložitelné třídy . Pokud je Markovův řetězec takový, že jeho stavy tvoří pouze jednu nerozložitelnou třídu, pak se nazývá nerozložitelný .
Stavy patřící do stejné nerozložitelné třídy jsou buď všechny rekurentní , nebo všechny nerekurentní. Nerozložitelná třída jako celek je tedy buď opakující se, nebo neopakující se. Konečně, neredukovatelný Markovův řetězec je buď zcela rekurentní, nebo zcela nevratný.

Příklady

Nechť je třístavový Markovův řetězec a jeho matice pravděpodobnosti přechodu má tvar ${\displaystyle \{X_{n}\}_{n\geq 0))$ $\{1,2,3\}$

P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).

Stavy tohoto řetězce tvoří dvě nerozložitelné třídy: a . Zejména , ale také . $\{1,2\}$ $\{3\}$ $1\leftrightarrow 2$ $1\ne \rightarrow 3$ $3\ne \rightarrow 1$

Markovův řetězec definovaný maticí pravděpodobností přechodu

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)

nerozložitelný.

Klasifikace stavů a Markovových řetězců
Stát	aperiodický vratné dosažitelný neodvolatelný bezvýznamný nula periodické pozitivní komunikující významný
Řetěz	aperiodický vratné neodvolatelný nerozložitelný nula časopis pozitivní rozložitelný ergodický