Dosažitelný stav
Definice
Nechť je homogenní Markovův řetězec s diskrétním časem. O stavu se říká , že je dosažitelný ze státu , pokud takový
existuje




.
píšou .

Komunikující státy
- Stavy a jsou nazývány komunikující if a . Píšeme: .





- Komunikační vlastnost generuje na stavovém prostoru vztah ekvivalence . Vygenerované třídy ekvivalence se nazývají nerozložitelné třídy . Pokud je Markovův řetězec takový, že jeho stavy tvoří pouze jednu nerozložitelnou třídu, pak se nazývá nerozložitelný .
- Stavy patřící do stejné nerozložitelné třídy jsou buď všechny rekurentní , nebo všechny nerekurentní. Nerozložitelná třída jako celek je tedy buď opakující se, nebo neopakující se. Konečně, neredukovatelný Markovův řetězec je buď zcela rekurentní, nebo zcela nevratný.
Příklady
- Nechť je třístavový Markovův řetězec a jeho matice pravděpodobnosti přechodu má tvar


Stavy tohoto řetězce tvoří dvě nerozložitelné třídy: a . Zejména , ale také .





- Markovův řetězec definovaný maticí pravděpodobností přechodu

,
nerozložitelný.