Система S может находиться в 4-х состояниях. В системе протекает марковский процесс с дискретным

Система S может находиться в 4-х состояниях. В системе протекает марковский процесс с дискретным временем. Размеченный граф состояний этой системы: В начальный момент времени система находится во 2-м состоянии. Найти вероятности состояний на 3-м шаге. Проверить, является ли марковская цепь регулярной. Найти предельные вероятности состояний, если они существуют.

Запишем матрицу переходных вероятностей за один шаг (значения диагональных элементов находим из условия нормировки jpi,j=1):
P=0,10,30,30,30,90,10000,600,4000,70,3
Последовательно найдем матрицу переходных вероятностей за два и три шага соответственно:
P2=0,10,30,30,30,90,10000,600,4000,70,3∙0,10,30,30,30,90,10000,600,4000,70,3=
=0,280,240,240,240,180,280,270,270,540,060,280,1200,420,210,37
P3=0,280,240,240,240,180,280,270,270,540,060,280,1200,420,210,37∙0,10,30,30,30,90,10000,600,4000,70,3=
=0,2440,2520,2520,2520,2700,2440,2430,2430,1080,3360,2460,3100,3780,1680,2590,195
Как видим, уже в матрице P3 нет нулевых элементов, т.е . любое состояние системы достижимо из любого другого, т.е. марковская цепь является регулярной.
Поскольку в начальный момент времени система находится во 2-м состоянии, то распределение вероятностей состояний на 3-м шаге соответствуют второй строке матрицы P3, т.е.:
P3=0,270;0,244;0,243;0,243
Находим предельные вероятности состояний из соответствующей системы уравнений (коэффициенты в правой части системы – транспонированная матрица вероятностей переходов), дополненной нормировочным уравнением:
P1=0,1P1+0,9P2P2=0,3P1+0,1P2+0,6P3P3=0,3P1+0,7P4P4=0,3P1+0,4P3+0,3P4P1+P2+P3+P4=1
Тогда из первого уравнения:
P2=P1
Подставляя последовательно во второе и третье уравнения соответственно:
P1=0,3P1+0,1P1+0,6P3 P3=P1
P1=0,3P1+0,7P4 P4=P1
Получили, что все предельные вероятности равны между собой, тогда предельные вероятности равняются:
P1=P2=P3=P4=14

. любое состояние системы достижимо из любого другого, т.е. марковская цепь является регулярной.
Поскольку в начальный момент времени система находится во 2-м состоянии, то распределение вероятностей состояний на 3-м шаге соответствуют второй строке матрицы P3, т.е.:
P3=0,270;0,244;0,243;0,243
Находим предельные вероятности состояний из соответствующей системы уравнений (коэффициенты в правой части системы – транспонированная матрица вероятностей переходов), дополненной нормировочным уравнением:
P1=0,1P1+0,9P2P2=0,3P1+0,1P2+0,6P3P3=0,3P1+0,7P4P4=0,3P1+0,4P3+0,3P4P1+P2+P3+P4=1
Тогда из первого уравнения:
P2=P1
Подставляя последовательно во второе и третье уравнения соответственно:
P1=0,3P1+0,1P1+0,6P3 P3=P1
P1=0,3P1+0,7P4 P4=P1
Получили, что все предельные вероятности равны между собой, тогда предельные вероятности равняются:
P1=P2=P3=P4=14