смо с дискретным временем

2 Mb.страница4/12Дата конвертации19.11.2012Размер2 Mb.Тип Смотрите также:       4               8.2. Расчет марковской цепи с дискретным временемПусть имеется физическая система ^ S с дискретными состояниями S1, S2, ЂЂЂ Sn и дискретным временем t1, t2, ЂЂЂ , tk, ЂЂЂ (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S1ЂЂЂ S1 ЂЂЂ S2ЂЂЂ S3ЂЂЂ S4ЂЂЂ S1ЂЂЂ ЂЂЂ в моменты t1, t2, t3 ЂЂЂ. Будем обозначать событие, состоящее в том, что после k ЂЂЂ шагов система находится в состоянии Si. При любом k события образуют полную группу и несовместны. СП, происходящий в системе, можно представить как последовательность событий . Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть ЂЂЂ вероятность того, что после k - шагов система находится в состоянии Si. Легко видеть, что ЂЂЂk . Поставим задачу: найти вероятности состояний системы для любого k. Для любого шага (момента времени t1, t2, ЂЂЂ , tk) существуют какие-то вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятности задержки системы в одном состоянии. Будем их называть переходными вероятностями МЦ. Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, в противном случае - неоднородная МЦ. Рассмотрим однородную МЦ. Пусть S= S1, S2, ЂЂЂ Sn. Обозначим переходные вероятности через Pij. Пусть известна матрица . Пользуюсь введенными выше событиями , переходные вероятности можно написать как условные вероятности:. Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P11=1-(P12+P13)). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p1(k),p2(k),ЂЂЂpn(k) ЂЂЂk. Пусть начальное состояние системы Sm, тогда p1(0)=0 p2(0)=0ЂЂЂ pm(0)=1ЂЂЂ pn(0)=0. Первый шаг: p1(1)=Pm1, p2(1)=Pm2,ЂЂЂpm(1)=Pmm,ЂЂЂ ,pn(1)=Pmn. После второго шага по формуле полной вероятности получим: p1(2)=p1(1)P11+p2(1)P21+ЂЂЂpn(1)Pn1, pi(2)=p1(1)P1i+p2(1)P2i+ЂЂЂpn(1)Pni или . Для произвольного шага k получаем: (i=1,2,..n). Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через. Тогда формула для расчета вероятностей состояний приобретает вид: .^ 8.3. Марковские цепи с непрерывным временем. Уравнения КолмогороваНа практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем ЂЂЂ непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={S1,S2,ЂЂЂSn}. Обозначим через pi(t)

Курс лекций по дисциплине «Моделирование»

8.2. Расчет марковской цепи с дискретным временем - Курс лекций по дисциплине «Моделирование»