Мартовский процесс. Понятие о марковских случайных процессах
В последние годы широкое распространение получили методы статистического анализа, оценивания и оптимального управления стохастическими системами, основанные на использовании результатов теории марковских процессов. В данном разделе рассматривается применение методов теории марковских процессов для статистического анализа линейных и нелинейных стохастических систем.
Уравнение Фоккера - Планка - Колмогорова. В теории марковских процессов получены дифференциальные уравнения в частных производных параболического типа для условной (переходной) и безусловной плотностей распределения вероятностей непрерывного марковского процесса x(t). Применительно к скалярному марковскому процессу x(t) уравнение для плотности , называемое уравнением Фоккера - Планка - Колмогорова (ФПК), имеет вид
Функции а(х, t) и b(x, t) называют соответственно коэффициентами сноса и диффузии марковского процесса x(t).
В многомерном случае уравнение ФПК для векторного марковского процесса x(t), состоящего из п компонент , записывается следующим образом:
где - вектор коэффициентов сноса; -матрица коэффициентов диффузии векторного процесса x(t).
Интегрируя уравнение ФПК при заданном начальном условии , можно определить плотность распределения вероятностей рассматриваемого марковского процесса в последующие моменты времени.
Стохастические дифференциальные уравнения. Среди различных непрерывных марковских процессов в практических задачах особенно большое значение имеют так называемые диффузионные марковские процессы, изменение которых во времени описывается дифференциальными уравнениями вида
где -стандартный белый шум.
Такие уравнения называют стохастическими дифференциальными уравнениями.
Уравнение вида (2.53) можно записать непосредственно для изучаемой динамической системы, если случайное входное воздействие этой системы действительно может быть аппроксимировано стандартным белым шумом. Например, одномерной системе, состоящей из интегрирующего звена 1/p, охваченного нелинейной обратной связью f(x), подверженной воздействию белого шума на входе, соответствует стохастическое дифференциальное уравнение первого порядка
Используя метод формирующих фильтров, к виду (2.53) можно привести уравнения, описывающие поведение систем, подверженных воздействию окрашенных шумов.
Пример. Пусть исследуемая динамическая система описывается передаточной функцией апериодического звена
Внешнее воздействие -случайный процесс со спектральной плотностью
Коэффициент усиления К является гауссовской случайной величиной, характеризуемой параметрами m k и D k .
Чтобы описать эту систему стохастическим дифференциальным уравнением, перепишем соотношение (2.54) в виде дифференциального уравнения в нормальной форме:
Последнее уравнение объединим с уравнением формирующего фильтра для , полученные ранее [см. формулу (2.30")].
и уравнением формирующего фильтра для случайного параметра
В результате получим стохастическое дифференциальное уравнение вида (2.53), описывающее рассматриваемую динамическую систему, в котором векторный случайный процесс x(t), объединяющий в качестве составляющих переменные у, x 1 и К, есть диффузионный марковский процесс. Компоненты вектор-функции f T (x, t) - n в данном случае равны
Белый шум является скалярным случайным процессом, поскольку в; правые части уравнений (2.56) и (2.57) входит одно и то же внешнее случайное воздействие, а
Возникает вопрос, как выражаются коэффициенты сноса а(х, t) и диффузии b(x, t), входящие в уравнение ФПК (2.51) или (2.52),. описывающие изменение плотности р(х, t) распределения вероятностей диффузионного марковского процесса x(t), через f(x, t) и ? В зависимости от ответа на этот вопрос различают стохастические дифференциальные уравнения Ито и Стратоновича_ В уравнении Ито в скалярном случае коэффициенты сноса и диффузии соответственно равны f(x, t) и . Для стохастического дифференциального уравнения Стратоновича эти коэффициенты определяются соотношениями *(* Диментберг М. Ф. Нелинейные стохастические задачи механических колебаний. М.: Наука, 1980. 368 с.)
Конкретный вариант используемой интерпретации стохастического дифференциального уравнения зависит от особенностей анализируемой физической системы.
В рассматриваемом далее в данной главе наиболее широко распространенном случае, когда не зависит от х, флуктуационная поправка к коэффициенту сноса, возникающая при рассмотрении стохастического дифференциального уравнения Стратоновича, обращается в нуль и обе интерпретации приводят к одним и тем же результатам.
Интегрировать аналитически и даже численно уравнение в частных производных параболического типа, каким является уравнение ФПК трудно, особенно в тех случаях, когда размерность вектора х велика. Только в одномерном и в отдельных двумерных случаях удается найти аналитическое решение этого уравнения, соответствующего стохастическому дифференциальному уравнению нелинейной системы. Однако каждое такое решение представляет большой интерес, поскольку оно является наиболее полной характеристикой точности системы, позволяющей оценить точность решений, полученных с помощью приближенных методов - расчета, например, с помощью метода статистической линеаризации.
Рис. 2.1. Нелинейная система первого порядка.
Так, стационарным решением уравнения ФПК, соответствующего нелинейной системе первого порядка, показанной на рис. 2.4, для р(х, ∞)=р ст (х) является выражение
в котором постоянная интегрирования С выбирается из условия нормировки . В случае стационарной линейной системы при f(x). = - х из (2.60) получаем гауссовскую плотность . Если в обратной связи стоит реле с уровнем насыщения А, то
Плотности (2.61) соответствуют и .
Уравнения для моментов диффузионного процесса. Основным применением уравнения ФПК при априорном анализе точности систем является получение с его помощью обыкновенных дифференциальных уравнений для вектора математических ожиданий m x (t) и корреляционной матрицы K x (t) фазового вектора диффузионной марковской системы. Эти уравнения оказываются точными, если стохастическое дифференциальное уравнение (2.53) - линейное, и приближенными в случае нелинейного уравнения (2.53).
Чтобы получить из уравнения ФПК уравнения для и в случае, когда x(t) -скалярный процесс, умножим (2.51) на х и проинтегрируем обе части по этой переменной в бесконечных пределах. Тогда получим
Слева в уравнении (2.62) имеем
а интеграл справа вычисляем, применяя метод интегрирования по частям и учитывая граничные условия . Окончательный результат оказывается следующим:
Уравнение для дисперсии D x получают, умножив левую и правую части (2.51) на и проинтегрировав их по переменной х в бесконечных пределах. В итоге имеем
Соотношениями (2.64) - (2.65) устанавливается связь между производными по времени от m x и D x диффузионного процесса x(t) и его плотностью распределения р(х, t). Из них нельзя найти m x (t) и D x (t), если плотность р(х, t) неизвестна.
Уравнения для моментов в линейной системе. Если коэффициент сноса f(x, t) в правой части стохастического дифференциального уравнения (2.57) - линейный относительно х, т. е. f(x,t)=a(t)x + b(t), то соотношения (2.64) и (2.65) превращаются в уравнения относительно m x и D x , т. е. становятся замкнутыми. Действительно, в этом случае
поэтому для линейной марковской системы первого порядка
Интегрирование уравнений (2.66) и (2.67) при заданных начальных условиях m x (t 0) и D x (t 0) позволяет определить m x (t) и D x (t).
Если рассматриваемая система - стационарная и устойчивая, а искомыми являются m x и D x в установившемся режиме, то эти величины можно найти из алгебраических уравнений
поскольку в установившемся режиме для такой системы и
В многомерном случае уравнения для т х и К х оказываются следующими:
Векторное уравнение (2.69) размерности п совместно с матричным уравнением (2.70) размерности п×п называют корреляционной системой уравнений. Системы (2.69) и (2.70) не зависят друг от друга, поэтому их можно интегрировать раздельно. Учитывая симметричность матрицы К х, Для ее определения достаточно про-янтегрировать п(п+1)/2 уравнений относительно различных ковариационных моментов К х. Начальными условиями для (2.69) и (2.70) являются вектор математических ожиданий m x (t 0) и корреляционная матрица К х (t 0) фазового вектора x(t 0) в начальный момент времени.
Если исследуемая линейная марковская система - стационарная и устойчивая, а искомыми являются т х и К х в установившемся режиме, то их можно найти из систем алгебраических уравнений
Одним из способов решения может служить интегрирование соответствующих им систем дифференциальных уравнений (2.69) и (2.70) при произвольно заданных начальных условиях. Сходимость решения обеспечивается устойчивостью исследуемой динамической системы.
Приближенные уравнения для определения моментов диффузионного процесса в нелинейной системе. Для получения приближенной замкнутой системы уравнений из (2.64) и (2.65) в общем случае нелинейного коэффициента сноса f(x, t) предположим, что плотность р(х, t) распределения вероятностей фазового вектора гауссовская. При р(х, t) =p Г (x, t) интегралы в правых частях соотношений (2.64) и (2.65) можно вычислить. Результирующие функции зависят от m x (t) и D x (t), описывающих p Г (x, t):
Подставив (2.73) и (2.74) в (2.64) и (2.65), получим систему из двух нелинейных обыкновенных дифференциальных уравнений:
Интегрирование этой системы при заданных m x (t 0) и D x (t 0) позволяет найти m x (t) и D x (t), т. е. решить приближенно задачу статистического анализа рассматриваемой нелинейной системы. Для «типовых» нелинейностей f(x) формулы для f 0 (m x , D x) и K(m x , D x) могут быть взяты из таблиц выражений коэффициентов статистической линеаризации.
Пример. Пусть f(x) в (2.53)-релейная характеристика f(x)= -A sign (x).
Для этой нелинейности f (см. пример в разд. 1.1) и
Уравнеиия для m x и D x в такой системе имеют вид
Установившиеся значения и получаем, положив и .
Имеем . Сравнивая приближенное значение с точным, полученным ранее путем решения уравнения ФПК значением, видим, что предположение о гауссовском распределении р(х) в рассматриваемой нелинейной системе с реле в обратной связи приводит к ошибке в дисперсии, равной 22%.
В многомерном случае вектор m x (t) и корреляционную матрицу K x (t) можно найти в результате совместного интегрирования двух систем обыкновенных дифференциальных уравнений
Матричная функция, элементами которой являются частные производные от составляющих вектор-функции по компонентам вектора т х.
Если в состав исследуемой системы входят только линейные звенья и типовые одномерные существенные нелинейности, то корреляционную систему вида (2.76) удобно составить, применяя совместно статистическую линеаризацию нелинейных звеньев и корреляционную систему уравнений (2.69) - (2.70) для статистически линеаризованной системы.
Когда управляемое движение летательного аппарата описывается нелинейными стохастическими дифференциальными уравнениями, правые части которых содержат гладкие многомерные нелинейности, приближенный анализ точности такого движения значительно упрощается по сравнению с непосредственным использованием уравнений (2.76), если пользоваться так называемой квазилинейной корреляционной системой уравнений. При составлении такой системы полное движение исследуемой системы разбивается на два движения: среднее и возмущенное. Для описания среднего движения, характеризующего изменение математических ожиданий составляющих фазового вектора, используются нелинейные уравнения системы при математических ожиданиях (средних значениях) начальных условий и внешних воздействий. Для описания возмущенного движения, характеризующего случайные отклонения составляющих фазового вектора от их средних значений, применяются линеаризованные уравнения, причем в качестве опорных значений при линеаризации берутся математические ожидания фазовых координат в соответствующие моменты времени.
Пример. Рассмотрим задачу баллистического спуска летательного аппарата, т. е. спуска с нулевой подъемной силой, в атмосфере Земли. Продольное движение аппарата описывается нелинейными дифференциальными уравнениями
Требуется оценить рассеивание траекторий аппарата, предполагая случайными переменные V, θ, Н и L в момент t 0 начала спуска; постоянными величины R, С х, S, т и g, а зависимость -показательной вида , где .
Перепишем уравнения движения аппарата в виде векторного уравнения
Представим фазовый вектор х в виде х=т х +Δх, а нелинейную вектор-функцию f(x, t) линеаризуем в окрестности х=т х:
где -матрица 4×4 частных производных вектор-функции f(x, t) по составляющим вектора х, вычисленная при х=т х. Получаем уравнение
из которого в результате усреднения непосредственно находим уравнение для вектора математических ожиданий
по виду совпадающие с (2.77). Вычтя (2.79) из (2.78), получаем линеаризованное уравнение возмущенного движения
на основе которого составляем уравнение для корреляционной матрицы фазового вектора
Совместное интегрирование уравнений (2.80) и (2.81), в совокупности образующих квазилинейную корреляционную систему уравнений, при заданных начальных условиях т х (t 0) и K x (t 0) позволяет определить т х (t) и Kx(t) в последующие моменты времени. Точность решения определяется точностью аппроксимации вектор-функции линеаризованной зависимостью при тех значениях случайных отклонений Δx (t) фазового вектора x(t), которые имеют место в рассматриваемой задаче при заданных статистических характеристиках случайных, начальных условий.
2.6. МЕТОД СТАТИСТИЧЕСКОГО МОДЕЛИРОВАНИЯ (МОНТЕ-КАРЛО)
Метод статистического моделирования - универсальный метод статистического анализа стохастических систем (линейных и нелинейных, стационарных и нестационарных), подверженных воздействию случайных факторов различных типов с произвольными их статистическими свойствами. В литературе данный метод также называют методом статистических испытаний или методом Монте-Карло.
Основу метода статистического моделирования составляет закон больших чисел, заключающийся в том, что результат усреднения, относящийся к случайному фактору (событию, величине, процессу или полю), вычисленный по п его реализациям, при перестает быть случайным и может рассматриваться в качестве оценки соответствующей характеристики рассматриваемого фактора. В частности, в соответствии с теоремой. Бернулли при большом числе опытов (реализаций) частота случайного события приближается к вероятности этого события. Аналогичные теоремы существуют и для статистических характеристик случайных величин, процессов, полей.
Применительно к априорному анализу точности стохастических систем метод статистического моделирования заключается в проведении на ЭВМ статистических экспериментов, имитирующих функционирование исследуемой системы при действии случайных факторов, и в последующей обработке полученных в этих экспериментах результатов с помощью методов математической статистики для определения соответствующих статистических характеристик.
Методика статистического моделирования. Первым этапом подготовки к статистическому моделированию стохастической системы является выбор типа ЭВМ (ЦВМ, АВМ или аналого-цифрового комплекса), на которой целесообразно проводить моделирование. При этом учитываются сложность исследуемой системы, характер и число нелинейностей в ней, скорость протекания процессов в различных частях (звеньях) системы, тип и характеристики действующих на систему случайных возмущений и другие факторы.
Выясняется возможность использования канонических разложений случайных процессов, действующих на исследуемую систему. Если такие разложения известны для всех случайных функций, рассматриваемых в системе, моделирование системы можно заметно упростить, поскольку в этом случае при моделировании требуется получать реализации только случайных величин (начальных условий, параметров системы и коэффициентов канонических разложений).
Более общей и сложной является ситуация, когда в число возмущений системы входят случайные процессы, для которых канонические разложения не известны. В этом случае описывающие исследуемую динамическую систему уравнения сводятся к системе стохастических дифференциальных уравнений в нормальной форме вида
где λ - вектор случайных параметров системы; - векторный белый шум. Вектор начальных условий x(t 0) также может быть случайным.
Некоторые из действующих на систему случайных возмущений могут оказаться не белым шумом. Для таких процессов требуется составить дифференциальные уравнения формирующих фильтров. Эти уравнения при моделировании следует интегрировать совместно с уравнениями системы (2.82).
Далее составляется программа интегрирования на ЦВМ системы (2.82) совместно с уравнениями формирующих фильтров или схема моделирования для АВМ. Характерными элементами программы являются блоки, обеспечивающие получение реализаций случайных факторов, рассматриваемых в системе.
Получение на ЭВМ реализаций случайных величин. При моделировании задачи на АВМ, а иногда и на ЦВМ реализации случайных величин задают с помощью таблиц случайных чисел. Наибольшее распространение получили таблицы случайных чисел, подчиняющихся нормальному (гауссовскому) и равномерному распределениям. Таблица нормально распределенных случайных чисел содержит реализации гауссовской случайной величины соответствующие и .Беря числа из этой таблицы, реализации гауссовской случайной величины с характеристиками и вычисляют по формуле
Таблица равномерно распределенных чисел содержит реализации подчиняющиеся равномерному на интервале распределению вероятностей. Для получения реализаций величины х, распределенной равномерно на интервале числа , взятые из таблицы, преобразуют с помощью соотношения
Основным способом получения реализаций случайных величин на ЦВМ является использование специальных стандартных подпрограмм, называемых датчиками псевдослучайных чисел. При каждом обращении к датчику в нем вычисляется новое случайное число. Расчет проводится с помощью рекуррентной формулы, аргументами которой являются несколько случайных чисел, вычисленных при предыдущих обращениях к данной подпрограмме. При фиксированной начальной (стартовой) совокупности случайных чисел все рекуррентно вычисляемые датчиком последующие числа будут определенными, зависящими от стартовой совокупности, поэтому числа, получаемые с помощью датчика, называют псевдослучайными. Рекуррентная формула, реализованная в датчике, подбирается так, чтобы псевдослучайные числа, получаемые с помощью датчика, обладали требуемыми статистическими свойствами - соответствовали определенной плотности распределения вероятностей р(х), а коэффициент корреляции был равен нулю.
Как правило, в библиотеке стандартных подпрограмм ЦВМ присутствуют два датчика псевдослучайных чисел: равномерно распределенных на интервале и гауссовских с и .
Получение реализаций векторной гауссовской случайной величины затруднений не вызывает, если этот вектор некоррелирован. Реализации отдельных компонент такого вектора можно рассчитывать с помощью датчика гауссовских чисел независимо друг от друга. Если же гауссовский вектор х коррелирован, его реализации получают путем линейного преобразования реализаций некоррелированного гауссовского вектора U той же размерности, формируемого с помощью датчика гауссовских псевдослучайных чисел. У вектора U математическое ожидание - нулевой вектор, а корреляционная матрица - единичная. Матрица линейного преобразования А подбирается так, чтобы результирующая ковариационная матрица К х была равна заданной. При ее определении используется соотношение (1.26).
При из (1.26) получаем следующее уравнение относительно А:
Это уравнение имеет бесчисленное множество решений. Если искать А в виде треугольной матрицы вида
то из (2.83)получим n(n+1)/2 уравнений для элементов этой матрицы, которые можно решить рекуррентно. Результатом являются следующие выражения для элементов матрицы А:
где - элементы заданной корреляционной матрицы .
Пример. Пусть х - двумерный вектор с корреляционной матрицей
Найдем матрицу А, такую, что
где -некоррелированный вектор с .
С помощью соотношений (2.84) находим ац т. е.
В ряде случаев требуется получать реализации случайной величины, распределение которой не является ни равномерным, ни га-уссовским. Наиболее распространенным способом моделирования в данном случае является нелинейное преобразование реализаций, получаемых с помощью датчика равномерно распределенных чисел.
Задача определения нелинейного преобразования y=f(x), связывающего случайные величины х и у с заданными плотностями распределения р(х) и р(у) (плотность р(х) -равномерная), является обратной по отношению к задаче определения распределения нелинейной функции случайной величины, рассмотренной в разд. 1.1. Если распределение р(х) - равномерное, то из соотношения (1.32) имеем , откуда при монотонно возрастающей функции получаем
где F (у) - интегральная функция распределения вероятностей величины у.
Функция является обратной по отношению к искомой функции f(x). Таким образом, определение искомого нелинейного преобразования y = f(x) сводится к нахождению по заданной плотности р(у) интегральной функции F(y) и последующему решению уравнения F (у) =х относительно у.
Пример. Пусть
Тогда в интервале (0, 1) имеем xF(y)=y 2 , откуда ,т. е. .
Иной подход может быть применен в тех случаях, когда требуется получать реализации случайной величины у по имеющейся ее гистограмме или когда распределение р(у) имеет сложную форму, которую целесообразно аппроксимировать ступенчатой зависимостью.
Пусть интервал [у 0 , у п ] практически возможных значений случайной величины у, имеющей распределение р(у), разбит на п участков , в пределах каждого из которых плотность р(у) можно полагать равномерной. Вероятность попадания в каждый интервал
причем . При использовании такой аппроксимации р(у)
реализацию можно определить в результате двукратного обращения к датчику равномерно распределенных псевдослучайных чисел. При первом обращении разыгрывается исход попадания реализации y i в один из интервалов . Для этого вероятностям P l попадания y i в интервалы ставятся в соответствие интервалы значений равномерно распределенных псевдослучайных чисел из общего диапазона . Попаданию случайного числа х i р.р, получаемого в результате обращения к датчику, в интервал ставится в соответствие попадание реализации y i в интервал . При втором обращении к датчику разыгрывается значение реализации y i как случайной величины, распределенной равномерно в интервале .
Моделирование на ЭВМ реализаций случайных процессов. На АВМ реализации случайных процессов получают с помощью генераторов шума. Так называют электронный прибор, электрическое напряжение на выходе которого является случайным процессом с заданными статистическими характеристиками. Генераторы, используемые при статистическом моделировании управляемого движения летательных аппаратов, генерируют шум с равномерной спектральной плотностью в диапазоне инфранизких частот (от до Гц) и с гауссовским одномерным распределением вероятностей. При статистическом моделировании систем, полоса пропускания которых уже, чем , а именно такими, как правило, являются системы управления летательными аппаратами, шум генераторов можно считать белым. Окрашенные шумы, действующие на изучаемую систему, моделируют на АВМ путем пропускания белого шума через соответствующим образом подобранный формирующий фильтр.
На ЦВМ белый шум моделируют, аппроксимируя его приближенно ступенчатым абсолютно случайным процессом x(t). Реализации последнего вычисляются по следующему правилу. Аргумент процесса - время t -изменяется дискретно с шагом Δt. В пределах каждого шага значение реализации задается заново с помощью датчика гауссовских псевдослучайных чисел
где В - постоянный множитель.
На всем интервале значение остается постоянным. Псевдослучайные числа, получаемые при помощи датчика, попарно некоррелированы друг с другом. Следовательно, корреляция между значениями ступенчатого процесса x(t) в различных интервалах и , отсутствует. Поэтому корреляционная функция данного процесса равна
При отношение . Следовательно, при достаточна малой величине интервала процесс x(t) с корреляционной функцией R x (t), определяемой соотношением (2.85), можно рассматривать в качестве приближенной аппроксимации белого шума с интенсивностью . Точность аппроксимации оказывается тем выше, чем меньше интервал .
При численном интегрировании стохастических дифференциальных уравнений (2.82) на ЦВМ величина интервала , используемого при моделировании белого шума , действующего на систему, не может быть задана меньше шага интегрирования . Следовательно, шаг численного интегрирования должен определяться из условия
где - интервал, при котором ступенчатый абсолютно случайный процесс достаточно точно аппроксимирует белый шум; - шаг численного интегрирования, обеспечивающий приемлемую точность вычислений при избранном методе численного интегрирования системы (2.82).
Эксперименты на ЦВМ показывают, что при всех методах численного интегрирования , поэтому для обеспечения аппроксимации белого шума ступенчатым процессом интегрирование системы (2.82) должно вестись с шагом
Среди всех методов численного интегрирования затраты машинного времени на один шаг интегрирования являются наименьшими при интегрировании по методу Эйлера:
Вследствие этого данный метод и следует использовать при статистическом моделировании систем, беря , а коэффициент В рассчитывать по формуле
где - интенсивность белого шума, действующего на систему.
Проведение статистического моделирования и обработка его результатов. Составив программу моделирования исследуемой динамической системы на ЦВМ или набрав схему моделирования на АВМ, с их помощью получают необходимое число реализаций выходных координат исследуемой системы. Обработка результатов^ моделирования может проводиться или при моделировании, или после его завершения с использованием методов математической: статистики . В зависимости от конкретной цели статистического моделирования результатами обработки могут быть оценки математических ожиданий, дисперсий, взаимных корреляционных моментов, корреляционных функций и других статистических характеристик выходных координат системы. Точность оценок будет тем выше, чем большее число реализаций будет статистически обработано. Соотношения для расчета доверительных интервалов и доверительных вероятностей оценок различных параметров в зависимости от числа реализаций, используемых для их получения, приводятся в книгах .
Если исследуемая система и действующие на нее возмущения таковы, что рассматриваемая выходная переменная является эргодическим стационарным процессом, то при моделировании достаточно ограничиться получением одной длинной реализации это» переменной. В иных случаях требуется получать и обрабатывать множество реализаций выходных координат.
МЕТОДЫ ОПРЕДЕЛЕНИЯ ОЦЕНОК СОСТОЯНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
3.1. ЗАДАЧА ОЦЕНИВАНИЯ КАК ЧАСТНЫЙ СЛУЧАЙ СТАТИСТИЧЕСКОГО РЕШЕНИЯ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ
Сформулируем задачу построения оценок. Рассмотрим случайный вектор X, плотность распределения которого имеет известную математическую форму, но содержит некоторое число неизвестных параметров. Задана выборка измеренных значений компонент этого вектора, в дальнейшем называемая вектором измерений У.
Если, например, измерены N раз т компонент n-мерного вектора X, то вектор Y будет включать N×m компонент. Вектор Y также является случайным, так как содержит так называемые ошибки измерения , плотность распределения которых считается известной. Требуется, используя вектор измерения У, получить оценки неизвестных параметров плотности распределения X и определить точность этих оценок.
Важно уметь сравнивать свойства различных оценок одного и того же параметра и, в частности, находить оценки максимальной точности. Точность оценок определяем на основе статистических характеристик отклонений оценок от неизвестных «истинных значений» оцениваемых параметров. Плотность распределения X, характеризуемую истинными значениями оцениваемых параметров, называем «истинной».
Данная постановка задачи определения оценок называется статистической и является в настоящее время наиболее широко распространенной в технических задачах. В то же время существуют и другие постановки задач оценивания, когда нельзя сделать никаких предположений о распределении оцениваемой величины. Подобная ситуация рассматривается отдельно.
Вернемся к статистической задаче оценивания. Введем некоторые определения.
Функцию значений оцениваемой величины, т. е. функцию измерений, в дальнейшем будем называть статистикой. Простейшей статистикой является, таким образом, сам вектор измерений У. Оценка случайного вектора X, полученная на основе измерений У, т. е. (Y), также является статистикой. Если статистика содержит.всю необходимую эмпирическую информацию для построения распределения X, то она называется достаточной.
Если оценка сходится по вероятности к оцениваемой величине X при неограниченном возрастании объема выборки, т. е. размерности вектора У, то она называется состоятельной.
Оценка вектора X -функция случайных аргументов. Поэтому для сравнения оценок между собой и выбора наилучшей необходимо рассматривать статистические характеристики функции потерь, так называемые функции риска.
Таких функций можно построить несколько. Наиболее употребительные функции риска следующие.
1. Средний или априорный риск:
где р(х, у) -плотность совместного распределения вероятностей векторов X и У.
Интегрирование в (3.3) ведется по области всех возможных значений X и У. В дальнейшем в подобных случаях не будем указывать пределов интегрирования; х я у - значения случайных векторов X и У. Записью (у) в (3.3) подчеркивает то обстоятельство, что оценка рассматривается как функция у. Если оценка (у) минимизирует функцию риска (3.3), то она называется оптимальной в смысле среднего риска. Средний риск (3.3) R( ) может быть представлен в виде
, максимизирующая или, что то же самое, , называется оценкой максимума апостериорной вероятности, а сам метод оценивания"- методом максимума апостеориорной вероятности.2. Байесовский риск:
где p(x/Y) -апостериорная плотность вероятностей значений X . при заданном (фиксированном) Y, р(х) -априорная плотность вероятностей вектора X, т. е. существующая до опыта, в котором реализовался какой-то вектор у. Таким образом, байесовский риск в силу структуры формулы Байеса (1.9) зависит не только от оценки, но и от априорной плотности вероятностей р(х), что и отражено в записи . Оценка , минимизирующая функцию риска (3.4), называется оптимальной в байесовском смысле или просто ^байесовской. Доказано , что для функции потерь вида (3.1) байесовская оценка минимизирует одновременно функции риска (3.3) и (3.4). Алгоритмы оценивания, обеспечивающие получение байесовских оценок, принято называть байесовскими.
3. Условный риск:
Эта функция риска характеризует ошибки оценки при заданном (фиксированном) значении оцениваемого вектора X. Между условным и средним риском существует связь:
В (3.5) и (3.6) р(у/Х) и р(х) - соответственно условная плотность вероятностей вектора Y и априорная плотность вероятностей вектора X. На основе плотности вероятностей p(y/X) может быть построена оценка максимума правдоподобия. Это оценка, которая максимизирует так называемую функцию правдоподобия. В качестве функции правдоподобия в простейшем случае может быть выбрана функция р(у/Х), в которую подставлены фактические значения измерений у. Для построения р(у/Х) не обязательно знать вид плотности распределения р(х), т. е. вид априорной плотности вероятностей вектора X. X, X на множестве .
Можно также сказать, что минимаксная оценка является байесовской при априорном распределении X, являющемся наименее благоприятным для задачи оценивания. Поясним последнюю мысль-подробнее.
Байесовский риск может быть определен в том случае, если известен вид априорной плотности вероятностей р(х) вектора X, так как в силу (1.9) условная плотность вероятностей
где р(у) -плотность вероятностей вектора Y.
В том случае, когда плотность вероятностей р(х) не существует, можно условно поставить в соответствие каждому X из некоторое априорное распределение , принадлежащее некоторому классу распределений .
Оказывается, для функции потерь вида (3.1) справедливо равенство :
т. е. минимаксная оценка тождественна байесовской оценке вычисленной для априорного распределения, максимизирующего байесовский риск на . Таким образом устанавливается связь между байесовской и минимаксной оценками.
3.2. БАЙЕСОВСКИЕ АЛГОРИТМЫ ОЦЕНИВАНИЯ
Как показывает практика, сложность реализации алгоритмов оценивания зависит, во-первых, от вида математической модели движения оцениваемой динамической системы и измерений и, во-вторых, от способа проведения измерений, т. е. от того, как поступают измерения, непрерывно или дискретно. Рассмотрим линейные (для линейных моделей), квазилинейные (для линеаризованных моделей) и нелинейные (для нелинейных моделей) байесовские алгоритмы. Как правило, будем полагать, что измерительная информация поступает дискретно и соответствующие алгоритмы имеют рекуррентную форму. Эта форма алгоритма наиболее удобна для реализации на ЭВМ, когда поступающие векторы измерений обрабатываются поочередно. В некоторых случаях удобно обобщить полученные результаты на случай непрерывных измерений.
Марковские процессы были выведены учеными в 1907 году. Ведущие математики того времени развивали эту теорию, некоторые совершенствуют ее до сих пор. Эта система распространяется и в других научных областях. Практические цепи Маркова применяются в различных сферах, где человеку необходимо прибывать в состоянии ожидания. Но, чтобы четко понимать систему, нужно владеть знаниями о терминах и положениях. Главным фактором, который определяет Марковский процесс, считаются случайности. Правда, он не схож с понятием неопределенности. Для него присущи определенные условия и переменные.
Особенности фактора случайности
Это условие подчиняется статической устойчивости, точнее, ее закономерностям, которые не учитываются при неопределенности. В свою очередь, данный критерий позволяет использовать математические методы в теории Марковских процессов, как отмечал ученый, изучавший динамику вероятностей. Созданная им работа касалась непосредственно этих переменных. В свою очередь, изученный и развившийся случайный процесс, имеющий понятия состояния и перехода, а также применяемый в стохастических и математических задачах, при этом дает возможность этим моделям функционировать. Кроме всего прочего, он дает возможность совершенствоваться другим важным прикладным теоретическим и практическим наукам:
- диффузионная теория;
- теория массового обслуживания;
- теория надежности и прочего;
- химия;
- физика;
- механика.
Сущностные особенности не запланированного фактора
Этот Марковский процесс обусловлен случайной функцией, то есть любое значение аргумента считается данной величиной или той, что принимает заранее заготовленный вид. Примерами служат:
- колебания в цепи;
- скорость движения;
- шероховатость поверхности на заданном участке.
Также принято считать, что фактом случайной функции выступает время, то есть происходит индексация. Классификация имеет вид состояния и аргумент. Этот процесс может быть с дискретными, а также непрерывными состояниями или временем. Причем случаи разные: все происходит или в одном, или в другом виде, или одновременно.
Детальный разбор понятия случайности
Построить математическую модель с необходимыми показателями эффективности в явно аналитическом виде было достаточно сложно. В дальнейшем реализовать данную задачу стало возможно, ведь возник Марковский случайный процесс. Разбирая детально это понятие, необходимо вывести некоторую теорему. Марковский процесс - это физическая система, изменившая свое положение и состояние, которые заранее не были запрограммированы. Таким образом, выходит, что в ней протекает случайный процесс. Например: космическая орбита и корабль, который выводится на нее. Результат достигнут лишь благодаря каким-то неточностям и корректировкам, без этого не реализуется заданный режим. Большинству происходящих процессов присущи случайность, неопределенность.
По существу вопроса, практически любой вариант, который можно рассмотреть, будет подвержен этому фактору. Самолет, техническое устройство, столовая, часы - все это подвержено случайным изменениям. Причем данная функция присуща любому происходящему процессу в реальном мире. Однако пока это не касается индивидуально настроенных параметров, происходящие возмущения воспринимаются как детерминированные.
Понятие Марковского случайного процесса
Проектировка какого-либо технического или механического прибора, устройства вынуждает создателя учитывать различные факторы, в частности неопределенности. Вычисление случайных колебаний и возмущений возникает в момент личной заинтересованности, например, при реализации автопилота. Некоторые процессы, изучаемые в науках вроде физики и механики, являются таковыми.
Но обращать на них внимание и проводить скрупулезные исследования следует начинать в тот момент, когда это непосредственно нужно. Марковский случайный процесс имеет следующее определение: характеристика вероятности будущего вида зависит от состояния, в котором он находится в данный момент времени, и не имеет отношения к тому, как выглядела система. Итак, данное понятие указывает на то, что результат можно предсказать, учитывая лишь вероятность и забыв про предысторию.
Подробное токование понятия
В настоящий момент система находится в определенном состоянии, она переходит и меняется, предсказать, что будет дальше, по сути, невозможно. Но, учитывая вероятность, можно сказать, что процесс будет завершен в определенном виде или сохранит предыдущий. То есть будущее возникает из настоящего, забывая о прошлом. Когда система или процесс переходит в новое состояние, то предысторию обычно опускают. Вероятность в Марковских процессах играет немаловажную роль.
Например, счетчик Гейгера показывает число частиц, которое зависит от определенного показателя, а не от того, в какой именно момент оно пришло. Здесь главным выступает вышеуказанный критерий. В практическом применении могут рассматриваться не только Марковские процессы, но и подобные им, к примеру: самолеты участвуют в бою системы, каждая из которых обозначена каким-либо цветом. В данном случае главным критерием вновь выступает вероятность. В какой момент произойдет перевес в числе, и для какого цвета, неизвестно. То есть этот фактор зависит от состояния системы, а не от последовательности гибели самолетов.
Структурный разбор процессов
Марковским процессом называется любое состояние системы без вероятностного последствия и без учета предыстории. То есть, если включить будущее в настоящее и опустить прошлое. Перенасыщение данного времени предысторией приведет к многомерности и выведет сложные построения цепей. Поэтому лучше эти системы изучать простыми схемами с минимальными числовыми параметрами. В результате эти переменные считаются определяющими и обусловленными какими-либо факторами.
Пример Марковских процессов: работающий технический прибор, который в этот момент исправен. В данном положении вещей интерес представляет вероятность того, что устройство будет функционировать еще длительный период времени. Но если воспринимать оборудование как отлаженное, то этот вариант уже не будет принадлежать к рассматриваемому процессу ввиду того, что нет сведений о том, сколько аппарат работал до этого и производился ли ремонт. Однако если дополнить эти две переменные времени и включить их в систему, то ее состояние можно отнести к Марковскому.
Описание дискретного состояния и непрерывности времени
Модели Марковских процессов применяются в тот момент, когда необходимо пренебречь предысторией. Для исследования в практике наиболее часто встречаются дискретные, непрерывные состояния. Примерами такой ситуации являются: в структуру оборудования входят узлы, которые в условиях рабочего времени могут выйти из строя, причем происходит это как незапланированное, случайное действие. В результате состояние системы подвергается ремонту одного или другого элемента, в этот момент какой-то из них будет исправен или они оба будут отлаживаться, или наоборот, являются полностью налаженными.
Дискретный Марковский процесс основан на теории вероятности, а также является переходом системы из одного состояния в другое. Причем данный фактор происходит мгновенно, даже если происходят случайные поломки и ремонтные работы. Чтобы провести анализ такого процесса, лучше использовать графы состояний, то есть геометрические схемы. Системные состояния в таком случае обозначены различными фигурами: треугольниками, прямоугольниками, точками, стрелками.
Моделирование данного процесса
Марковские процессы с дискретными состояниями - возможные видоизменения систем в результате перехода, осуществляющегося мгновенно, и которые можно пронумеровать. Для примера можно построить график состояния из стрелок для узлов, где каждая будет указывать путь различно направленных факторов выхода из строя, рабочего состояния и т. д. В дальнейшем могут возникать любые вопросы: вроде того, что не все геометрические элементы указывают верное направление, ведь в процессе способен испортиться каждый узел. При работе важно учитывать и замыкания.
Марковский процесс с непрерывным временем происходит тогда, когда данные заранее не фиксируются, они происходят случайно. Переходы ранее были не запланированы и происходят скачками, в любой момент. В данном случае вновь главную роль играет вероятность. Однако, если сложившаяся ситуация относится к указанной выше, то для описания потребуется разработать математическую модель, но важно разбираться в теории возможности.
Вероятностные теории
Данные теории рассматривают вероятностные, имеющие характерные признаки вроде случайного порядка, движения и факторов, математические задачи, а не детерминированные, которые являются определенными сейчас и потом. Управляемый Марковский процесс имеет фактор возможности и основан на нем. Причем данная система способна переходить в любое состояние мгновенно в различных условиях и временном промежутке.
Чтобы применять эту теорию на практике, необходимо владеть важными знаниями вероятности и ее применения. В большинстве случаев каждый пребывает в состоянии ожидания, которое в общем смысле и есть рассматриваемая теория.
Примеры теории вероятности
Примерами Марковских процессов в данной ситуации могут выступать:
- кафе;
- билетные кассы;
- ремонтных цеха;
- станции различного назначения и пр.
Как правило, люди ежедневно сталкиваются с этой системой, сегодня она носит название массового обслуживания. На объектах, где присутствует подобная услуга, есть возможность требования различных запросов, которые в процессе удовлетворяются.
Скрытые модели процесса
Такие модели являются статическими и копируют работу оригинального процесса. В данном случае основной особенностью является функция наблюдения за неизвестными параметрами, которые должны быть разгаданы. В результате эти элементы могут использоваться в анализе, практике или для распознавания различных объектов. Обычные Марковские процессы основаны на видимых переходах и на вероятности, в скрытой модели наблюдаются только неизвестные переменные, на которые оказывает влияние состояние.
Сущностное раскрытие скрытых Марковских моделей
Также она имеет распределение вероятности среди других значений, в результате исследователь увидит последовательность символов и состояний. Каждое действие имеет распределение по вероятности среди других значений, ввиду этого скрытая модель дает информацию о сгенерированных последовательных состояниях. Первые заметки и упоминания о них появились в конце шестидесятых годов прошлого столетия.
Затем их стали применять для распознавания речи и в качестве анализаторов биологических данных. Кроме того, скрытые модели распространились в письме, движениях, информатике. Также эти элементы имитируют работу основного процесса и пребывают в статике, однако, несмотря на это, отличительных особенностей значительно больше. В особенности данный факт касается непосредственного наблюдения и генерирования последовательности.
Стационарный Марковский процесс
Данное условие существует при однородной переходной функции, а также при стационарном распределении, считающимся основным и, по определению, случайным действием. Фазовым пространством для данного процесса является конечное множество, но при таком положении вещей начальная дифференциация существует всегда. Переходные вероятности в данном процессе рассматриваются при условиях времени или дополнительных элементах.
Детальное изучение Марковских моделей и процессов выявляет вопрос об удовлетворении равновесия в различных сферах жизни и деятельности общества. С учетом того, что данная отрасль затрагивает науку и массовое обслуживание, ситуацию можно исправить, проанализировав и спрогнозировав исход каких-либо событий или действий тех же неисправных часов или техники. Чтобы полностью использовать возможности Марковского процесса, стоит детально в них разбираться. Ведь этот аппарат нашел широкое применение не только в науке, но и в играх. Эта система в чистом виде обычно не рассматривается, а если и используется, то только на основе вышеупомянутых моделей и схем.
Пусть в некоторой системе
происходит с.п. с дискретными состояниями
и дискретным временем, т.е. переход
системы из одного состояния в другое
происходит только в определённые моменты
времени
.
Эти моменты называютшагами
процесса
(обычно разности смежных моментов
наблюдения
равны
постоянному числу – длине шага,
принимаемого в качестве единицы времени);
начало
процесса.
Этот с.п. можно рассматривать как
последовательность (цепь) событий
.
начальное
состояние системы, т.е. перед 1-м шагом;
состояние
системы после 1-го шага,
состояние
системы после 2-го шага и т.д.), т.е. событий
вида
где.
Марковский случайный процесс с дискретными состояниями и дискретным временем называют марковской цепью (цепь Маркова).
Отметим, что марковский цепь , в которой условные вероятности состояний в будущем зависят только от состояния на последнем этапе (и не зависят от предыдущих), называютпростой цепью Маркова . (А.А. Марков 1856-1922- русский математик).
Примером такой системы может служить техническое устройство, возможные состояния которого следующие:
исправная работа;
профилактический осмотр и обслуживание;
ремонтная работа;
списание за негодностью;
Граф состояние работы изображен на рисунке
Рис. 1.11.(А.А. Белов, и др.)
Из анализа графа видно, что из состояния нормальной работы вершины система может переходить в состояние профилактического обслуживания, а затем опять возвращаться в. Или переходить изв состояние ремонта, после чего либо возвращается в, либо переходить в состояние списания. Состояниеявляется конечным, так как переход из него невозможен. Переход изопять возначает задержку в этом состоянии.
На практике часто встречаются системы,
состояния которых образует цепь, в
которой каждое состояние
(кроме
крайнихи)
связано прямой и обратной связи с двумя
соседними,
а крайние состояния – с одним соседним
(см. рис.)
Рис.1.12(Белов…)
Примером такой системы может служить техническое устройство, состоящее из однотипных узлов. Каждое состояние системы характеризуется числом неисправных узлов в момент проверки.
Основной задачей исследования является
нахождение вероятностей состояния
на
любом
м
шаге. Будем вычислять вероятности
состояний дискретной системы
Мы здесь будем рассматривать только простые цепи Маркова. Далее, кратко будем также рассматривать понятия о непрерывных Марковских процессах.
При дискретном времени изменения состояний системы каждый переход от одного состояния к другому называют шагом.
Из определения марковской цепи следует,
что для нее вероятность перехода системы
в
состояние на
м
шаге зависит только от того, в каком
состояниинаходилась
система на предыдущем
шаге.
где
безусловная
вероятность того, что на
м
шаге система именно будет находиться
в состояние.
Для нахождения этих вероятностей
необходимо знать начальное распределение
вероятностейт.е. вероятности состояний
в
момент времени
(начало
процесса) и так называемыепереходные
вероятности
марковской цепи на
м
шаге.
Переходной вероятностью
называют
условную вероятность перехода системына
м
шаге, в состояние
м
шаге она была в состоянии,
т.е.
(43),
где первый индекс указывает на номер предшествующего, а второй индекс на номер последующего состояния системы.
Цепь Маркова называется однородной
,
если величина,
т.е.
условные вероятности
не
зависят от номера испытаний, в противном
случае называется неоднородной.
Далее, мы будем рассматривать только
однородные цепи, которые могут быть
заданы с помощью вектора
-
вероятности состояний в момент времени
и матрицы (называемой матрицей перехода
)
(44)
.
Элементы матрицы
обладают основными свойствами обычных
квадратных матриц и дополнительно
следующими свойствами:
а)
,
б)
при
каждом фиксированном
,
т.е. сумма элементов каждой строкиматрицы перехода
равна единице (как
вероятности событий перехода из одного
состоянияв любое другое возможное состояние-
образующих полную группу событий).
Вероятность состояния системы на следующем шаге определяется по рекуррентной формуле:
При некоторых условиях (эргодичность, однородность, отсутствие циклов) в цепи Маркова устанавливается стационарный режим , в котором вероятности состояний системы уже от номера шага не зависят. Такие вероятности называютпредельными (или финальными) вероятностями цепи Маркова:
.
Имеет место утверждение.
Теорема 17.1.
Для
матрицы
перехода вероятностей за
шагов
справедлива формула
(45)
,
Доказательство.
По правилу умножения
двух квадратных матриц
го
порядка имеем
где
при этом, по определению матрицы перехода
известно, что
при
любом
.
Просуммируем обе части равенства
по
всем
,
и заменяя порядок суммирования после
дважды применения свойство а) получим,
что
матрица
перехода за два шага. Аналогично,
последовательно рассуждая шаг за шагом,
получим наше утверждение в общем случае.
Пример 3. Задана матрица перехода
.
Найти
матрицы переходных вероятностей
.
На основании правила умножения двух матриц получим
.
Задание. Проверьте, что верно равенство
Следует отметить, что конечная дискретная цепь Маркова представляет с собой дальнейшее обобщение схемы Бернулли, к тому же на случай зависимых испытаний; независимые испытания являются частным случаем марковской цепи. Здесь под «событием»
понимается состояние системы, а под «испытанием» понимается изменение состояния системы.
Если «испытания » (опыты) являются независимыми, то появление определённого события в любом опыте не зависит от результатов ранее произведённых испытаний.
Задания. а) Заданы матрицы переходов
1.
;
2.
;
3.
.
Найти в каждом случае матрицу
.
Ответы: а) 1.
;
2.
;
3.
в)Заданы матрицы переходов
;
.
Найти
.
Ответы: в) 1.
;2.
;
3.
.
Замечание.
В
общем случаедискретная
марковская
цепь
представляет
собой марковский случайный процесс,
пространство состояний которого конечно
или счётное, а множество индексов
-
множество всех неотрицательных целых
чисел или его некоторое подмножество
(конечное или счётное). Мы можем говорить
обкак об исходе
го
испытания.
Часто пространство состояний процесса
удобно отожествить с множеством
неотрицательных целых чисел
и в этих случаях говорят, чтонаходится
в состоянии,
если
.
Вероятность попасть случайной величины
в состояние(называемая одношаговой переходной
вероятностью
), как уже было упомянуто
выше, обозначается
,
т.е.
В таком обозначении подчёркивается, что в общем случае переходные вероятности зависят не только от начального и конечного состояний, но и от момента осуществления перехода.
В случаях, когда одношаговые переходные вероятности не зависят от временной переменной (т.е. от значения , то говорят, что марковский процесс обладаетстационарными переходными вероятностями . Итак, для дальнейшего отметим, что имеет место равенство, который не зависит от, иобозначает вероятность перехода за одно испытание из состоянияв состояние.
Обычно вероятности объединяют в квадратную матрицу (конечную или счётную) в зависимости от рассматриваемого процесса:
,
и называют марковской матрицей, или матрицей переходных вероятностей марковской цепи.
В матрице
я
строка представляет собой распределение
вероятностей с.в.
при
условии, что
.
Если число состояний, конечно, то-
конечная квадратная матрица, порядок
которой (число строк) равен числу
состояний.
Естественно, что вероятности удовлетворяют следующим двум условиям:
а)
,
б)
при
каждом фиксированном
Условие б) отражает тот факт, что каждое испытание вызывает некоторый переход из одного состояния в другое состояние. Для удобства обычно говорят также о переходе и в том случае, когда состояние остаётся неизменным. Имеет место утверждение.
Теорема 17.2. Процесс полностью определён, если заданы вероятности (46), т.е.
и распределение вероятностей случайной величины .
Доказательство. Покажем, что для любого конечногокак вычисляются вероятности
так как по формуле полной вероятности любые другие вероятности, относящиеся случайным величинам , могут быть получены суммированием слагаемых (членов) вида (47).
По определению условной вероятности имеем
Но по определению марковского процесса получим
Поставляя равенство (49) в (48) получим
Продолжая этот процесс последовательно, получим:
Процесс полностью определён. Что требовалась доказать.
Многие операции, которые приходится анализировать при выборе оптимального решения, развиваются как случайные процессы, зависящие от ряда случайных факторов.
Для математического описания многих операций, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов.
Поясним понятие марковского случайного процесса.
Пусть имеется некоторая система S, состояние которой меняется с течением времени (под системой S может пониматься все что угодно: промышленное предприятие, техническое устройство, ремонтная мастерская и т. д.). Если состояние системы S меняется во времени случайным, заранее непредсказуемым образом, говорят, что в системе S протекает случайный процесс.
Примеры случайных процессов:
флуктуации цен на фондовом рынке;
обслуживание клиентов в парикмахерской или ремонтной мастерской;
выполнение плана снабжения группы предприятий и т. д.
Конкретное протекание каждого из этих процессов зависит от ряда случайных, заранее непредсказуемых факторов, таких как:
поступление на фондовый рынок непредсказуемых известий о политических изменениях;
случайный характер потока заявок (требований), поступающих со стороны клиентов;
случайные перебои в выполнении плана снабжения и т. д.
ОПРЕДЕЛЕНИЕ. Случайный процесс, протекающий в системе, называется марковским (или процессом без последствия ), если он обладает следующим свойством: для каждого момента времени t 0 вероятность любого состояния системы в будущем (при t > t 0) зависит только от ее состояния в настоящем (при t = t 0) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом).
Другими словами, в марковском случайном процессе будущее развитие его зависит только от настоящего состояния и не зависит от “предыстории” процесса.
Рассмотрим пример. Пусть система S представляет собой фондовый рынок, который уже существует какое-то время. Нас интересует, как будет работать система в будущем. Ясно, по крайней мере в первом приближении, что характеристики работы в будущем (вероятности падения цен конкретных акций через неделю) зависят от состояния системы в настоящий момент (здесь могут вмешаться самые различные факторы типа решений правительства или результатов выборов) и не зависят от того, когда и как система достигла своего настоящего состояния (не зависят от характера движения цен на эти акции в прошлом).
На практике часто встречаются случайные процессы, которые, с той или другой степенью приближения можно считать марковскими.
Теория марковских случайных процессов имеет широкий спектр различных приложений. Нас будет интересовать главным образом применение теории марковских случайных процессов к построению математических моделей операций, ход и исход которых существенно зависит от случайных факторов.
Марковские случайные процессы подразделяются на классы в зависимости от того, как и в какие моменты времени система S" может менять свои состояния.
ОПРЕДЕЛЕНИЕ. Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы s x , s 2 , s v ... можно перечислить (пронумеровать) одно за другим, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.
Например, разработку проекта S осуществляют совместно два отдела, каждый из которых может совершить ошибку. Возможны следующие состояния системы:
5, - оба отдела работают нормально;
s 2 - первый отдел совершил ошибку, второй работает нормально;
s 3 - второй отдел совершил ошибку, первый работает нормально;
s 4 - оба отдела совершили ошибку.
Процесс, протекающий в системе, состоит в том, что она случайным образом в какие-то моменты времени переходит («перескакивает») из состояния в состояние. Всего у системы четыре возможных состояния. Перед нами - процесс с дискретными состояниями.
Кроме процессов с дискретными состояниями существуют случайные процессы с непрерывными состояниями : для этих процессов характерен постепенный, плавный переход из состояния в состояние. Например, процесс изменения напряжения в осветительной сети представляет собой случайный процесс с непрерывными состояниями.
Мы будем рассматривать только случайные процессы с дискретными состояниями.
При анализе случайных процессов с дискретными состояниями очень удобно пользоваться геометрической схемой - так называемым графом состояний. Граф состояний геометрически изображает возможные состояния системы и ее возможные переходы из состояния в состояние.
Пусть имеется система S с дискретными состояниями:
Каждое состояние будем изображать прямоугольником, а возможные переходы (“перескоки”) из состояния в состояние - стрелками, соединяющими эти прямоугольники. Пример графа состояния приведен на рис. 4.1.
Заметим, что стрелками отмечаются только непосредственные переходы из состояния в состояние; если система может перейти из состояния s 2 в 5 3 только через s y то стрелками отмечаются только переходы s 2 -> и л, 1 -> 5 3 , но не s 2 -» s y Рассмотрим несколько примеров:
1. Система S - фирма, которая может находиться в одном из пяти возможных состояний: s ] - работает с прибылью;
s 2 - утратила перспективу развития и перестала приносить прибыль;
5 3 - стала объектом для потенциального поглощения;
s 4 - находится под внешним управлением;
s 5 - имущество ликвидируемой фирмы продается на торгах.
Граф состояний фирмы показан на рис. 4.2.
Рис. 4.2
- 2. Система S - банк, имеющий два отделения. Возможны следующие состояния системы:
- 5, - оба отделения работают с прибылью;
s 2 - первое отделение работает без прибыли, второе работает с прибылью;
5 3 - второе отделение работает без прибыли, первое работает с прибылью;
s 4 - оба отделения работают без прибыли.
Предполагается, что улучшение состояния не происходит.
Граф состояний представлен на рис. 4.3. Отметим, что на графе не показан возможный переход из состояния s ] непосредственно в s 4 , который осуществится, если банк сразу будет работать в убыток. Возможностью такого события можно пренебречь, что и подтверждает практика.
Рис. 4.3
3. Система S - инвестиционная компания, состоящая из двух трейдеров (отделов): I и II; каждый из них может в какой-то момент времени начать работать в убыток. Если это происходит, то руководство компании немедленно принимает меры для восстановления прибыльной работы отдела.
Возможные состояния системы: s - деятельность обоих отделов прибыльна; s 2 - первый отдел восстанавливается, второй работает с прибылью;
s 3 - первый отдел работает с прибылью, второй восстанавливается;
s 4 - оба отдела восстанавливаются.
Граф состояний системы показан на рис. 4.4.
4. В условиях предыдущего примера деятельность каждого трейдера перед тем, как он начнет восстанавливать прибыльную работу отдела, подвергается изучению руководством фирмы в целях принятия мер по ее улучшению.
Состояния системы будем для удобства нумеровать не одним, а двумя индексами; первый будет означать состояния первого трейдера (1 - работает с прибылью, 2 - его деятельность изучается руководством, 3 - восстанавливает прибыльную деятельность отдела); второй - те же состояния для второго трейдера. Например, s 23 будет означать: деятельность первого трейдера изучается, второй - восстанавливает прибыльную работу.
Возможные состояния системы S:
s u - деятельность обоих трейдеров приносит прибыль;
s l2 - первый трейдер работает с прибылью, деятельность второго изучается руководством компании;
5 13 - первый трейдер работает с прибылью, второй восстанавливает прибыльную деятельность отдела;
s 2l - деятельность первого трейдера изучается руководством, второй работает с прибылью;
s 22 - деятельность обоих трейдеров изучается руководством;
- 5 23 - работа первого трейдера изучается, второй трейдер восстанавливает прибыльную деятельность отдела;
- 5 31 - первый трейдер восстанавливает прибыльную деятельность отдела, второй работает с прибылью;
- 5 32 - прибыльная деятельность отдела восстанавливается первым трейдером, работа второго трейдера изучается;
- 5 33 - оба трейдера восстанавливают прибыльную работу своего отдела.
Всего девять состояний. Граф состояний показан на рис. 4.5.
Потоком событий называют последовательность однородных событий, появляющихся одно за другим в случайные моменты времени. Примеры: поток вызовов на телефонной станции; поток сбоев ЭВМ; поток заявок на проведение расчетов в вычислительном центре и т.п.
Поток событий наглядно изображается рядом точек с абсциссами Q 1, Q 2 , ..., Q n , ... (рис. 6.15) с интервалами между ними: Т 1 = Q 2 - Q 1, T 2 = Q 3 -Q 2 , ..., Т п = Q n +1 - Q n . При его вероятностном описании поток событий может быть представлен как последовательность случайных величин:
Q 1 ; Q 2 = Q 1 + T 1 ; Q 3 = Q 1 + T 1 + T 2 ; и т.д.
На рисунке в виде ряда точек изображен не сам поток событий (он случаен), а только одна его конкретная реализация.
Поток событий называется стационарным, если его вероятностные характеристики не зависят от выбора начала отсчета или, более конкретно, если вероятность попадания того или другого числа событий на любой интервал времени зависит только от длины этого интервала и не зависит от того, где именно на оси 0-t он расположен.
Рисунок 6.15 – Реализация потока событий
Поток событий называется ординарным, если вероятность попадания на элементарный интервал времени двух или более событий пренебрежимо мала по сравнению с вероятностью попадания одного события.
Рисунок 6.16 – Поток событий как случайный процесс
Ординарный поток событий можно интерпретировать как случайный процесс Х(t) - число событий, появившихся до момента t(рис. 6.16). Случайный процесс Х(t) скачкообразно возрастает на одну единицу в точках Q ,Q 2 ,...,Q n .
Поток событий называется потоком без последействия, если число событий, попадающих на любой интервал времени , не зависит от того, сколько событий попало на любой другой не пересекающийся с ним интервал. Практически отсутствие последействия в потоке означает, что события, образующие поток, появляются в те или другие моменты времени независимо друг от друга.
Поток событий называется простейшим, если он стационарен, ординарен и не имеет последействия. Интервал времени T между двумя соседними событиями простейшего потока имеет показательное распределение
(при t>0 ); (6.21)
где / М [Т] -величина, обратная среднему значению интервала Т.
Ординарный поток событий без последействия называется пуассоновским. Простейший поток является частным случаем стационарного пуассоновского потока. Интенсивностью потока событий называется среднее число событий, приходящееся на единицу времени. Для стационарного потока ; для нестационарного потока она в общем случае зависит от времени: .
Марковские случайные процессы . Случайный процесс называют марковским , если он обладает следующим свойством: для любого момента времени t 0 вероятность любого состояния системы в будущем (при t >t 0 ) зависит только от ее состояния в настоящем (при t =t 0 ) и не зависит от того, каким образом система пришла в это состояние.
В данной главе будем рассматривать только марковские процессы c дискретными состояниями S 1, S 2 , ...,S n . Такие процессы удобно иллюстрировать с помощью графа состояний (рис. 5.4), где прямоугольниками (или кружками) обозначены состояния S 1 , S 2 , … системы S, а стрелками - возможные переходы из состояния в состояние (на графе отмечаются только непосредственные переходы, а не переходы через другие состояния).
Рисунок 5.4 – Граф состояний случайного процесса
Иногда на графе состояний отмечают не только возможные переходы из состояния в состояние, но и возможные задержки в прежнем состоянии; это изображается стрелкой («петлей»), направленной из данного состояния в него же, но можно обходиться и без этого. Число состояний системы может быть как конечным, так и бесконечным (но счетным).
Марковский случайный процесс с дискретными состояниями и дискретным временем обычно называют марковской цепью. Для такого процесса моменты t 1 , t 2 ..., когда система S может менять свое состояние, удобно рассматривать как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, рассматривать не время t, а номер шага: 1, 2, . . ., k;…. Случайный процесс в этом случае характеризуется последовательностью состояний
если S(0) - начальное состояние системы (перед первым шагом); S(1) - состояние системы непосредственно после первого шага; ...; S(k) - состояние системы непосредственно после k-го шага....
Событие S i , (i= 1,2,...) является случайным событием, поэтому последовательность состояний (5.6) можно рассматривать как последовательность случайных событий. Начальное состояние S(0) может быть как заданным заранее, так и случайным. О событиях последовательности (5.6) говорят, что они образуют марковскую цепь.
Рассмотрим процесс с n возможными состояниями S 1, S 2 , ..., S n . Если обозначить через Х(t) номер состояния, в котором находится система S в момент t, то процесс описывается целочисленной случайной функцией Х(t)>0 , возможные значения которой равны 1, 2,...,n . Эта функция совершает скачки от одного целочисленного значения к другому в заданные моменты t 1 , t 2 , ... (рис. 5.5) и является непрерывной слева, что отмечено точками на рис. 5.5.
Рисунок 5.5 – График случайного процесса
Рассмотрим одномерный закон распределения случайной функции Х(t). Обозначим через вероятность того, что после k -го шага [и до (k+1 )-го] система S будет в состоянии S i (i=1,2,...,n) . Вероятности р i (k) называются вероятностями состояний цепи Маркова. Очевидно, для любого k
. (5.7)
Распределение вероятностей состояний в начале процесса
p 1 (0) ,p 2 (0),…,p i (0),…,p n (0) (5.8)
называется начальным распределением вероятностей марковской цепи. В частности, если начальное состояние S(0) системы S в точности известно, например S(0)=S i , то начальная вероятность P i (0) = 1, а все остальные равны нулю.
Вероятностью перехода на k -м шаге из состояния S i в состояние S j называется условная вероятность того, что система после k -го шага окажется в состоянии S j при условии, что непосредственно перед этим (после k - 1 шагов) она находилась в состоянии S i . Вероятности перехода иногда называются также «переходными вероятностями».
Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, а зависят только от того, из какого состояния и в какое осуществляется переход:
Переходные вероятности однородной марковской цепи Р ij образуют квадратную таблицу (матрицу) размером n * n :
(5.10)
. (5.11)
Матрицу, обладающую таким свойством, называют стохастической. Вероятность Р ij есть не что иное, как вероятность того, что система, пришедшая к данному шагу в состояние S j , в нем же и задержится на очередном шаге.
Если для однородной цепи Маркова заданы начальное распределение вероятностей (5.8) и матрица переходных вероятностей (5.10), то вероятности состояний системы могут быть определены по рекуррентной формуле
(5.12)
Для неоднородной цепи Маркова вероятности перехода в матрице (5.10) и формуле (5.12) зависят от номера шага k .
Для однородной цепи Маркова, если все состояния являются существенными, а число состояний конечно, существует предел определяемый из системы уравнений и Сумма переходных вероятностей в любой строке матрицы равна единице.
При фактических вычислениях по формуле (5.12) надо в ней учитывать не все состояния S j , а только те, для которых переходные вероятности отличны от нуля, т.е. те, из которых на графе состояний ведут стрелки в состояние S i .
Марковский случайный процесс с дискретными состояниями и непрерывным временем иногда называют «непрерывной цепью Маркова» . Для такого процесса вероятность перехода из состояния S i в S j для любого момента времени равна нулю. Вместо вероятности перехода p ij рассматривают плотность вероятности перехода которая определяется как предел отношения вероятности перехода из состояния S i в состояние S j за малый промежуток времени , примыкающий к моменту t, к длине этого промежутка, когда она стремится к нулю. Плотность вероятности перехода может быть как постоянной (), так и зависящей от времени . В первом случае марковский случайный процесс с дискретными состояниями и непрерывным временем называется однородным. Типичный пример такого процесса - случайный процесс Х(t), представляющий собой число появившихся до момента t событий в простейшем потоке (рис. 5.2).
При рассмотрении случайных процессов с дискретными состояниями и непрерывным временем удобно представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий. При этом плотности вероятностей перехода получают смысл интенсивностей соответствующих потоков событий (как только происходит первое событие в потоке с интенсивностью , система из состояния S i скачком переходит в Sj) . Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет марковским.
Рассматривая марковские случайные процессы с дискретными состояниями и непрерывным временем, удобно пользоваться графом состояний, на котором против каждой стрелки, ведущей из состояния S i , в S j проставлена интенсивность потока событий, переводящего систему по данной стрелке (рис.5.6). Такой граф состояний называют размеченным.
Вероятность того, что система S, находящаяся в состоянии S i , за элементарный промежуток времени () перейдет в состояние S j (элемент вероятности перехода из S i в S j ), есть вероятность того, что за это время dt появится хотя бы одно событие потока, переводящего систему S из S i в S j . С точностью до бесконечно малых высших порядков эта вероятность равна .
Потоком вероятности перехода из состояния Si в Sj называется величина (здесь интенсивность может быть как зависящей, так и независящей от времени).
Рассмотрим случай, когда система S имеет конечное число состояний S 1, S 2 ,..., S п. Для описания случайного процесса, протекающего в этой системе, применяются вероятности состояний
(5.13)
где р i (t) - вероятность того, что система S в момент t находится в состоянии S i:
. (5.14)
Очевидно, для любого t
Для нахождения вероятностей (5.13) нужно решить систему дифференциальных уравнений (уравнений Колмогорова), имеющих вид
(i=1,2,…,n),
или, опуская аргумент t у переменных р i ,
(i=1,2,…,n ). (5.16)
Напомним, что интенсивности потоков ij могут зависеть от времени .
Уравнения (5.16) удобно составлять, пользуясь размеченным графом состояний системы и следующим мнемоническим правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, переводящих из других состояний в данное, минус сумма всех потоков вероятности, переводящих из данного состояния в другие. Например, для системы S, размеченный граф состояний которой дан на рис. 10.6, система уравнений Колмогорова имеет вид
(5.17)
Так как для любого t выполняется условие (5.15), можно любую из вероятностей (5.13) выразить через остальные и таким образом уменьшить число уравнений на одно.
Чтобы решить систему дифференциальных уравнений (5.16) для вероятностей состояний р 1 (t) p 2 (t ), …, p n (t ), нужно задать начальное распределение вероятностей
p 1 (0),p 2 (0), …,p i (0), …,p n (0 ), (5.18)
сумма которых равна единице.
Если, в частности, в начальный момент t = 0 состояние системы S в точности известно, например, S(0) =S i , и р i (0) = 1, то остальные вероятноcти выражения (5.18) равны нулю.
Во многих случаях, когда процесс, протекающий в системе, длится достаточно долго, возникает вопрос о предельном поведении вероятностей р i (t) при . Если все потоки событий, переводящие систему из состояния в состояние, являются простейшими (т.е. стационарными пуассоновскими с постоянными интенсивностями ), в некоторых случаях существуют финальные (или предельные) вероятности состояний
, (5.19)
независящие от того, в каком состоянии система S находилась в начальный момент. Это означает, что с течением времени в системе S устанавливается предельный стационарный режим, в ходе которого она переходит из состояния в состояние, но вероятности состояний уже не меняются. В этом предельном режиме каждая финальная вероятность может быть истолкована как среднее относительное время пребывания системы в данном состоянии.
Систему, в которой существуют финальные вероятности, называют эргодической. Если система S имеет конечное число состояний S 1 , S 2 , . . . , S n , то для существования финальных вероятностей достаточно, чтобы из любого состояния системы можно было (за какое-то число шагов) перейти в любое другое. Если число состояний S 1 , S 2 , . . . , S n , бесконечно, то это условие перестает быть достаточным, и существование финальных вероятностей зависит не только от графа состояний, но и от интенсивностей .
Финальные вероятности состояний (если они существуют) могут быть получены решением системы линейных алгебраических уравнений, они получаются из дифференциальных уравнений Колмогорова, если положить в них левые части (производные) равными нулю. Однако удобнее составлять эти уравнения непосредственно по графу состояний, пользуясь мнемоническим правилом: для каждого состояния суммарный выходящий поток вероятности равен суммарному входящему. Например, для системы S, размеченный граф состояний которой дан на р ис. 5.7, уравнения для финальных вероятностей состояний имеют вид
(5.20)
Таким образом, получается (для системы S с п состояниями) система n однородных линейных алгебраических уравнений с n неизвестными р 1, р 2 , ..., р п. Из этой системы можно найти неизвестные р 1 , р 2 , . . . , р п с точностью до произвольного множителя. Чтобы найти точные значения р 1 ,..., р п, к уравнениям добавляют нормировочное условие p 1 + p 2 + … + p п =1, пользуясь которым можно выразить любую из вероятностей p i через другие (и соответственно отбросить одно из уравнений).
Вопросы для повторения
1 Что называют случайной функцией, случайным процессом, сечением случайного процесса, его реализацией?
2 Как различаются случайные процессы по своей структуре и характеру протекания во времени?
3 Какие законы распределения случайной функции применяют для описания случайной функции?
4 Что представляет собой функция математического ожидания случайной функции, в чем ее геометрический смысл?
5 Что представляет собой функция дисперсии случайной функции, в чем ее геометрический смысл?
6 Что представляет собой корреляционная функция случайного процесса, и что она характеризует?
7 Каковы свойства корреляционной функции случайного процесса?
8 Для чего введено понятие нормированной корреляционной функции?
9 Объясните как по опытным данным получить оценки функций характеристик случайного процесса?
10 В чем отличие взаимной корреляционной функции от автокорреляционной функции?
11 Какой случайный процесс относят к стационарным процессам в узком смысле и в широком?
12 В чем заключается свойство эргодичности стационарного случайного процесса?
13 Что понимают под спектральным разложением стационарного случайного процесса и в чем его необходимость?
14 Какова связь между корреляционной функцией и спектральной плотностью стационарной случайной функции?
15 Что называют простейшим потоком событий?
16 Какой случайный процесс называют марковской цепью? В чем заключается методика расчета ее состояний?
17 Что представляет собой марковский случайный процесс с дискретными состояниями и непрерывным временем?
M(U)=10, D(U)=0.2 .
6.5 Найти нормированную взаимную корреляционную функцию случайных функций X(t)=t*U и Y(t)=(t+1)U , где U – случайная величина, причем дисперсия D(U)=10 .