Если некоторая переменная х зависит от скалярного аргумента t и при каждом фиксированном значении последнего является случайной величиной, то переменную х(t) называют случайной функцией.
Если аргументом t у переменной x(t) является время, то такую случайную функцию называют случайным процессом. Например, угол тангажа летательного аппарата, движущегося в турбулентной атмосфере, является случайным процессом.
Если х -вектор, то зависимость x(t) -векторный случайный процесс. Например, движение центра масс летательного аппарата по траектории характеризуется шестимерным вектором x(t) = {х, у, z, V x , V y , V z }. Если движение аппарата происходит при действии случайных факторов, то x(t) -векторный случайный процесс.
В отдельных опытах наблюдаются реализации x i (t), i-1, 2, ... случайного процесса x(t); i - номер реализации.
Статистическое описание случайного процесса x(t)
осуществляют, рассматривая множество случайных величин x 1 = x(t 1),
..., x i = x(t i),
соответствующих различным значениям времени t,
взятым на рассматриваемом интервале его изменения . Считается, что произвольный случайный процесс x(t)
описан полностью, если указан способ построения последовательности плотностей вероятности р(х, t); p(x
1 , t;
x 2 , t 2);
...; р(x 1 , t 1 ; ...; х п, t n)
при , где 
.
Одномерная плотность р(х, t) позволяет определить вероятность попадания случайной величины x(t) в интервал :
С помощью двумерной совместной плотности определяют, с какой вероятностью две случайные величины х 1 и х 2 попадут в интервалы и , соответствующие моментам t 1 и t 2:
и так для любого п.
Для описания случайных процессов могут также использоваться условные плотности распределения вероятностей. Условная плотность вероятности характеризует распределение вероятностей случайной величины , реализации которой в момент прошли через точку . Аналогично условная плотность есть плотность распределения вероятностей случайной величины x n = x(t n), реализации которой в предшествующие моменты принимали фиксированные значения . С учетом формулы (1.7) справедливы следующие соотношения между совместными безусловными и условными распределениями:
Имеют место следующие предельные свойства безусловных и условных распределений:
где -дельта-функция в точке Х 1 .
В другом предельном случае
Классификацию случайных процессов осуществляют в зависимости от тех свойств, которыми обладают их совместные безусловные и условные распределения.
Абсолютно случайный процесс. Процесс x(t) называют абсолютно случайным, если случайные величины и независимы при сколь угодно малом . Учитывая (1.10), для такого процесса получим, что совместное n-мерное распределение при любом п. определяется соотношением
т. е. абсолютно случайный процесс полностью описывается его одномерным распределением р(х, I), известным для каждого t.
Марковский процесс. Зададим на интервале возможного изменения аргумента t случайного процесса x(t) временной ряд . Случайный процесс x(t) называют марковским, если для него справедливо соотношение для любых .
Для марковского процесса условная плотность вероятности случайной величины зависит только от того, каким было значение случайной величины и никак не зависит от того, каким были реализации данного процесса в предыдущие моменты .
Плотность 
называют также переходной плотностью вероятности марковского процесса x(t).
Для марковского процесса x(t),
учитывая (1.34) и (1.40), имеем определяется предыдущим значением и приращением на этом интервале, не зависящим от приращений на предшествующих интервалах.
Гауссовский случайный процесс.
Случайный процесс x(t),
у которого совместная n-мерная плотность вероятности 
при любом п
и любых является гауссовской, называется гауссовским случайным процессом.
Лекция 18
Понятие случайного процесса. Характеристики случайных процессов.
Стационарные случайные процессы.
Случайные процессы с независимыми приращениями
Определение.
Случайным процессом
называется семейство случайных
величин
,
заданных на вероятностном пространстве
,
где
есть текущее время. Множество
значений параметра
называют областью определения
случайного процесса
, а множество
возможных значений
– пространством значений случайного
процесса
.
Случайный процесс, в отличие от детерминированного процесса, заранее предсказать невозможно. В качестве примеров случайных процессов можно рассмотреть броуновское движение частиц, работу телефонных станций, помехи в радиотехнических системах и т. д.
Если область определения
случайного процесса представляет
конечное или счетное множество отсчетов
времени, то говорят, что
– случайный процесс с дискретным
временем
или случайная последовательность
(цепь
), а если область определения
– континуум, то
называют случайным процессом с
непрерывным временем
.
В том случае, когда пространство
значений случайного процесса является
конечным или счетным множеством, то
случайный процесс называют дискретным
.
Если же пространство
значений случайного процесса – континуум,
то случайный процесс называют непрерывным
.
Действительную функцию
при некотором фиксированном значении
называют реализацией
или траекторией
случайного процесса
. Таким образом,
случайный процесс представляет собой
совокупность всевозможных своих
реализаций, то есть
,
где индикатор реализаций
может принадлежать счетному множеству
действительных чисел или континууму.
Детерминированный же процесс имеет
единственную реализацию, описываемую
заданной функцией
.
При фиксированном
получаем обычную случайную величину
,
которая называется сечением случайного
процесса
в момент времени
.
Одномерной функцией распределения
случайного процесса
при фиксированном
называется функция
,
.
Эта функция задает вероятность множества
траекторий, которые при фиксированном
проходят ниже точки
.
При
из определения (5.1.1) одномерной функции
распределения следует, что равенство
задает вероятность множества траекторий,
проходящих через «ворота» между точками
и
.
Двумерной функцией распределения
случайного процесса
при фиксированных
и
называется функция
,
.
Эта функция задает вероятность множества
траекторий, которые одновременно
проходят ниже точек
и
.
Аналогично
-мерная
функция распределения
случайного
процесса
при фиксированных
определяется равенством
для всех
из
.
Если эта функция достаточное число раз
дифференцируема, то
-
мерная совместная плотность вероятности
случайного процесса
имеет вид
.
Функция распределения или плотность
вероятности тем полнее описывает сам
случайный процесс, чем больше
.
Эти функции учитывают связь хотя и между
любыми, но лишь фиксированными сечениями
этого процесса. Случайный процесс
считается заданным, если задано множество
всех его
-
мерных законов распределения или
-
мерных плотностей вероятности для любых
.
При этом функция распределения должна
удовлетворять условиям симметрии и
согласованности Колмогорова
. Условие
симметрии состоит в том, что
– симметричная функция для всех пар
,
,
в том смысле, что, например,
Условие же согласованности означает, что
то есть
-
мерный закон распределения случайного
процесса
определяет все законы распределения
более низкой размерности.
Рассмотрим различные характеристики случайных процессов.
Определение.
Математическим
ожиданием
или средним значением
случайного процесса
называется функция
,
где
– одномерная плотность вероятности
случайного процесса. Геометрически
математическому ожиданию соответствует
некоторая кривая, около которой
группируются траектории случайного
процесса.
Определение.
Дисперсией
случайного процесса
называется функция
Таким образом, математическое ожидание
и дисперсия случайного процесса
зависят от одномерной плотности
вероятности и являются неслучайными
функциями времени
.
Дисперсия случайного процесса
характеризует степень разброса траекторий
относительно его среднего значения
.
Чем больше дисперсия, тем значительнее
разброс траекторий. Если дисперсия
равна нулю, то все траектории случайного
процесса
совпадают с математическим ожиданием
,
а сам процесс является детерминированным.
Определение.
Корреляционная
функция
случайного процесса
определяется равенством
где
– двумерная плотность вероятности
случайного процесса.
Корреляционная функция
характеризует степень связи между
ординатами случайного процесса
для двух моментов времени
и
.
При этом, чем больше корреляционная
функция, тем более гладкими являются
траектории случайного процесса
,
и наоборот.
Корреляционная функция обладает следующими свойствами.
1 0 . Симметричность:
,
.
2 0 .
,
.
Эти свойства следуют из соответствующих свойств ковариации случайной величины.
Теория, изучающая случайные процессы на основе математического ожидания и корреляционной функции, называется корреляционной теорией . С помощью методов корреляционной теории исследуются в основном линейные системы автоматического регулирования и управления.
Определение.
Случайный процесс
,
,
называется стационарным
в узком
смысле, если совместное распределение
случайных величин
И
,
одинаково и не зависит от
,
то есть
Отсюда для
-
мерной плотности вероятности справедливо
соотношение
Учитывая, что
в случае одномерной плотности вероятности,
и полагая в этом соотношении
,
имеем
.
Отсюда для стационарного случайного
процесса находим следующее выражение
для математического ожидания:
.
Аналогично для двумерной плотности
вероятности из равенства
при
получим
.
Следовательно, корреляционную функцию
можно записать в виде
где
.
Таким образом, для стационарных случайных процессов в узком смысле, математическое ожидание есть постоянная величина, а корреляционная функция зависит только от разности аргументов, то есть , так как корреляционная функция симметрична.
Определение. Случайный процесс с постоянным математическим ожиданием и корреляционной функцией, зависящей только от разности аргументов, называется случайным процессом, стационарным в широком смысле . Ясно, что стационарный в узком смысле случайный процесс является стационарным и в широком смысле. Обратное же утверждение в общем случае неверно.
Корреляционная функция стационарного случайного процесса обладает приведенными ниже свойствами.
1 0 .
,
то есть функция
– четная.
2 0 . Справедливо неравенство
.
3 0 . Для дисперсии стационарного
случайного процесса
справедливо соотношение
.
Пусть
,
,
– стационарный случайный процесс,
непрерывный по времени
,
с математическим ожиданием
и корреляционной функцией
.
Определение.
Функция, обозначаемая
и определяемая соотношением
,
называется спектральной плотностью .
Если известна спектральная плотность
,
то с помощью преобразования Фурье можно
найти корреляционную функцию
.
Последние два равенства называются формулами Винера – Хинчина .
Очевидно, что для существования обратного
преобразования Фурье достаточно
существования интеграла
,
то есть достаточно абсолютной
интегрируемости на промежутке
корреляционной функции
.
Можно показать, что спектральная
плотность
стационарного случайного процесса
является четной функцией, то есть
.
Так как
– четная функция, то
,
.
Из этих формул и определения корреляционной
функции
следует, что дисперсия стационарного
случайного процесса
равна
.
Если случайный процесс есть флуктуация
электрического тока или напряжения, то
дисперсия случайного процесса как
среднее значение квадрата тока или
напряжения пропорциональна средней
мощности этого процесса. Поэтому из
последнего равенства следует, что
спектральная плотность
в этом случае характеризует плотность
мощности, приходящуюся на единицу
круговой частоты
.
На практике вместо спектральной плотности
часто применяют нормированную
спектральную плотность
,
равную
.
Тогда, как нетрудно убедиться, так
называемая нормированная корреляционная
функция
и нормированная спектральная плотность
связаны прямым и обратным преобразованиями
Фурье:
,
.
Полагая
и учитывая, что
,
имеем
.
Учитывая четность спектральной функции, получаем
,
то есть полная площадь, ограниченная
снизу осью
и сверху графиком нормированной
спектральной плотности, равна единице.
Определение.
Случайный процесс
,
,
называется процессом с независимыми
приращениями
, если для любых
,
,
,
случайные величины
,
,
…,
независимы.
В этом случае для различных пар случайных величин корреляционная функция равна нулю.
Если случайные величины попарно
некоррелированы, то случайный процесс
называется процессом с некоррелированными
или ортогональными приращениями
.
Так как случайные величины независимы, то они некоррелированы (ортогональны). Тем самым всякий процесс с независимыми приращениями есть процесс с ортогональными приращениями.
Пусть
– случайный процесс с ортогональными
приращениями. Тогда для
получаем
поскольку случайные величины
и
ортогональны.
Аналогично при
получим, что
.
Таким образом, корреляционная функция
случайного процесса с ортогональными
приращениями обладает свойством
Применяя функцию Хевисайда
,
корреляционную функцию можно записать
в виде
Функцию, значение которой при каждом значении независимой переменной является случайной величиной, называют случайной функцией. Случайные функции, для которых независимой переменной является время , называютслучайными процессами или стохастическими процессами .
Случайный процесс не есть определенная кривая, он является множеством определенных кривых , где , получаемых в результате отдельных опытов (рис. 1.9) . Каждую кривую этого множества называют реализацией случайного процесса . Сказать заранее, по какой из реализации пойдет процесс, невозможно.
Для любого фиксированного момента времени, например , реализация случайного процессапредставляет собой конкретную величину, значение же случайной функцииявляется случайной величиной, называемойсечением случайного процесса в момент времени . Поэтому нельзя утверждать, что случайный процесс в данный момент времени имеет такое-то детерминированное значение, можно говорить лишь о вероятности того, что в данный момент времени значение случайного процесса как случайной величины будет находиться в определенных пределах.
Рис. 1.9. Реализации случайного процесса
Статистические методы изучают не каждую из реализаций , образующих множество , а свойства всего множества в целом при помощи усреднения свойств, входящих в него реализаций. Поэтому при исследовании объекта управления судят о его поведении не по отношению к какому-либо определенному воздействию, представляющему заданную функцию времени, а по отношению к целой совокупности воздействий.
Как известно, статистические свойства случайной величины определяют по ее функции распределения вероятностей интегральной и дифференциальной .
Для случайного процесса также вводят понятие функции распределения и плотности вероятности, которые зависят от фиксированного момента времени наблюдения и от некоторого выбранного уровня, т.е. являются функциями двух переменных и.
Рассмотрим случайную величину , т.е. сечение случайного процесса в момент времени .Одномерной функцией распределения случайного процесса называют вероятность того, что текущее значение случайного процессав момент временине превышает некоторого заданного уровня (числа) , т.е.
Если функция имеет частную производную по, т.е.
то функцию называютодномерной плотностью вероятности случайного процесса. Величина
представляет собой вероятность того, что находится в момент временив интервале отдо.
В
каждые отдельные моменты времени
наблюдаемые
случайные величины (сечения случайного
процесса)
будут иметь свои, в общем случае разные,
одномерные функции распределенияи плотности вероятности.
Функции иявляются простейшими статистическими характеристиками случайного процесса. Они характеризуют случайный процесс изолированно в отдельных его сечениях, не раскрывая взаимной связи между сечениями случайного процесса, т.е. между возможными значениями случайного процесса в различные моменты времени.
Знания этих функций еще недостаточно для описания случайного процесса в общем случае. Необходимо охарактеризовать также взаимную связь случайных величин в различные произвольно взятые моменты времени.
Рассмотрим теперь случайные величины и, относящиеся к двум разным моментам времени и наблюдения случайного процесса.
Вероятность того, что случайный процесс будет не большеприи не больше при , т.е.
называют двумерной функцией распределения . Если функция имеет частные производные пои, т.е.
, (1.47)
то функцию называютдвумерной плотностью вероятности .
Величина
равна вероятности того, что прибудет находиться в интервале отдо, а при в интервале от до.
Аналогично можно ввести понятие о п-мерной функции распределения и п-мерной плотности вероятности .
Чем выше порядок , тем полнее описываются статистические свойства случайного процесса. Зная-мерную функцию распределения, можно найти по ней одномерную, двумерную и другие [вплоть до-й] функции распределения более низкого порядка. Однако многомерные законы распределения случайных процессов являются сравнительно громоздкими характеристиками и с ними крайне трудно оперировать на практике. Поэтому при изучении случайных процессов часто ограничиваются случаями, когда для описания случайного процесса достаточно знать только его одномерный или двумерный закон распределения.
Примером случайного процесса, который полностью характеризуется одномерной плотностью вероятности, является так называемый чистый случайный процесс , или белый шум . Значения в этом процессе, взятые в разные моменты времени, совершенно независимы друг от друга, как бы близко ни были выбраны эти моменты времени. Это означает, что кривая белого шума содержит всплески, затухающие за бесконечно малые промежутки времени. Поскольку значения, например, в моменты времениинезависимы, то вероятность совпадения событий, заключающихся в нахождениимежду и в момент времени и между и в момент , равна произведению вероятностей каждого из этих событий, поэтому
и вообще для белого шума
т. е. все плотности вероятности белого шума определяются из одномерной плотности вероятности.
Для случайных процессов общего вида, если известно, какие значения приняла величина в момент времени , тем самым имеем некоторую информацию относительно, где, так как величины и , вообще говоря, зависимы. Если кроме известна , где, то информация оеще более увеличивается. Таким образом, увеличение наших знаний о поведении процесса до моментаприводит к тому, что увеличивается информация о.
Однако существует особый класс случайных процессов, впервые исследованных известным математиком А. А. Марковым и называемых марковскими случайными процессами , для которых знание значения процесса в момент уже содержит в себе всю информацию о будущем ходе процесса, какую только можно извлечь из поведения процесса до этого момента. В случае марковского случайного процесса для определения вероятностных характеристик процесса в момент временидостаточно знать вероятностные характеристики для любого одного предшествующего момента времени, например непосредственно предшествующего момента времени. Знание вероятностных характеристик процесса для других предшествующих значений времени, например, не прибавляет информации, необходимой для нахождения.
Для марковского процесса справедливо следующее соотношение:
, (1.51)
т. е. все плотности вероятности марковского процесса определяются из двумерной плотности вероятности. Другими словами, марковские случайные процессы полностью характеризуются двумерной плотностью вероятности.
Понятие о функции распределения и плотности вероятности случайного процесса обычно используют при теоретических построениях и определениях. В практике исследования широкое распространение получили сравнительно более простые, хотя и менее полные характеристики случайных процессов, аналогичные числовым характеристикам случайных величин. Примерами таких характеристик служат математическое ожидание, дисперсия, среднее значение квадрата случайного процесса, корреляционная функция, спектральная плотность и другие.
Математическим ожиданием (средним значением) случайного процессаназывают величину
(1.52)
где - одномерная плотность вероятности случайного процесса .
Математическое ожидание случайного процесса представляет собой некоторую неслучайную (регулярную) функцию времени, около которой группируются и относительно которой колеблются все реализации данного случайного процесса (рис. 1.10).
Математическое ожидание случайного процесса в каждый фиксированный момент времени равно математическому ожиданию соответствующего сечения случайного процесса. Математическое ожидание называютсредним значением случайного процесса по множеству (средним по ансамблю, статистическим средним), поскольку оно представляет собой вероятностно усредненное значение бесконечного множества реализаций случайного процесса.
Рис. 1.10. Числовые характеристики случайных процессов
Часто вводят в рассмотрение центрированный случайный процесс
Тогда случайный процесс можно рассматривать как сумму двух составляющих: регулярной составляющей, равной математическому ожиданию, и центрированной случайной составляющей, т.е.
Для того чтобы учесть степень разбросанности реализации случайного процесса относительно его среднего значения, вводят понятие дисперсии случайного процесса, которая равна математическому ожиданию квадрата центрированного случайного процесса:
. (1.55)
Дисперсия случайного процесса является неслучайной (регулярной) функцией времени, значение которой в каждый момент времени равно дисперсии соответствующего сечения случайного процесса.
Среднее квадратическое отклонение случайного процесса равно
координаты цели, измеряет РЛС; угол атаки самолета; нагрузка в электрической цепи.
5. Типы случайных процессов.
В математике существует понятие случайной функции.
Случайная функция – такая функция, которая в результате опыта принимает тот или иной конкретный вид, причем заранее не известный какой именно. Аргумент такой функции – неслучайный. Если аргумент – время, то такая функция называется случайным процессом . Примеры случайных процессов:
Особенность случайной функции (процесса) в том, что при фиксированном значении аргумента (t ) случайная функция является случайной величиной, т.е. при t = t i Х (t ) = X (t i ) – случайная величина.
Рис. 2.1. Графическое представление случайной функции
Значения случайной функции при фиксированном аргументе называются его сечением . Т.к. случайная функция может иметь бесконечное множество сечений, а в каждом сечении она представляет собой случайную величину, то случайную функцию можно рассматривать как бесконечномерный случайный вектор .
Теория случайных функций часто называется теорией случайных (стохастических)
процессов.
Для каждого сечения случайного процесса можно указать m x (t i ), D x (t i ), x (t i ) и в общем случае – х (t i ).
Кроме случайных функций времени иногда используются случайные функции координат точки пространства. Эти функции приводят в соответствие каждой точке пространства некоторую случайную величину.
Теория случайных функций координат точки пространства называют теорией случайных полей . Пример: вектор скорости ветра в турбулентной атмосфере.
В зависимости от вида функции и вида аргумента различают 4 типа случайных процессов.
Таблица 2.1 Типы случайных процессов
размер лужи (непрерывнозначна довательность)
Кроме того различают:
1. Стационарный случайный процесс – вероятностные характеристики которого не зависит от времени, т.е. х (х 1 , t 1 ) = х (х 2 , t 2 ) = … х (х n , t n )=const.
2. Нормальный случайный процесс (Гаусса) – совместная плотность вероятности сечений t 1 … t n – нормальная.
3. Марковский случайный процесс (процесс без последствия) состояние в каждый момент времени которого зависит только от состояния в предшествующий момент и не зависит от прежних состояний. Марковская цель – последовательность сечений марковского случайного процесса.
4. Случайный процесс типа белого шума – в каждый момент состояния не зависит от предшествующего.
Существуют и другие случайные процессы
1.1.1. Гауссовские случайные процессы
гауссовским , если все его конечномерные распределения являются нормальными, то есть
t 1 ,t 2 ,…,t n 
T
случайный вектор
(X(t 1);X(t 2);…;X(t n))
имеет следующую плотность распределения:
,
где
a i =MX(t i);
=M(X(t i)-a i) 2 ;
с ij =M((X(t i)-a i)(X(t j)-a j));
;
-алгебраическое
дополнение элемента с ij .
1.1.2. Случайные процессы с независимыми приращениями
с независимыми приращениями , если его приращения на непересекающихся временных промежутках не зависят друг от друга:
t 1 ,t 2 ,…,t n 
T:t 1 ≤t 2
≤…≤t n ,
случайные величины
X(t 2)-X(t 1); X(t 3)-X(t 2); …; X(t n)-X(t n-1)
независимы.
1.1.3. Случайные процессы с некоррелированными приращениями
Случайный процесс X(t) называется процессомс некоррелированными приращениями, если выполняются следующие условия:
1)
t
T:
МX 2 (t)
< ∞;
2)
t 1 ,t 2 ,t 3 ,t 4 
T:t 1 ≤t 2
≤t 3 ≤t 4: М((X(t 2)-X(t 1))(X(t 4)-X(t 3)))=0.
1.1.4. Стационарные случайные процессы (см. Глава 5)
1.1.5. Марковские случайные процессы
Ограничимся определением марковского случайного процесса с дискретными состояниями и дискретным временем (цепь Маркова).
Пусть система А может находиться в
одном из несовместных состояний А
1
;
А
2
;…;А
n
,
и при этом вероятность Р
ij
(
s
)
того, что в
s
-ом
испытании система переходит из состояния
в состояние А
j
,
не зависит от состояния системы в
испытаниях, предшествующих
s
-1-ому.
Случайный процесс данного типа называется
цепью Маркова.
1.1.6. Пуассоновские случайные процессы
Случайный процесс X(t) называетсяпуассоновским процессом с параметром а (а>0), если он обладает следующими свойствами:
1) t
T;
Т=}
