Непараметрические датчики для случайных стационарных процессов

Методы статистического имитационного моделирования нашли широкое распространение как в научных исследованиях, так и в технических приложениях. Именно с их помощью удается получить выводы при исследовании сложных систем, зависящих от большого числа случайных факторов (переменных, показателей, элементов). Особая роль при таких исследованиях отводится датчикам случайных величин, которые должны адекватно отражать суть физических явлений, характерных для случайных процессов, участвующих в исследовании. Определение функции распределения случайного процесса фактически определяет задание математической модели физического явления и тем самым определяет адекватность получаемых решений. Обычно, исходя из физических или интуитивных соображений, выбирают некоторое стандартное распределение G(x(t), 9), а затем по обучающей выборке x1,..., xN оценивают неизвестный параметр 9 и проверяют по некоторым критериям адекватность параметрической модели, например, линейной авторегрессии (АР), скользящего среднего (МА), АРМА, ARCH, GARCH и т. д. – параметрический подход. Понятно, что при этом задается вид параметрической модели и распределение случайных помех. Построить датчик случайного процесса в данном случае не представляет трудностей. Но при параметрическом подходе имеется ряд трудноформализуемых моментов (например, выбор вида параметрической модели процесса и распределения G(x(t), 9), критерия адекватности, интервала зависимости и т. д.). Но необходимо понимать, что любая ошибка в задании априорной информации о виде модели и распределения G(x(t), 9) приводит к неизвестному смещению при окончательных выводах. Именно этот момент и вызывает значительный интерес к непараметрическому подходу, когда вид распределения F(x(t)) случайного процесса X(t) априори считается неизвестным. Действительно, выборка x1,..., xN в виде эмпирических функций распределения FN (x(t)) несет информацию о неизвестном распределении F(x(t)) случайного процесса X(t). Следовательно, возможно построение датчиков на основе непараметрических оценок FN (x(t)). Такие датчики назовем непараметрическими. Интерес к непараметрическим датчикам случай- ных величин в математической статистике особенно вырос с появлением такого статистического метода, как бутстреп [1], который получил широкое распространение [2]. Как известно, в математической статистике большинство результатов исследований носит асимптотический характер. Желание узнать свойства статистических процедур при конечных объемах выборки N с помощью метода статистических испытаний и породило бутстреп-метод [1]. В последние десятилетия исследования в области создания бутстреп-процедур сосредоточены на создании непараметрических датчиков случайных процессов [3; 4]. В рамках этого направления был предложен ряд непараметрических датчиков случайных процессов: блочный бут-стреп, решетчатый бутстреп, локальный бутстреп. Но то, что хорошо для исследования статистических процедур в задачах математической статистики, в большинстве случаев не совсем приемлемо в задачах статистического моделирования, где требуются большие массивы случайных неповторяющихся чисел. При блочном бутстрепе нарушается структура статистической зависимости, решетчатый бутстреп – это фактически параметрический датчик, локальный бутстреп основан на непараметрической регрессии и создает датчик, имитирующий исходную выборку [3].

В данной работе рассмотрены основные принципы построения непараметрических датчиков случайных процессов на основе непараметрических оценок условных функций распределения.

Постановка задачи и алгоритм датчика. Пусть ( x ) t – стационарный в узком смысле случайный процесс, удовлетворяющий условию слабой зависимости [5] с функцией распределения F ( x ( t )). В реальных задачах бесконечномерная функция распределения F ( x ( t )) представляется в виде k -мерной F _k ( t _k ) с конечным интервалом зависимости.

Пусть x ₁ ,..., x _N – выборка из X ( t ) с неизвестной функцией распределения F ( x ( t )), X = ( X 1 ,..., X k ) T - k -мерная случайная величина с функцией распределения F_k ( t_k ). Обозначим через F j ( t j I — j ._₁ ), j = 1, k условные функции распределения случайной величины *                                                 *                                *

X , F ⁽ t l ) = F j ⁽ t j I t j - 1 ), j = 1, t j - 1 = ⁽ t l ,..., t j - 1 ).

Для построения непараметрических датчиков воспользуемся стандартным методом генерирования случайных векторов с помощью преобразования [6]

U 1 = F 1 ( X 1 );

^u 2 = F 2 ( x 2 / X 1 );

^

V U k = F k ( X k / X k -1 ).

Как известно [6], случайные величины U ₁ , ..., U _k будут независимы и равномерно распределены на [0; 1]. С помощью обратного преобразования системы (1) и получают датчики случайных векторов. Метод получения непараметрических датчиков заключается в следующем. Вместо неизвестных F ( X 1 ),..., F _k ( X _k / X _k -1 ) в систему (1) подставляются их непараметрические оценки F N ( X ₁ ),..., F _kN ( X _k / X _k -1 ) и затем решается система типа (1). Для реализации данного метода необходимо выполнение следующих условий:

• - оценки F N ( X 1 ),..., F kN ( X k I X k 1 должны быть из класса непрерывных непараметрических оценок условных функций распределения;

• – преобразование типа (1), где вместо неизвестных F ( X ₁ ),..., F k ( X k I X k -1 )      стоят их оценки

F N ( X 1 ),..., F _kN ( X _k I X _k -1 ), должно также асимптотически приводить к независимым и равномерным в [0; 1] случайным величинам U ₁ ,..., U _k ;

– так как решение системы типа (1) сводится к нахождению непараметрических оценок условных квантилей распределения F _jN ( X j I X j -1 ), то необходимо, чтобы эти оценки сходились по вероятности к квантилям распределения F j ( X j I X j -1 ).

Для этого воспользуемся непараметрическими оценками условных функций распределения [5]:

^^—                                                   ^^—                                ^^— где           Tjn (tj I tj—1) = VhN (FN (tj I tj—1) — Fj (tj I tj—1)),

J K ²( u ) du = Q <от ,     (т. е. асимптотически

F n ( t 1 ),..., F kN ( t k I k —1 ) - независимы);

3) пусть ^ j квантиль уровня р условной функции распределения F j ( t j I j ₁ ), тогда £ _jN ^Pr >  £ j , где £ _jN - оценка условного квантиля, удовлетворяющего уравнению F jn ( j I j J = p , 0 <  p <  1.

Данные теоретические результаты и позволяют практически создавать алгоритмы непараметрических датчиков стационарных случайных процессов. Для этого необходимо использовать алгоритм стохастической аппроксимации нахождения корня уравнения F _jN ( t j 1j _{— 1} ) = p одной переменной t j при фиксированном векторе t _{— — 1} . Рассмотрим алгоритм получения одного многомерного случайного числа X* = ( x f ,..., x k ) ^T . Пусть u ₁ ,..., u _k - равномерные на [0; 1] числа. Генерируем u ₁ и решаем уравнение F_1n ( x f ) = u ₁ ^ x f = F_n '( u ₁ ). В результате получаем x f . Данный алгоритм давно используется для получения одномерных случайных чисел. Генерируем u ₂ и решаем уравнение F 2_N ( x f I x f ) = u ₂ ^ x 2 = F ₂— N ( u ₂ I x f ), генерируем      u _k     и решаем уравнение

F kN ^{( x}k ^{I x}k —1 ) = uk ^ ^xk = F kN ⁽ uk ^{I x}k —1 )- На j такте ^необходимо решить уравнение F _jN ( x f I x*__x ) = u j относительно x _k ^f , при условии, что известно число

— xj—1 = (x1,..., xj—1) вида

A jN

- A.„

F n ( t ji t j —1 ) = -j ;

B jN

N

Z G

i =1

* ^xL

—

x _i

h _N

l j —1

I n ^K X

J X=1

Nh '

N — j   ( t

Z G I t j i =1      I

—

x j

h _N

l j —1

I n K X

J x= 1

— X; il

_____I—X hN  J

N j—1 znKX i=1 X=1

= u j , j = 2, k . (3)

^jN    Nh N ^{— 1}

N — j J —1      ( /

Zn K i =1 X=1        V

где K _X - ядерные функции [6]; G ( u ) - симметричная функция распределения; h _N >  0, N ■ h^k _N > от , N > от .

При некоторых условиях регулярности на F _k ( x _k ), K _X ( u ), h _N , G ( u ) можно доказать [5]:

• 1)    F jn ( tj/ - —1 ) —— F j ( tj/ - —1 );

• 2)    вектор NN(T _1N ( t ₁ ),..., T _kN ( t _k I t_{k — 1} )) ^T имеет асимптотически нормальное распределение с нулевым вектором средних и диагональной корреляционной матрицей

h N 0 2 = Q ■ f ^{— 1} ( t j —1 ) F ( t j I t j —1 ) [ 1 — F ( t j I t j —1 ) ] ,

В результате, при заданном интервале зависимости k , мы получаем начальные значения x f ,..., x k случайного временного ряда. Для получения следующего значения x k _{+ 1} при заданных x f ,..., x f генерируем u _{k + 1} и решаем уравнение

N

Z G

i = k +1

*

xk+1 ~ hN

k

П ^K X

X=1

Nk znK X i=k+1 X=1

= u k +1 .

Алгоритмы (3), (4) зависят от выбора ядерных функций G ( u ), K _X , параметра размытости h _N , интервала зависимости k . Выбор ядерных функций G ( u ), K _X и параметра размытости h _N хорошо исследован в рамках непараметрической статистики (на-

пример, в [5]) и в рамках данной статьи не рассматривается. Выбор интервала зависимости k является достаточно критичным во всех бутстреп-процедурах генерации re -выборок случайных процессов (длина блока в блочном бутстрепе, порядок АР-модели) и, несмотря на многочисленные исследования, остается достаточно субъективным. В данной работе предлагается алгоритм нахождения параметра k , основанный на непараметрических алгоритмах прогноза [7], который может быть использован в разных бутстреп-процедурах. Возьмем простой непараметрический алгоритм прогноза регрессионного типа [5; 7]. Алгоритм нахождения параметра k заключается в следующем. На основании первых значений ряда x 1 ,..., x j ,1 <  j <  k делаем прогноз следующего значения X j _{+ 1} . Образуем квадрат невязок прогноза

N

Q ( j ) = ^ ( X j _{+ 1} - x ) 2 . Значение параметра к находим i = j +1

из условия минимума Q ( j ) (для циклических гетеро-скедастических случайных процессов наблюдается минимум) или Q ( j ) <  l , где l задается пользователем.

Моделирование. Для теста возьмем случайный стационарный процесс

X (t) = A sin(m t + ф) + b - б, где ф равномерная на [0; 2п] случайная величина; b - константа уровня помех; б - стандартная нормальная величина. Вначале определялся интервал зависимости k. На рис. 1, 2 приводятся зависимости Q(j) (рис. 1. – без помех; рис. 2. – с помехой b = 0,1; N = 100), из которых следует, что интервал зависимости процесса без помех равен 2, с помехами - 5.

Рис. 1

Без помех: F _{1 N} ( t ) получается равномерным на [–1; 1]; F _{2 N} ( t / t ₁ ) получается двухточечным; F _{3 N} ( t / t ₁ , t ₂ ) вырождается в сингулярное. Моделировались и другие процессы, но наглядность, как в тестовом примере, существенно снижается.

Рис. 2

Таким образом, в работе предложен метод генерации случайных процессов, основанный на классической схеме генерации (3) с использованием непараметрических оценок условных функций распределения.

Предложен метод нахождения интервала зависимости на основе непараметрических оценок прогноза. Данный метод может быть использован в качестве блока адаптивной настройки в классических бутст-реп-процедурах (блочный бутстреп, локальный бутст-реп).

К недостаткам предложенного метода следует отнести большую вычислительную емкость. Хотя моделирование производилось на кластерах, требуется большая вычислительная производительность. Сейчас рассматривается реализация таких алгоритмов в нейросетевом базисе.