Область сингулярности двух мер, соответствующих одному простейшему процессу

Порядок роста энтропийного расстояния.

Как известно, гауссовская марковская стационарная последовательность полностью определяется средним значением, дисперсией и коэффициентом корреляции между соседними членами.

Рассмотрим реализацию последовательности. Тогда ее совместная плотность вероятности пишется в виде:

fn (x, 5) = cn exp |-2 (x - m)' ЦлЦ"1 (x - m ), n                   n-1

- где                                      cn = (2π) 2σ-n(1-λ2) 2 ,

Λ ¹=[ σ ²(1 - λ ²)] ^{- 1} Q ; Q =( q ij ),

q_y = 1

1 + λ ²

-λ

i= j=1,n i = j = 2,…, n - 1

| i - j |=1

| i - j |>1

x = ( x ₁, x ₂, … , x_n );   m = ( m , … , m );   ϑ = ( m , σ ², λ ) ∈ Ω ⊂ R ³,

Ω ={ -∞ < m < ∞ ; - 1< λ <1; σ ² ≥ 0}.

Пусть меры, соответствующие значениям

ϑ ₀ = ( m ₀ , σ ₀ , λ ₀ ); ϑ ₁ = ( m ₁ , σ ₁ , λ ₁ )

При конечной для логарифма относительной плотности имеем:

log P_n = log

f _n ( x , ϑ ₁) f_n ( x , ϑ ₀)

σ n - 1   1 - λ2

= n log ⁰ + log    ⁰₂

σ ₁    2     1 - λ ₁

1 +× 2 σ 0 ²(1 - λ 0 ²)

×

n - 1                          n - 1

( x - m o )² + (1 + Л 2 ) ^ ( x i - m o )² — 2 ^ ^ (x i — m o )( x + 1 — m o ) + ( x n — m o ) 2

i =2                          i =1

× 2 σ 1 ²(1 - λ 1 ²)

-

×

n - 1                          n - 1

( X 1 - m i )² + (1 + j ²) ^ ( X i - m i )² - 2 Я ^ ( x i - m i )( x _M - m i ) + ( x n - m . )² i =2                          i =1

Легко подсчитать, что M _Olog P n =

1 (7 ₀² 1 1 - ^ 2 - log — 0- + - log £

2     2 2   1-Д2

₊ 1 - < 7 н - A ² - 2 AA )

2     2 o f(1 - / 7)

n -

(1 - A )( m i - m o )² (7 12 (1 + Д )

₊ 1_log^ - ^A < A > - 4 ) - A ( m i - m o )² 2 gi - j   ^ ²(1 - Д ²)     аИ + Л )

M i log P n =

1b.Л .'J - ^Z 1 V ^{7 d} + j - 2 Л ) j ) 2 log ^ + ^ " - ⁺   2 _ff 2 (i - ^

n +

^{(1 -} ^ O⁾⁽ m i ^{- m} 0⁾² n ₊ I _log ^{1 -} A ? ₊ ^ f jA z A ). - A )⁽ m i ^{- m} 0⁾² ^ o ^{(1 +} A >)    _    ^{2   1 -} А²    ^О ^- A ²⁾     ^О ⁺ A >)

D i (log P n ) = O ( n ),                                       (1)

M (log P) e D (log P) обозначает соответственно математическое ожидание и дисперсию где i n i n относительно меры Pi, i = 0,1.

P e P

Энтропийное расстояние между мерами 0      1 будет r = -[M о log Pn - M i log Pn ] = M i log Pn - M о log Pn

Ю.А.Розанов для любого гауссовского процесса показал, что [1]

M ) [ - log P n ] = M i [log P n ] = D ) [log P n ] = D i [log P n ] = r n ,            (2)

Для нашего случая, как видно из формулы (1)

M ) [ - log P n ] = O ( n )

M i [log P n ] = O ( n )

D i [log P n ] = O ( n )

Следовательно, в силу (2)

г , = O ( n ).                                                     (3)

Основная теорема.

Теорема 1. Меры P ₀ e P , соответствующие значениям параметров ^ ₀ e ^ гауссовской Марковской стационарной последовательности всегда сингулярны и для последовательность областей

Bn ={log Pn - M0log Pn >2 rn } при n ^^    P1(Bn) ^ 1. .

Доказательство. Из равенства (3) видно, что при n ^ ^ энтропийное растояние между мерами P ₀ e P ₁ стремится к бесконечности. Следовательно, меры P ₀ e P ₁ сингулярны [2].

Согласно формуле (3) и неравенству Чебышева имеем

P o ( B , ) . D 0 ^[12S P n l = 1

¹ r 2       r n

4 n следовательно, lim Po( Bn ) = 0

n →∞

С другой стороны

Bn — U\{-logPn + MJogPn >2Гп}, где U - пространство реализаций. Тогда

DAoeP

— 1 --, r_n

P 1 (Bn ) — 1 - P 1 (U \ Bn ) >  1^T-g P^

1  2

4 ^Г"

т.е.

lim P i ( B n ) — 1

n →∞

Теорема доказана.

Область сингулярности, основанная на оценке наибольшего правдоподобия.

Пусть ^ _n - оценка наибольшего правдоподобия параметра г ? . Тогда отношение правдоподобия, основанное на ? _n , будет

_ _ ^fn ^{( x ,} ? 0⁾

^p n ^—           .

^f _n ^{( x} , ? n )

Легко показать, что для рассматриваемого процесса вектор ( ? _n - ? ₀)V n асимптотически распределен по нормальному закону с нулевым средним и ковариационной матрицей:

R ( ? ) —

• ²    а ²(1 + X )

^{1 - X} 0

1    - X

2 а ² X

^

2 а ² X

2 а ⁴(1 + X ²)

1 - X2

к

Лемма 1. Статистика - 2log p _n асимптотически распределена по закону C (3), т.е.:

1 Г~ 1 u limP(-2log Pn > X21 ?) — -/= f 2u2 exp(--)du.

n ■■                             V2 n ^Jx           2

Доказательство. Полагая ? — m, ?2 — а2, ?3 — X рассматривая разложение фунцкии log fn (x,?) по формуле Тейлора вблизи ?n точке ?0 находим где ? -величина

^{- 2lo} g P n

—

-

15^ d ²log f n ( x X)

ⁿ i , j —1

∂ϑi∂ϑj

(? ? n - ? 0 )V n (i ? n - ? 0 )V n , (4) n _{i         i}              n _{j j}

2^.

I ? - ? *|| <  ? - ? .

Поскольку

д2 log fn (x,?) ∂ϑi ∂ϑj непрерывна по ?, то согласно теоремам (4.3.5), (4.3.7) [3] при n ^ ~ д2 log fn (x ,?*)

∂ϑi ∂ϑj

сходится по вероятности к

∂ ²log f_n ( x , ϑ ₀) ∂ ϑ _i ∂ ϑ _j

Следовательно, для достаточно большего n равенства (4) примет вид

- 2log ρ = - ^{1 3 ∂ 2 log f n ( x , ϑ 0 )} ( ϑ ˆ ⁿ     n i ^∑ , j =1     ∂ ϑ i ∂ ϑ j        ⁿⁱ

- ϑ 0 _i ) Jn ( ϑ ˆ _nj - ϑ _{0 j} )V n , (5)

( i , j =1,2,3)

Нетрудно показать, что матрица с элементам

- 1 ∂2log fn(x,ϑ0) n   ∂ϑi∂ϑj сходится по вероятности к R-1(ϑ). Следовательно, величина -2logρn имеет в пределе χ2 -распределение с тремя степенями свободы. [3].

Теорема 2. Для последовательности областей

V n = {-2log ρn > χ2 }, ãäå χ2 - ëþáîå êîíå÷íîå ÷èñëî, limP1(Vn) =1. n→∞

Доказательство.

Если введем обозначение

U n = - 2log ^fn ( ^x , ^ϑ ˆ¹), f_n ( x , ϑ _n )

где ϑ ₁ ≠ ϑ ₀ , то согласно предыдущей лемме величина U_n положительна для достаточно больших n .

Величину V_n можно представить в виде

V n ={ U n + 2log ρ n - 2 M 0 log ρ n > χ ² - 2 M 0 log ρ n }.

В силу основной теоремы limP1(Vn) =1 n→∞

Теорема доказана.