О стабильности алгоритмов оценивания

Задачи статистической обработки данных в информационно-измерительных системах, такие, например, как задача фильтрации, а также возникающие при этом задачи идентификации, оптимизации, обычно формулируются при вполне определенных вероятностных предположениях об априорной информации. Так, в задаче линейной фильтрации требуется гауссовость участвующих в модели случайных процессов и величин. Однако на практике типичны условия априорной неопределенности, когда отсутствуют достоверные сведения о свойствах исследуемых и наблюдаемых процессов. А это приводит к тому, что получаемые с помощью теоретически оптимальных алгоритмов решения указанных выше задач могут значительно отличаться от истинных оптимальных решений [1]. В появившихся в последние годы литературных источниках для ряда известных алгоритмов показано, что хотя они теоретически оптимальны, но практически очень чувствительны даже к небольшим изменениям исходных данных. В этих условиях при решении задач оптимизации используются различные подходы.

Одни из них вовсе не требуют задания априорных характеристик (как, например, при использовании метода наименьших квадратов) или предполагают задание минимальной априорной информации (так называемое минимаксное оценивание). Другие основываются на принципах адаптации, которые позволяют в процессе работы устранять имеющуюся неопределенность, например путем текущего оценивания неизвестных параметров и уточнения априорных моделей с последующим использованием их в процедурах оценивания при оптимизации по заранее выбранным критериям. Тем не менее, некоторый недостаток такого подхода состоит в том, что критерии оптимальности выбираются заранее и не «подстраиваются» в зависимости от поступившей в процессе работы информации. В последние годы интенсивно разрабатываются модификации адаптивного подхода, которые заключаются в рациональном выборе критериев оптимальности, обеспечивающих малую чувствительность решения к априорной неопределенности и так называемую «робастность» (грубость, стабильность) по отношению к вариациям используемых моделей

Устранение нестабильности алгоритмов возможно только на основе учета в них как априорной информации о наблюдениях и решении, так и текущей или рабочей

информации [2]. Именно рациональное использование последней позволяет добиться более высокой точности оценивания, чем при стандартном среднеквадратическом фильтре.

Рассмотрим виды неопределенности, которые встречаются в задачах оценивания и оптимизации. Неопределенность может быть вызвана либо проявлением внешних причин (большая сложность исследуемого объекта, вследствие чего невозможно в соответствующей математической модели учесть все реальные связи, неполное знание исследуемого явления из-за помех в каналах наблюдения), либо искусственной причиной (невозможность точной формализации желаний лица, принимающего решение, случайный характер самого решения). Искусственное использование случайности в процессе получения оценок исследуемого процесса (так называемая рандомизация) позволяет обойти многие трудности, которые возникают при минимизации недифференцируемых, многоэкстремальных функций потерь, а также преодолеть некорректность соответствующих задач оценивания.

Целью этой статьи является демонстрация того факта, что процесс регуляризации при решении задачи линейной фильтрации позволяет наряду с преодолением некорректности исходной проблемы построить стабильный (робастный) алгоритм оценивания. Вкратце суть вопроса состоит в следующем. Применение регуляризации фактически означает, что модель наблюдений заменяется «регуляризованной» моделью:

r ( т ) = C ( т ) x ( т ) + ю ( т ) + V av ( т ) , (1) где v ( т ) - белый гауссов шум с нулевым средним, некоррелированный с ю ( т ) , x 0 и и ( т ) , который имеет корреляцию вида:

M [v(т)vT (т)] = 3m8(0 — 5), (2)

где J _m — m -мерная единичная матрица. Поскольку v ( т ) - теоретически гауссов случайный процесс, то даже если функции распределения x ( т ) и ю ( т ) несколько отличаются от нормального закона распределения (в соответствующей метрике), то линейная оценка x a ( t ) , построенная в предположении гауссовости x ( т ) и ю ( т ) , близка к истинному условному математическому ожиданию M ^ x ( t ) | r ( т ) ,0 < т <  t J .

Проведем теперь строго соответствующие рассуждения. Для простоты изложения рассмотрим случай дискретных наблюдений [3]. Пусть проводятся последовательные

наблюдения m -мерной случайной величины r в моменты времени t_j,t ₂ , ^ , t n . Результат наблюдений будем рассматривать как вектор x ^ ( r T ( t 1 ) , r T ( 1 2 ),..., r^T ( t^ ) ) размерности n = mn_j . На основании этих наблюдений нужно оценить в среднеквадратическом смысле случайную величину 0 = 0 ( t n ) , принимающую значения в R k . Пусть 9 - случайная величина с мерной плотностью распределения g 0 ( 0 ) , X ^ R На языке математической статистики ( X , B _j ) - «пространство наблюдений», ( R k , B ₂ ) -«пространство параметров решений», где B ₁ и B ₂ – σ-алгебры борелевых подмножеств в X и R k соответственно. Считаем заданной переходную вероятность P 0 ( 0 , x ) для пространств ( R k , B ₂ ) и ( X , B ₁ ) . По определению это означает следующее:

• 1)    для любого 0е R k функция множеств P 0 ( 0 ) является вероятностной мерой на ( x , B j ) ;

• 2)    для любого A е B _j функция P 0 ( A ) измерима на пространстве ( R k , B ₂ ) .

Рассмотрим декартово произведение Z = R k х X . Переходная вероятность P 0 ( 0 ) определяет вероятность на Z следующим образом:

<Р (9, X) = dPxdGx (0), где Px – маргинальная вероятность, определяемая равенством:

P x ( A ) = J P ( 0 , A ) g 0 ( 0 ) d 0 , V A g B ₂,                    (3)

Rk a Gx (0) - функция условного распределения (0 | x). Если p0 (0, x) - плотность P0 (0)

(относительно меры Лебега dx), то dGx (0) = I gx (0) = d 0 ='

^p 0 ^{( 0} , ^x ) ^{g 0 ( 0} ) при p 0 ( x ) = J p 0 ( ⁰ , x ) g 0 ( ⁰) d ⁰ >  0 p 0 ( ^x )                         R k                            .

0 при p ₀ ( x ) = 0

Тогда за оценку 0 ( x ) величины 9 можно выбрать среднее значение случайной величины ( 01 x ) , т. е.

0 ( x ) = /0 g x ( 0 ) d 0=       J0 p o ( 0 , x ) g o ( 0 ) d 0 ,

Rk               po(x) Rk если p0 (x) ^ 0 .

Введем в рассмотрение mn 1 -мерную случайную гауссову величину v_a ( a >  0 ) с нулевым средним и дисперсией a J mn [4]. Плотность распределения p_a ( x ) тогда задается формулой:

1           - ¹ x ²

Р а ( x ) =------------- e ² a Rmn .

Причем независимые случайные величины v_a и x определяют случайную величину x_a = x + v_a в ( X , B 1 ) с плотностью распределения:

P a ,0 ( ⁹ , x ) = J P a ( z - x ) P 0 ( ⁹ , z ) ^d z •

X

Предположим, что на пространстве ( Z , B 1 x B ₂ ) определена гауссова мера с плотностью

P Г ( ⁰ , x )

1                 -1 ( к ’ - , - ) -

• 1                  e ²           ,

• ( 2 п ) mn + k Vdet K

где K - строго положительно определенная матрица размера ( mn 1 + k )x ( mn 1 + к ) ; z - скалярное произведение в Z. Зафиксируем а >  0 и при заданном x g X введем две среднеквадратические оценки вектора θ:

• ⁰ а ,0 ( x ) =           J ⁰ p a ,0 (⁰ , x ) g 0 (⁰) ^{d 0                         (7)}

p a ,0 ⁽ x ) R

и

• ⁹ а ,Г ( x ) =          J0 ^pa ,Г ( 0 , x ) g 0 ( 0 ) d 0 .                         (8)

p a ,Г ( x ) R k

Здесь pa ,0 ( x ) = J pa ,0 (0, x ) g 0 (0) d 0,

R k

Pa ,Г ( x ) = J Pa ,Г ( 9, x ) g 0 ( 9) d 9,

Rk где

Pa ,г(9, x ) = JPa ( z - x ) Pr(9, z ) dz.                           (9)

X

Оценка (7) получается в предположении, что, сделав «регуляризацию» случайной величины x посредством v_a , мы считаем известной исходную (истинную) переходную вероятность P ₀ ( 9 ) и заменяем x случайной величиной x a с плотностью распределения (6).

Оценка (8) получается, если наряду с регуляризацией случайной величины x заменить исходную плотность P 0 ( 9 , x ) на гауссову плотность Р _г ( 9 , x ) .

Остается выяснить, как далеко отстоят друг от друга векторы 9 a 0 ( x ) и 0 a _г ( x ) , если известно расстояние между исходным P 0 ( 9 ) и гауссовым Р _г ( 9 , x ) dxd 9 распределениями [5].

Считается, что распределение g 0 ( 9 ) вектора 9 на R k неизменно.

Напомним, что метрика Прохорова в пространстве распределений на Z вводится следующим образом. Если A - некоторое множество в Z , то A ^п есть открытое множество:

An = {z е Z : |z - A||z < n}, П > 0.

Тогда для любых двух распределений P ₁ и P ₂ на Z :

Px (F )< P2 (Fn) + П

P2 (F )< Px (F") + П для всякого замкнутого подмножества F из Z.

Пусть задано число e >  0 такое, что:

р (р0 (0,x) d0dx, pг (0,x) d0dx) < e .

Тогда, учитывая, что:

||9a,0 (x) — 9a,Г (x)|^ ^

P20 (x)

||⁹ a ,0 ( x )| R I P a ,0 ( x ) — P a ,Г ( x ) f ⁺

A 2

Jl|9|Ir^0 ( 9) I Pa,0 (9 x) V Rk

-

- Pa,Г ( 9, x ) I d9

на основании (6), (9), (10) получаем:

• ||⁹ a ,0 ( x ) ⁹ a ^{, r} ( x )|| _R ^    ⁽||⁹ a ,0 ( x )|| _R ^{+ K} 1 ) ^K 2 2/ V               ⁽¹¹⁾

^k a ^{X             k} '     p a ,0 ( x )

где постоянные K j и K 2 не зависят от e и a .

Таким образом, подбирая согласованно а с «ошибкой исходных данных» e , евклидово расстояние между 9 _{а 0} ( x ) и 9 _{а г} ( x ) можно сделать достаточно малым. Обратим внимание, что выбор a должен быть произведен на основании апостериорной информации, т.е. знании вектора наблюдений x е X .