Линейно-квадратичная аппроксимация основной задачи оптимального управления в дискретном варианте

Данная статья примыкает по тематике к исследованиям из [1; 7; 8], где задачи оптимизации линейных динамических систем преобразуются в конечномерный формат на основе процедуры параметризации управления. В настоящее время такой подход к численному решению вариационных задач представляется вполне конкурентным и перспективным.

Рассматривается нелинейная задача оптимизации на множестве дискретных управлений кусочно-постоянной структуры на неравномерной сетке точек переключения. Проводится формализация допустимых управлений с использованием характеристических функций участков сетки. Линейно-квадратичная аппроксимация функционала реализуется с помощью классических вариаций на основе функции Понтрягина и матричной функции Габасова. В результате получены явные выражения для вариаций через управляющие параметры. Это открывает возможность безпро-блемного применения градиентных процедур и условного метода Ньютона для численного решения исходной задачи. На основе второй вариации функционала получено нестандартное условие оптимальности, сочетающее в себе элементы классических результатов Лежандра — Клебша и Габасова — Джекобсона.

• 1    Постановка задачи

Пусть независимая переменная t е[t0,T] (время) и вектор-функции u(t) е Rr (управление), x(t) е Rn (состояние) связаны динамической системой x = f (x, u, t), x(t0) = x0.

Ограничение на управлении оформим с помощью поточечного включения

u ( t ) е U , t е [ t 0 , T ].

Целевой функционал определим в следующем формате

T

Ф ( u ) = ф (x ( T )) + J F ( x ( t ), u ( t ), t ) dt .

t 0

Внесем необходимые предположения:

• -    вектор-функция f ( x , u , t ) и функция F ( x , u , t ) непрерывны на Rⁿ x R r x R вместе с производными по совокупности ( x , u ) до второго порядка включительно;

• -    множество U с R^r является выпуклым и замкнутым;

• -    функция ф ( x ) дважды непрерывно дифференцируема на R" .

Определим множество допустимых управлений. Введем на [ 1 ₀ , T ] сетку узлов { t ₀ , t 1 , . ,t m _ , , t m = T } с условием монотонности t j _ , <  t j , j = 1, m . Выделим промежутки T j = ( t j _ 1 , t j ] с характеристическими функциями X j ( t ), t е [ 1 ₀ , T ]. Введем семейство параметров y j , i = 1, r , j = 1, m и сгруппируем их векторами y j = ( y 1 j , . , y rj -). Сформируем блочный вектор y = ( y *,..., y m ) размерности ( mr ) (прямая сумма векторов y 1 ^ .,y^m ) и обозначим множество

Y = ^{ y = ⁽ y *,., y m ^): y j ^е U , ^j = 1, m } •

Для каждого y ∈ Y сформируем управление

u ( t , У ) = £ ХДt ) y j , t e [ t o , T ].

j = 1

Это кусочно-постоянная вектор-функция на заданной сетке ( u ( t , y ) = y j , t e T j ) с ограничением u ( t , y ) e U , t e ( t ₀ , T ] (допустимое управление).

Рассмотрим задачу

Ф ( u ) ^ min, u e { u ( t , y ), y e Y } .                       (1)

• 2    Вариации функционала

Для оформления процедур варьирования определим необходимые конструкции:

• -    функция Понтрягина

H ( v , x , u , t ) = < v , f ( x , u , t ) > - F ( x , u , t );

• -    первая сопряженная система для вектор-функции v O

v = - H x ⁽ v , x , u , t ), v ^(T ) = ф ⁽ x ⁽ T ));

• -    вторая сопряженная система для матричной функции Т ( - )

• * = - H x v ( к ) ^ - ^ H . ( к ) - H xx ( к ), Y ( T ) = -Ф xx ( x(T )) с обозначением ( к ) = ( v , x , u , t ).

Рассмотрим допустимое управление u ( t , y ), y e Y вместе с соответствующими решениями дифференциальных систем: x ( t , y ), v ( t , y ), ¥ ( t , y ), t e [ 1 ₀ , T ]. Проведем варьирование вектора параметров: y + A y e Y . Приращение управления и состояния имеют вид

A u ( t , y ) = u ( t , y + A y ) - u ( t , y ) = ]Г X j ( t ) A y j ,          (2)

j = 1

A x ( t , y ) = x ( t , y + A y ) - x ( t , y ).

Введем фазовую вариацию 8 x ( t , y ) в рамках представления

A x ( t , y ) = 8 x ( t , y ) + o (|| A y ), которое приводит к линейной системе

5 x⁽t , y ) = f x ^[ t , y ^] 5 x ⁽ t , y ) + f u ^[ t , y ^{] A u (} t , y ), 8 x ⁽ t 0 , y ) = ⁰.

Здесь использовано обозначение s [ t , y ] = s ( x ( t , y ), u ( t , y ), t ).

Используя известные формулы приращения функционала [3; 6], получаем следующее представление

AO ( u ( t , y )) = Ф ( u ( t , y ) + A u ( t , y )) - Ф ( u ( t , y )) =

= A ₁ Ф ( u ( t , y )) + A 2 Ф ( u ( t , y )) + n , в котором фигурируют первая и вторая вариации функционала

T

A1Ф(u(t, y)) = -Jdt, t0

1 T

A 2ф( u(t, y)) = - 2 J dt- t 0

- J< Q (t, y )5x (t, y), Au (t, y )> dt, t 0

Q ( t , y ) = H ux [ t , y ] + H u _V [ t , У ] ^ ( t , У ).

При этом остаточный член п характеризуется оценкой

П <  c J o (|A u ( t , У )f) dt .

t 0

Отметим, что п = 0 (аппроксимация A 1 O + A ₂ Ф является точной) для линейно-квадратичной задачи следующей структуры

:x = A ( t ) x + B ( t ) u ,

Ф(u) = 2 + J 2 + + t 0

+ 2 < u ⁽ t ), P ⁽ t ) u ⁽ t ) > dt.

3 Параметризация вариаций функционала

С учетом формулы (2) для A u ( t , y ) первая вариация выражается следующим образом m

A1ф( u(t, У)) = -Z J< Hu[ t, У],Ayj > dt = j=1 Tj

m

= ^- £ < J H u ^[ t , у ^] dt , ^A y j > • j = 1 T j

Аналогично обрабатывается квадратичный член в формуле для второй вариации

T

J < ^A u ( t , y ), H uu [ t , y ] A u ( t , y ) > dt = £ J <^A y j , H uu [ t , y ] A y j > dt =

m

t 0

j ^{= 1} T j

m

= ^ • j =1         Tj

Для преобразования билинейного слагаемого получим явное представление фазовой вариации 5x(t, y) через Ay .

Определим ( n х r ) матричную функцию X j ( t , y ), j = 1, m как решение матричной задачи Коши

Xj(t,y) = fx[t,y]X(t,y) + f-[t,yX(t), Xj(10,y) = 0.(3)

Тогда справедлива формула m 5x(t,y) = ^Xj(t,y)Ayj, t g [to,T].(4)

j = 1

Действительно, начальное условие очевидно выполняется: 5 x ( t ₀ , y ) = 0 . Проверим дифференциальное уравнение:

. тт

• 5 x(t, y) = £ fx [ t, y] Xj(t, y )Ayj I ^ f [ t, y ]x j(t )Ayj = j=1

= fx ^[ t , y ^{] 5 x (} t , y ) ⁺ f u ^[ t , y ^{] A u (} t , y )•

Таким образом, формула (4) доказана. Отметим, что согласно уравнению (3) X j ( t , y ) = 0, t g ( t ₀ , t j - 1 ], j = 2, m . Отсюда следует, что для t g T j = ( t j - 1 , t j ] X k ( t , y ) = 0, k >  j , j = 1, m .

Рассмотрим теперь второй интеграл в формуле для A ₂ Ф ( u ( t , y )) T                   _mm

J < Q (t, y )5x (t, y), Au (t, y)) dt = ^^ J < Q (t, y) Xk (t, y) Ayk, Ayj) dt = t                                              j=1 k=1 т t0                                                                         Tj mj

= ZZ <^A y , J Q ⁽ t , y ) ^X k ⁽ t , y ) ^{dt A} y >  j = 1 k = 1          T j

Для j = 1, m , k = 1, j введем обозначения

h ⁽ y ) = - J H u ^[ t , y ^] dt , H j ⁽ y ) = - J H uu ^[ t , y ^] dt ,

T j

T j

Q jk ⁽ y ) = ^- J Q ⁽ t , y ) ^X k ⁽ t , y ) dt .

T j

Отметим, что h^j ( y ) — r -мерный вектор, H j ( y ), Q j _k ( y ) — ( r х r )

матрицы.

Представим итоговые выражения для вариаций функционала на управлении u ( t , y )

A 1 O ( u ( t , y )) = ]T <  h^j ( y ), A y^j > , j = 1

A 2 Ф ( u ( t , y )) = ¹ jr < A y ^j , H j ( y ) A y ^j > + jr ]T <  a y ^j , Q jk ( y ) A y^k ) .

² j = 1                                j = 1 k = 1

При этом остаточный член η приращения функционала имеет порядок o ⁽|I^A y 1² ), где ^A y = ^{( A} y *, K, ^A y^m ) .

В силу выпуклости множества U , описывающего ограничение на управление, допустимая процедура варьирования реализуется простейшим образом

А y^j = a(z^j - y^j ), a e [0,1], z^j e U , J = 1, m .

Первая вариация А 1 Ф определяет градиент функционала Ф в точке у = ( у 1 к ,y^m ). Это блочный вектор h ( у ) = ( h 1 ( у ),..., h^m ( у )), на основе которого конструируются стандартные градиентные методы решения задачи (1).

В совокупности обе вариации А 1 Ф + А ₂ Ф реализуют линейноквадратичную аппроксимацию функционала Ф , что приводит к условному методу Ньютона [2; 5] в рамках следующей вспомогательной задачи

А у j = z j - у j , А 1 Ф + А ₂ Ф ^ min, z j e U , j = 1, m .

Если z j — решение этой задачи, то улучшение точки y^j проводится через одномерный поиск у³_а = y^j + a ( z j - y^j ), a e (0,1].

В заключение приведем условия оптимальности управления u ( t , у ) в задаче (1), связанные с вариациями А 1 Ф , А ₂ Ф . Основное неравенство для первой вариации А 1 Ф ( u ( t , у )) >  0 приводит к серии градиентных условий

( h^J ( у ), z - у¹ )> 0 о ( j H u [ t , у ] dt , z - у¹ )< 0, z e U , j = 1, m .

T j

Это дискретный аналог дифференциального принципа максимума в теории оптимального управления.

Для перехода на уровень второй вариации выделим особый случай, когда для некоторого "  e { 1, K , m } выполняется условие h^s ( у ) = 0. Полагая А у¹ = 0, J * " , А у " = z - у " , z e U , получаем А 1 Ф ( u ( t , у )) = 0. Тогда имеет место условие неотрицательности второй вариации

А 2 Ф ( u ( t , у )) = 1 (А у " , H, ( у ) А у " ) + (А у " , Q_ss ( у ) А у " > >  0 .

Раскрывая обозначения, приходим к итоговому соотношению

< z - у " , j { H uu [ t , у ] + ( H ux [ t , у ] + H u _V [ t , у ] ^ ( t , у ) ) X " ( t , у )}d t ( z - у " ) ><  0.

T s

Это условие оптимальности второго порядка, которое содержит информацию от условий Лежандра — Клебша и Габасова — Джекобсона, но не повторяет их [4].

В оригинальном формате указанные условия в рассматриваемой задаче несправедливы, поскольку они порождаются игольчатой вариацией, которая на множестве дискретных управлений недопустима.

Заключение

Для основной задачи оптимизации нелинейной динамической системы проведена параметризация многомерного управления в классе кусочнопостоянных вектор-функций на заданной сетке возможных точек переключения. Дальнейшее развитие этого направления связано с применением кусочно-линейных аппроксимаций вместе с наглядной формализацией преобразований.