Проекционный метод нелокального улучшения в дискретно управляемых систем

В работах [1,2] для общих нелинейных непрерывных задач оптимального управления построены методы нелокального улучшения управляющих функций, основанные на точных формулах приращения целевых функционалов. При этом в качестве объекта для разработки методов нелокального улучшения рассматривается непрерывная задача оптимального управления, которая имеет следующий общий вид:

t ₁

Ф(и) = ф(x(t1)) + JF(t, x(t), и(t))dt ^ min, t0

x ( t ) = f ( t , x ( t ), и ( t )), x ( 1 0 ) = x 0 ,

и(t) G U C Rm,t G T = [10,11], где x(t) = (x1(t),...,xn(t))-вектор состояния, и(t) = (u1(t),...,um(t))- вектор управления. Начальное состояние x0 и отрезок T заданы. В качестве допустимых управлений рассматривается класс V кусочно-непрерывных на T функций со значениями в выпуклом множестве U .

В задаче:

• 1)    функция ф (x ) непрерывно-дифференцируема в R" , функции F ( x , и , t ), f ( x , и , t ) и их производные по x , и непрерывны по совокупности аргументов ( x , и , t ) на множестве Rⁿ х R m х T .

• 2)    функция f ( x , и , t ) удовлетворяет условию Липшица по x на R" х R m х T           с           константой            L >  0 :

II f ( x , и , t ) - f ( y , и , t )|| <  L I x - y 11 V x , y e Rⁿ .

В данной работе рассматривается проекционный метод нелокального улучшения для дискретного аналога линейно управляемой задачи.

1.    Метод улучшения управления

Рассматривается дискретная задача оптимального управления:

N - 1

Ф(и) = ф(x(tN)) + £F(ti,x(ti),и(ti)) ^ min, Iso                          иeV x (ti+1) = f (ti, x (ti), и (ti)), x (to) = x 0, и (t^ e U c Rm, tie T, i = 0, N-1,     (2)

где      x ( t i ) = ( x ₁( t i ),..., x_n ( t i ))     - вектор состояния системы,

Поставим задачу улучшения заданного допустимого управления и¹ : найти допустимое управление v с условием Ф ( v ) <  Ф ( и¹ ).

Определим необходимые конструкции для задачи (1), (2). Введем сопряженную переменную у e R" и рассмотрим функцию Понтрягина

H ( у , x , и , t ) = ( у , f ( t , x , и )} - F ( t , x , и ) = ( Н 1 ( у , x , t ), и) + Н 0 ( у , x , t ).

В соответствии с [3] рассмотрим дискретно-алгебраическую женную систему:

у ⁽ t i ) = H x ⁽ t i , y ⁽ t i + 1 Х ^x I ⁽ t i ), ^M I ⁽ t i )) ⁺ r ⁽ t i ), y ⁽ t N ) =^- Ф x ^{( x} I ⁽ t N )) ^- q , ^{H (} t i , у ⁽ t i + 1 ). ^{x (} t i ). ^и I ⁽ t i )) ^{- H (} t i , у ⁽ t i + 1 ). ^x I ⁽ t i ). ^и I ⁽ t i )) = = ( ^H x ⁽ t i , у ⁽ t i + 1 ). ^x I ⁽ t i ). ^и I ⁽ t i )), ^{A x (} t i )) ⁺ ( r ⁽ t i ). ^{A x (} t i )}, ф ^{( x (} t N )) - ф ^{( x} I ⁽ t N )) = ( ф x ^{( x} I ⁽ t N )), ^{A x (} t N ) ) ⁺ qq , ^{A x (} t N ) ).

сопря-

где A x ( t i ) = x ( t i ) - x I ( t i ), величины r ( t i ), q определяются из условий (4), (5).

Такая модификация сопряженной системы позволяет получить формулу приращения функционала в задаче (1),(2), которая не содержит остаточных членов разложения и имеет вид:

Ф (и) - Ф (и I) = -£ {H 1( t, у (t+1), x (t)), A и ()), i=0

где A u ( t_t ) = u ( t ) - u¹ ( t ).

Правило определения r(tt), q является неединственным. В [3] предла гается следующее правило:

• 1)    если все компоненты x ( t ) = x I ( t i ), то алгебраические уравнения (4) выполняется тождественно. В этом случае значения всех компонент   r ( t i ) = 0. Аналогично, если в конечный момент

x ( t_N ) = x I ( t_N ), то задаем q = 0 ;

• 2)    если хотя бы одна компонента вектора x ( t i ) ^ x I ( t i ), то соответст

вующая компонента r ( t_i ) однозначно определяется для этой компоненты из (4) при условии равенства нулю остальных компонент. Аналогично определяются компоненты для q при t_i = t_N из уравнения (5).

Проекционный метод нелокального улучшения , основанный на формуле приращения, описывается следующим образом :

• 1)    определим вспомогательное отображение с параметром a >  0 u ( t, / ,x ) = P U ( u¹ ( t ) + a H ₁( t / , x )), t e T ,

где P_U - оператор проектирования на множество U в евклидовой норме.

• 2)    найдем решение x ( t_i ), / ( t_i ), t_i e T краевой задачи:

^{x (} ti ₊l) = f ^{( x (} ti X u ⁽ ti , / ⁽ ti X ^{x (} ti )X ti X ^{x (} t 0 ) = ^x o ,

/ ⁽ t i ) = ^H x ⁽ t i M t i ₊ 1X ^x I ⁽ t i X ^u I ⁽ t i )) ⁺ r ⁽ t i X / ⁽ t N ) = -V x ^{( x} I ⁽ t N )) - q ,

^{H (} t i , / ⁽ t i + 1X ^{x (} t i X ^u I ⁽ t i )) ^{- H (} t i , / ⁽ t i + 1 X ^x I ⁽ t i X ^u I ⁽ t i )) =

• = ( ^H x ⁽ t i , / ⁽ t i + 1 X ^x I ⁽ t i X ^u I ⁽ t i )X ^{A x (} t i )} + ( r ⁽ t i X ^{A x (} t i )},

• V ^{( x (} t N )) ^- V ^{( x} I ⁽ t N ^)X = ( V x ^{( x} I ⁽ t N ^)X , ^{A x (} t N )) + ( q , ^{A x (} t N )).

• 3)    построим выходное управление

• V ⁽ t i ) = u ⁽ t t , / ⁽ t i X x ⁽ t i ^)X t i ^e T .                                ⁽⁶⁾

В соответствии с [3] рассматриваемый проекционный метод нелокального улучшения для заданного u I e U обеспечивает улучшение с оценкой

1 N -I                          э

Ф ( v ) - Ф ( u I ) <

-

-Ё| |^{( v (} t i )) - u I ⁽ t jll . a , = o

В соответствии с [1,2] условие (6) может рассматриваться как уравнение относительно управления, эквивалентное краевой задаче. Для реализации этого уравнения используется метод простых итераций при k >  0 c начальным приближением u ⁰:

u^{k + 1}( t i ) = P u ( u I ( t ) + a H 1 ( t / ( t i ), x^k ( t i ))), t i e T .

x^k ( t i + 1 ) = f ( t i , x^k ( t i ), u^k ( t i )), x^k ( 1 0 ) = x 0 ,

^ ( t , ) = H x ( t , , ^ ( t , + 1 ), ^Х ( t , ), u ( t , )) ⁺ r^k ( t , ), ^ ( t N ) = ^- Ф x ( x I ( t N )) ^- q^k , H ( t , , / ^k ( t + 1 ), x^k ( t , ), u¹ ( t , )) - H ( t , , / ^k ( t + 1 ), x¹ ( t , ), u¹ ( t , )) = = ( H x ( t / ( t , + 1 ), x I ( t , ), u¹ ( t , )), A x^k ( t^ + ( r^k ( t , ), A x^k ( t^, Ф ⁽ x k ⁽ t N » ^- Ф ⁽ x I ⁽ t N )) = ( ф x ⁽ x I ⁽ t N )X ^A x k ⁽ t N )) ⁺ ( q k , ^A x k ⁽ t N )).

Метод оптимизации заключается в решении последовательности задач улучшения. Расчет задач улучшения проводится до выполнения условия |Ф ( u^{l + 1}) - Ф ( и¹ )| <  £ | ф ( и¹ )|, где £ - заданная точность расчета, u¹ , 1 >  0 -последовательность улучшающихся управлений с заданным начальным управлением u ¹ = u¹ .

2.    Вычислительный эксперимент

Пример 1. Рассматривается линейная по управлению задача об оптимальной стратегии оптимизации маятника [5]:

Ф(u) = x2 (5) + x2 (5) ^ inf, x1 = x2, x2 = u - sin x1, x1(0) = 5, x2 (0) = 0,

u(t) G [-1,1], t G [0,5], где x1 - угол отклонения маятника от положения равновесия, u1 - внешнее воздействие (вынужденные колебания).

Дискретный вариант задачи:

Ф(u) = x2 (5) + x2 (5) ^ inf, x1 (t,+1) = x1(t,) + x2 (t,), x2

В данной задаче функция Понтрягина

H(t,/,x,u) = /₁(x₁+ x₂) + у/₂(x₂+ u - sin x₁).

Образуем разностные уравнения (3):

^Hx, = /1 - /2 ^{COs x}1, Hx₂= /1 + /2,

/1⁽t,) = /1 ⁽t,41) ^-/2⁽t,41)^cos(x!⁽t,)) ⁺Г⁽t,), /1⁽⁵⁾= ^-2x!^{(5) -}q_x, /2 ⁽t, ) = /1 ⁽t,41) ⁺/2 ⁽t,41) ⁺r2 ⁽t, ). /2 ⁽⁵⁾= ^-2x2 ^{(5) -}q2^.

Имеем:

^{H (}t,,/⁽t,41),^{x (}t,), ^uI⁽t,)) =

= /1 ⁽t,41 ⁾⁽x1 ⁽t, ) ⁺x2 ⁽t, )) ⁺/2 ⁽t,41 ⁾⁽x2 ⁽t, ) ⁺uI⁽t, ) - ^sln(x1 ⁽t, )),

^H(t,,/⁽t,41), xI⁽t, ), uI⁽t, )) =

= /1 ⁽t,41 ⁾⁽x^{1 (}t, ) ⁺x2I⁽t, )) ⁺/2 ⁽t,41 ⁾⁽x2I⁽t, ) ⁺uI⁽t, ) - ^sln(x^{1 (}t, )), ^H(t, , /⁽t,+1 ), x⁽t, ), uI⁽t, )) ^{- H(}t, , /⁽t,+1 ), xI⁽t, ), uI⁽t, )) =

= Vi (t_M)(Axi (t) + Ax₂ (t)) + v 2^(t,₊J A ^x2 (ti) - V 2 (t i₊₁) sin(x, (t,)) +

+V2 ^(ti+1)^Sin(x[ (tDX

Hx⁽ti, V⁽t+1), x⁽tiX u I⁽tiX) =⁽V1⁽ti+1) - V 2⁽ti+1) ^{cos( x}I⁽t,)X V1⁽ti+1)⁺V 2⁽ti+1X) T

Отсюда получаем уравнение на r(ti):

V1⁽ti+1⁾⁽Ax 1⁽ti)⁺ Ax 2⁽ti)) + V 2⁽ti+1) Ax 2⁽ti) - V 2⁽ti+1)^sin(x1⁽tiX)⁺

+V2(ti+1)Sin(XI (ti X = (V1(ti+1) - V2(ti+1)cos(XI (ti )))Ax 1(ti ) +

⁽V1 ⁽ti+1) ⁺V2 ⁽ti+1 )) ^Ax2 ⁽ti ) ^{+ r}1⁽ti ^)Ax 1 ⁽ti ) ^{+ r}2⁽ti ^)Ax2 ⁽ti^).

После упрощения окончательно получаем:

V2 ⁽ti+1 ^{)(sin(xI (}ti X) - ^sin(x1 ⁽ti X) ^{+ Ax} 1 ⁽ti ) ^COs(xI⁽ti))) =

= Г( ti )Ax 1( ti) + r2( ti )Ax2( ti ),

Составляем уравнение на q типа (5):

(Ax 1 (5))²+ (Ax₂ (5))²= q1 Ax 1 (5) + q₂Ax₂ (5).

Положим, что Axi (5) - qi = 0. Отсюда находим  q_x =Axi.  Тогда

Vi (5) = -( x, (5) + x' (5)),

Вспомогательная дифференциальная система принимает вид

V1(ti) = V1(ti+1)- V 2(t+1)cos(x1(ti)) + r1( ti), V1(5) = -(x1(5) + xI(5)),

V2 ⁽ti ) = V1 ⁽ti+1 ) ⁺V2 ⁽ti+1 ) ⁺r2 ^(ti X V2 ⁽⁵⁾= ^-(x2^{(5) + x}'I⁽⁵⁾⁾.

Для заданного управления u' отображение u c параметром a > 0 имеет вид u (ti ) = PU (u' (ti) + aV 2( ti+1)).

Расчетное значение u% с заданной точностью £ = 10—4 было получено для различных входных управлений u¹ при различных шагах дискретизации At и параметре a . Результаты расчетов отражены в таблицах 1-3 (u¹ - начальное значение управления, Ф(U) - расчетное значение функционала).

Таблица 1. u' = 1.0, a = 0.1

A t	Ф (й)
10-1	11.4845
10-2	11.8699
10-3	11.9668
10-4	11.909321

При уменьшении шага дискретизации результирующие значения целевого функционала приближаются к оптимальному расчетному значению непрерывной задачи Ф(u*) = 11.909409 и при At< 10^-4 функционал перестает существенно меняться.

Таблица 2. At = 10 4, a = 0.1

uI	Ф(u%)
1.0	11.909321
0.0	11.90978
0.5	11.9097645

Из таблицы 2 видно, что проекционный метод нелокального улучшения обладает достаточно широкой областью сходимости. При различных значениях начального управления получено приближенно одно и то же значение функционала.

Таблица 3. At = 10-4, и¹ = 1.0

	Ф(u%)
а = 1	11.909717
а = 10-1	11.909321
а = 10-2	11.909321

В таблице 3 приводятся результаты, полученные рассматриваемым методом при различных значениях параметра а с шагом дискретизации At = 10-4 и начальным значением управления и¹ = 1.0. При дальнейшем уменьшении параметра а < 10^-2 падает точность расчета значения функционала. При а > 1 метод не сходится.

На рисунке 1 показаны оптимальный процесс, рассчитанный проекционным методом нелокального улучшения при At = 10^-4, и⁰= 1.0, а = 0.1.

Рис. 1.

Заключение

Рассмотренный нелокальный алгоритм для дискретных управляемых задач не использует операцию выпуклого варьирования, характерную для градиентных методов. Количество вычислительных операций при решении дискретных задач проекционным методом существенно меньше, чем при расчете соответствующих непрерывных задач при допустимой точности расчета, т.к. число вычислений правой части совпадает с количеством интервалов дискретизации. Проведенные расчеты в рамках примера показывают эффективность применяемого проекционного метода для приближенного решения оптимизационных задач рассматриваемого класса.