Условия улучшения и оптимальности в задачах оптимизации нелинейных управляемых систем

Рассматривается задача оптимального управления со свободным правым концом:

Ф ( u ) = ф ( x ( t 1 )) + J F ( x ( t ), u ( t ), t ) dt ^ min,                            (1)

x( t ) = f ( x ( t), u ( t ),t ), x ( t 0 ) = x o , u ( t ) e U , t e T = [ t o , t j,               (2)

в которой x ( t ) = ( x 1 ( t ),..., x n ( t )) - вектор состояния, u ( t ) = ( u 1 ( t ),..., u m ( t )) - вектор управления. В качестве допустимых управлений рассматривается множество V кусочно-непрерывных на T функций со значениями в компактном множестве U с R m . Начальное состояние x ⁰ и промежуток управления Т заданы.

Предполагаются выполненными следующие предположения для задачи (1), (2):

• 1)    функция ϕ ( x ) непрерывно-дифференцируема в Rⁿ , функции F ( x , u , t ) , f ( x , u , t ) и их производные F _x ( x , u , t ) , F _u ( x , u , t ) , f _x ( x , u , t ) , f _u ( x , u , t ) непрерывны по совокупности аргументов ( x , u , t ) на множестве R n х U х Т ;

• 2)    функция f ( x , u , t ) удовлетворяет условию Липшица по x в R n х U х Т с константой L >  0: II f ^{( x} , ^u , t ) ^- f ⁽ y , ^u , t )|| <  ^L ||x — y || .

Условия гарантируют существование и единственность решения x ( t , v ), t e T системы (2) для любого допустимого управления v ( t ), t e T .

Введем функцию Понтрягина с сопряженной переменной у e R n :

H (у, x , u , t ) = у, f ( x , u , t )} - F ( x , u , t ).

Для допустимого управления v ∈ V обозначим ψ ( t , v ) , t ∈ T – решение стандартной сопряженной системы

^{Ч (} t ) = - H x⁽ Ч ⁽ t ), x ( t ), u ⁽ t ), t ), t e T , ⁴ t , ) = - ^ x⁽ x ⁽ t i ))                 ⁽³⁾

при u ( t ) = v ( t ) , x ( t ) = x ( t , v ) .

С помощью отображения u∗(ψ,x,t) = argmaxH(ψ,x,u,t) , ψ∈ Rn , x ∈ Rn , t ∈ T , w∈U известный [1,2] принцип максимума Понтрягина для управления u ∈V представляется в виде

u(t) = u∗(ψ(t, u), x(t, u), t) , t ∈ T .(4)

Краевая задача принципа максимума имеет вид:

x(t) = f(x(t),u* (ч(t),x(t),t),t), x(10) = x0,(5)

• 4(t) = -Hx(Ч(t),x(t),u*(Ч(t),x(t),t),t), Ч(ti) = -Фх(x(ti)).(6)

Краевая задача (5), (6) в пространстве состояний сводится к поточечному соотношению (4) на множестве допустимых управлений, которое имеет форму задачи о неподвижной точке соответствующего оператора управления. Трудности решения краевой задачи (5), (6) и задачи о неподвижной точке (4) связаны с возможной разрывностью и многозначностью отображения u ^∗ .

Одним из альтернативных подходов к оптимизации управления является последовательное решение задач улучшения управления, в которых для заданного управления u ∈ V требуется найти управление v ∈ V с условием Δ _v Φ ( u ) ≤ 0 .

В работах [3-7] получены вычислительно эффективные условия улучшения управления, имеющие форму специальных краевых задач в пространстве состояний и задач о неподвижной точке конструируемых операторов управления, которые существенно проще по свойствам гладкости указанных выше задач (4) и (5), (6). Решение предлагаемых систем условий улучшения позволяет улучшать неоптимальные управления, удовлетворяющие принципу максимума, и получать новые необходимые условия оптимальности, усиливающие принцип максимума в рассматриваемых классах задач.

В настоящей работе рассматриваются новые дифференциально-алгебраические способы модификации сопряженной системы, позволяющие получать новые условия улучшения и оптимальности применительно к нелинейным по состоянию управляемым системам, которые существенно расширяют потенциал улучшения заданного управления. Многообразие способов выбора улучшающих управлений позволяет конструировать специальные вычислительные технологии улучшения, которые могут эффективно реализовываться с помощью параллельных вычислений на многопроцессорных компьютерах.

• 1.    Краевые задачи улучшения управления

Далее для удобства частное приращение произвольной вектор-функции g ( y ₁ ,..., y _l ) по переменным y_s , y_s будем обозначать

Δ _{ys +Δ ys , ys +Δ ys} g ( y ₁ ,..., y _l ) = g ( y ₁ ,..., y_{s 1} +Δ y_{s 1},..., y_{s 2} +Δ y_{s 2},..., y _l ) - g ( y ₁ ,..., y _l ).

Приращение функционала (1) на допустимых управлениях u , v в соответствии с введенным обозначением выписывается в виде

ΔvΦ(u) = Δx(t1,v)ϕ(x(t1,u)) + ∫ Δx(t,v),v(t)F(x(t,u),u(t),t)dt .(10)

T

Обозначим Δ x ( t ) = x ( t , v ) - x ( t , u ) .

Введем дифференцируемую вектор-функцию p ( t ) = ( p ₁ ( t ),..., p _n ( t )) с условиями

p(t1) = -ϕx(x(t1,u)) - q,(11)

где величина q удовлетворяет алгебраическому уравнению

ϕx(x(t1,u)), Δx(t1) + q,Δx(t1) = Δx(t1,v)ϕ(x(t1,u)) .(12)

Тогда приращение терминальной части функционала в выражении (10) можно записать в виде

^A x ( t ₁ , v ) Ф ^{( x (} t i , ^u )) = - ( P ⁽ t 1 X ^{A x (} t i )) = - J d ( p ⁽ t ), A x ⁽ t )) dt =

T t

= - J {( p ⁽ t ), A X ⁽ t )) + ( p ⁽ t ), ^A x ( t , v ), v ( t ) f ⁽ x ⁽ t , u ), u ⁽ t ), t ) }} dt .

T

С помощью полученного соотношения приращение функционала (10) можно представить в виде

^A v ^{Ф (} u ⁰⁾ = - J {{ ^{p (} t ), ^{A x (} t )) - ^A X ( t , v ), v ( t ) H ⁽ P ⁽ t ), x ⁽ t , u ), u ⁽ t ), t ) } dt =

T

= - J {( ^{p (} t ), ^{A x (} t )) + ^A v ( t ) H ⁽ P ⁽ t ), ^{X (} t , u ), u ⁽ t ), t ) +                           ⁽¹³⁾

T

+ ^A X ( t , v ) ^{H (} P ⁽ t X ^{X (} t , u X v ⁽ t X t ) } ^dt .

Введем модифицированную сопряженную систему для функции p ( t ) с условиями (11), (12) в форме:

^p ( t ) = - H x ( P ( t ), x ( t , u ), V ( t ), t ) ^- r ( t ) ,                                     (14)

где величина r(t) = (r (t),...,rn (t)), t g T определяется в каждый момент времени t G T из алгебраиче- ского уравнения

(H x ( P ( t ), x ( t , u ), v ( t ), t ), A x ( t )} + ( r ( t ), A x ( t )} = = ^A x ( t , v ) ^{H (} P ⁽ t X ^{x (} t , u X ^{v (} t X t X

Тогда в силу дифференциально-алгебраической системы (14), (15) для p(t) с начальными усло- виями (11), (12) формула приращения (13) принимает вид

AvФ(u) = -J Av(t)H(P(t),x(t, u), u(t), t)dt.(16)

T

Определим отображение v* (p, t) = u* (p, x(t, u),t) и рассмотрим дифференциально-алгебраическую краевую задачу

;t(t) = f (x(t), v* (p(t), t), t), x(10) = x0,(17)

p(t) = - Hx(p(t), x(t, u ), v *(p(t), t), t) - r(t),

(H x ( P ( t ), x ( t , u ), v * ( P ( t ), t ), t ), x ( t ) - x ( t , u )^ +

+ (r(t),x(t)- x(t,u)} = A x (t)H(P(t),x(t,u),v *(P(t), t), t), p (t1)=-^x (x (t1,u))- q,

{Фx (x(t!, u)), x(t! ) - x(t!, u)) + qq, x(t! ) - x(t!, u)) = Ax(t, )Ф(x(t1, u)) .

Предположим, что решение ( x ( t ), p ( t )), t g T краевой задачи (17) - (21) существует (возможно, не единственное), а управление, формируемое по правилу

v ( t ) = v * ( P ( t ), t ), t G T , является кусочно-непрерывным. Тогда x ( t ) = x ( t , v ) и, в силу определения отображения u * , получаем A _{v ( t} ) H ( p ( t ), x ( t , u ), u ( t ), t ) >  0. Отсюда и из формулы (16) следует, что A _v Ф ( u ) <  0.

В работе [3] рассматривалось альтернативное по отношению к (13) представление приращения функционала в форме

^A v ^{Ф ( u} °) = ^- J {( ^{p (} t ), ^{A x (} t )) ^{- A} x ( t , v ), v ( t ) ^{H (} P ⁽ t ), ^{x (} t , ^u X ^{u (} t ), t ) } ^dt =

T

= - J {( ^{P (} t ), ^{A x (} t )) ^{+ A} v ( t ) ^{H (} P ⁽ t ), ^{x (} t , ^v ), ^{u (} t ), t ) ⁺

T

^{+ A} x ( t , v ) ^{H (} P ⁽ t ), ^{x (} t , ^u ), ^{u (} t ), t ) } ^dt .

Соответственно вводилась другая модифицированная сопряженная система для функции p ( t ) с условиями (11), (12) в форме:

p (t) = - Hx (p (t), x (t, u), u (t), t) - r (t), где величина r(t) = (r1 (t),...,rn (t)), t e T, определяется в каждый момент времени t е T из алгебраиче- ского уравнения

(H x ( Р ( t ), x ( t , u ), u ( t ), t ), A x ( t )} + ( r ( t ), A x ( t )} =

= ^A x ( t , v ) ^{H (} Р ⁽ t X ^{x (} t , ^u X ^{u (} t X t X

Тогда формула приращения (13) принимает вид

AvФ(u) = -J Av(t)H(p(t),x(t, v), u(t), t)dt,(22)

T и условие улучшения имеет форму следующей дифференциально-алгебраической краевой задачи x(t) = f (x(t), u* (p(t), x(t), t), t), x(t0) = x0,(23)

p(t) = -Hx (Р(tXx(t, uX u(tX t) - r (t) , кHx (p(tX x(t, uX u(tX tX x(t) - x(t, u^ +(25)

+ (r (t), x (t) - x (t, u)} = Ax (t) H (p (t), x (t, u), u (t), t), p (t1)=-Фх (x (t1,u))- q,

{Фx(x(t1,u)),x(t1) - x(t1,u)) + qq,x(t1) - x(t1,u)) = Ax(11 )ф(x(t1,u)) .

Алгебраические уравнения в краевых задачах улучшения всегда можно разрешить (возможно, не единственным способом). Проиллюстрируем один из способов на примере уравнения (25).

Действительно, в случае линейности по x функций f (x,u,t) , F(x,u,t) уравнение (25) сводится к соотношению rr(t),x(t) - x(t,u0)^ = 0. В этом случае полагаем r(t) = 0, t e T.

В нелинейном случае определим r ( t ) по следующему правилу.

Если для некоторого k выполняется условие xk (t) ^ xk (t, u), то полагаем r(t) = 0,   i ^ k, rk(t) =

A x ( t ) H - ( H x , A x ( t )) A x'k ⁽ t )

Если для всех k имеем x _k ( t ) = x _k ( t , u ), то уравнение (25) выполняется тождественно. В этом случае определяем значение r ( t ) = 0.

Другой простой способ определения r ( t ) можно использовать в случае квадратичных по x функций f ( x , u , t ) , F ( x , u , t )

r ⁽ t ) = 2 ^H xx ⁽ p ⁽ t ), ^{x (} t , ^u ), ^{u (} t ), t ^{)( x (} t ) - ^{x (} t , ^u )) .

При этом уравнение (25) выполняется тождественно. Данный способ, основанный на разложении приращения функции Понтрягина, применим для общего полиномиального по x случая.

Таким образом, можно определить однозначные функции R ( p , x , t ) , Q ( x ) , которые в общем случае определяются не единственным способом, для которых дифференциально-алгебраические краевые задачи сводятся к дифференциальным двухточечным краевым задачам. В частности, задача (23)(27) сводится к задаче

x ( t ) = f ( x ( t ), u * ( p ( t ), x ( t ), t ), t ), x ( 1 0 ) = x ⁰, p ( t ) = - H x ( p ( t ), x ( t , u ), u ( t ), t ) - R ( p ( t ), x ( t ), t ), p ( t 1 ) = ^- Ф x ( ^x ( t 1 , ^u )) ^- Q ( ^x ( t 1 )).

Определяя различные однозначные отображения R ( p , x , t ) , Q ( x ) можно получать различные модификации условий улучшения в форме краевых задач стандартного вида.

2.    Задачи о неподвижной точке операторов управления

Для удобства эквивалентного представления условий улучшения в форме задач о неподвижной точке операторов управления введем следующие обозначения.

В соответствии с [4] рассмотрим модифицированную дифференциально-алгебраическую сопряженную систему в форме p (t) = -Hx (P (tX x(t), w(t), t) - r(t) ,

H _x ( p ( t ), x ( t ), w ( t ), t ), y ( t ) - x ( t ) + r ( t ), y ( t ) - x ( t ) = = Δ _{y ( t )} H ( p ( t ), x ( t ), w ( t ), t ) с краевыми условиями

p ( t ₁ ) =- ϕ _x ( x ( t ₁ )) - q ,

ϕ _x ( x ( t ₁ )), y ( t ₁ ) - x ( t ₁ ) + q , y ( t ₁ ) - x ( t ₁ ) = Δ _{y ( t 1)} ϕ ( x ( t ₁ )) .

Величины r ( t ) и q всегда можно однозначно выразить из соответствующих алгебраических уравнений (29) и (31) (возможно, не единственным способом) и, таким образом, система (28)-(31) всегда может быть сведена к дифференциальной сопряженной системе.

Предположим, что при заданном способе сведения вспомогательная дифференциальная система для допустимых управлений u , v допускает однозначные решения:

p ( t , u , v ) , t ∈ T – при x ( t ) = x ( t , u ) , w ( t ) = u ( t ) , y ( t ) = x ( t , v ) ;

γ ( t , u , v ) , t ∈ T – при x ( t ) = x ( t , u ) , w ( t ) = v ( t ) , y ( t ) = x ( t , v ) .

Из определения следует, что p ( t , u , u ) = γ ( t , u , u ) = ψ ( t , u ) , t ∈ T .

В [4] показано, что в соответствии с обозначениями формула приращения (22) принимает вид ΔvΦ(u) = -∫Δv(t)H(p(t,u,v),x(t,v),u(t),t)dt,(32)

T и краевая задача улучшения (23)-(27) эквивалентна задаче о неподвижной точке

v(t)=u*(p(t,u,v),x(t,v),t), t∈T,(33)

Аналогично в соответствии с введенными обозначениями решение p ( t ) и выходное управление v ( t ) для краевой задачи (17)-(21) можно представить в виде

p ( t ) = γ ( t , u , v ), t ∈ T ,

v(t) =u*(γ(t,u,v), x(t,u),t), t∈T .(34)

Формула приращения функционала (16) в новых обозначениях принимает вид

ΔvΦ(u) = -∫Δv(t)H(γ(t,u,v),x(t,u),u(t),t)dt .(35)

T

Условие (34) также имеет форму задачи о неподвижной точке и является эквивалентным краевой задаче (17)-(21).

Таким образом, можно определить соответствующие однозначные отображения P ( u , v ) = p ( t , u , v ) , t ∈ T и Γ ( u , v ) = γ ( t , u , v ) , t ∈ T на множестве V × V , отвечающие заданному способу сведения дифференциально-алгебраической сопряженной системы (28)-(31) к вспомогательной дифференциальной сопряженной системе. Определяя различные отображения P ( u , v ) и Γ ( u , v ) , будем получать различные модификации условий улучшения в форме краевых задач и задач о неподвижной точке. Множества выходных управлений, соответствующих различным рассматриваемым отображениям, формируют всю совокупность улучшающих управлений. Рассматриваемый подход к реализации предлагаемых условий улучшения через различные однозначные отображения позволяет конструировать специальные вычислительные технологии улучшения, в которых на каждой итерации улучшения выбирается наилучшее по функционалу управление среди возможных модификаций условий улучшения.

Формулы приращения (33), (35), не содержащие остаточных членов разложений, позволяют сформулировать аналогичные работе [3] достаточные и необходимые условия оптимальности управления в задаче (1), (2).

Согласно формуле (33) для оптимальности управления u ∈ V достаточно (и необходимо), чтобы Δ _{v ( t )} H ( p ( t , u , v ), x ( t , v ), u ( t ), t ) ≤ 0,      v ∈ V , t ∈ T .

Для выполнения последнего неравенства достаточно требовать, чтобы ΔvH(p, x, u(t), t) ≤ 0 , v ∈U , p ∈ Rn , x ∈ Rn , t ∈ T . Последнее условие эквивалентно соотношению u(t) = u∗(p,x,t) , p ∈ Rn , x ∈ Rn , t ∈ T . Учитывая (33), множество возможных пар значений (x, p) можно сузить до множества достижимости Dx p (t, u) в момент времени t e T, определяемого как множество пар значений решений x(t, v) , p(t,u,v) в момент t , когда управление v «пробегает» множество V

D x , p ( t , u ) = {( x , p ) e R" x R" : x = x ( t , v ), p = p ( t , u , v ), v e V }.

Таким образом, для оптимальности управления u e V достаточно, чтобы u (t) = u * (p, x, t),     (x, p) e Dx, p (t, u), t e T.                             (36)

Рассмотрим формулу (35). Введем множество достижимости модифицированной сопряженной системы в момент времени t e T

D p ( t , u ) = { p e R " : p = / ( t , v , u ), v e V }.

Тогда для оптимальности управления u eV достаточно, чтобы u (t) = u * (p, x (t, u), t),         p e Dp (t, u), t e T.                          (37)

Очевидно, что в достаточных условиях оптимальности (36), (37) допустимы любые оценки по включению для соответствующих множеств достижимости. Принцип максимума (4) для управления u e V получается из достаточных условий (36) и (37) при x = x ( t , u ), p = p ( t , u , u ) = < / ( t , u ).

Условие улучшения (34) позволяет сформулировать аналогичное работе [4] необходимое условие оптимальности управления в задаче (1), (2).

Для этого обозначим множество допустимых выходных управлений дифференциальноалгебраической краевой задачи (17)-(21):

V ( u ) = { v e V : v ( t ) = u * ( y ( t , u , v ), x ( t , u ), t ), t e T } .

Имеем, если u e V ( u ), то

u(t) = u* (/(t, u, u),x(t, u), t) = u* (^(t, u), x(t, u), t), t e T, т.е. управление u удовлетворяет принципу максимума.

Обратно, если u удовлетворяет принципу максимума (4), то оно удовлетворяет условию (33) при v = u . Следовательно, u e V ( u ).

Отсюда следует, во-первых, что краевая задача (17) – (21) для управления u , удовлетворяющего принципу максимума (4), всегда допускает решение x ( t ) = x ( t , u ), p ( t ) = y(t , u ).

Следовательно, если краевая задача (17) – (21) не имеет решения, то управление u не удовлетворяет принципу максимума.

Во-вторых, в случае, если краевая задача (17) – (21) для управления u , удовлетворяющего принципу максимума (4), допускает решение, отличное от x ( t ) = x ( t , u ), p ( t ) = y(t , u ), то появляется принципиальная возможность строгого улучшения данного экстремального управления. Такая возможность иллюстрируется в работе [4] в рамках краевой задачи (23)-(21).

Принцип максимума в задаче (1), (2) в терминах решения краевой задачи (17) – (21) можно сформулировать в следующей форме.

Принцип максимума. Для оптимальности управления u e V необходимо, чтобы пара ( x ( t , u ), ^ ( t , u ) ) была решением краевой задачи (17) - (21).

Заключение

В случае линейной по состоянию задачи (1), (2) (функции f ( x , u , t ) , F ( x , u , t ) , ϕ ( x ) линейны по x ) краевая задача (17) – (21) сводится к двум задачам Коши для сопряженной и фазовой систем. При этом предлагаемая процедура улучшения становится эквивалентной известному ψ -методу нелокального улучшения [2].

В нелинейной по состоянию задаче (1), (2) трудности решения возникающих вспомогательных дифференциальных краевых задач обуславливаются возможной негладкостью правой части и наличием собственных чисел матрицы Якоби с положительной вещественной частью. Это затрудняет применение стандартных методов для их решения (метод стрельбы, метод линеаризации, конечноразностный метод).

Для решения предлагаемых дифференциально-алгебраических условий улучшения можно применить аналогичные работам [3, 8] вычислительно эффективные методы возмущений.

Выделим основные свойства рассматриваемых условий улучшения управления в классе нелинейных задач:

• 1.    Трудоемкость улучшения определяется трудоемкостью решения специальной краевой задачи, которая по свойствам гладкости существенно проще краевой задачи принципа максимума.

• 2.    В линейной по состоянию задаче оптимального управления со свободным правым концом процедура улучшения сводится к двум задачам Коши для фазовой и сопряженной систем.

• 3.    Нелокальность улучшения управления, т.е. улучшаемое и улучшающее управления не связаны параметром близости, характерным для градиентных методов улучшения.

• 4.    Отсутствие трудоемкой процедуры выпуклого или игольчатого варьирования управления, характерной для стандартных локальных методов улучшения.

• 5.    Принципиальная возможность улучшения управлений, удовлетворяющих принципу максимума (в том числе, особых управлений).

Такая возможность появляется в случае неединственности решения краевой задачи улучшения.

Выделенные свойства являются существенными факторами повышения вычислительной и качественной эффективности решения задач оптимизации нелинейных управляемых систем. Рассматриваемый подход к реализации условий улучшения через их различные модификации, допускающие однозначные решения, позволяет оставаться в рамках классической теории решений дифференциальных уравнений и ориентирован на параллельные вычисления.