Условия и методы улучшения управления в квадратичных системах с ограничениями

В работах [1; 2] предложены методы нелокального улучшения управлений в классе линейных и полиномиальных по состоянию задач оптимального управления со свободным правым концом. Эти методы не содержат трудоемкую операцию изменения управления в малой окрестности текущего приближения. Указанные особенности методов являются существенными факторами для повышения эффективности решения задач рассматриваемого класса.

В статьях [3; 4] методы нелокального улучшения [1; 2] обобщаются для соответствующего класса задач оптимального управления с терминальными ограничениями. Для улучшения допустимого управления с сохранением всех терминальных ограничений требуется решить специальную краевую задачу. Для решения указанной краевой задачи применяется известный в математике подход возмущений.

В данной статье условие нелокального улучшения интерпретируется как специальная система функциональных уравнений, эквивалентная краевой задаче улучшения. Структура данной системы позволяет применить к ее решению известный в вычислительной математике [6] аппарат теории и методов неподвижных точек.

1 Задача улучшения управления

Рассматривается задача оптимального управления x = A(x,t)u + b(x,t), t e T = [t0, t ],(1)

x(to) = x0,           u(t) e U,(2)

t j

Ф(u) = Cc, x(t1)} + J[^F1 (x, t), u ^ + F2(x, t)Jdt ^ min,(3)

t 0

xj( t1) = xjj.

Здесь функции A ( x , t ), b ( x , t ), F ( x , t ) и F₂ ( x , t ) квадратичны по x и непрерывны по t на множестве R" х T ; с e R " — заданный вектор, причем с , = 0 ; U ^ R^r — выпуклое компактное множество; интервал времени T и конечное состояние x ₁¹ заданы.

В задаче (1)-(4) определим множество доступных управлений

V = { u e PC ( T ): u ( t ) e U , t e t } .

Для доступного управления v e V обозначим x ( t , v ), t e T — решение задачи Коши (1), (2) при u = v ( t ), t e T .

Определим множество допустимых управлений

W = { u e V : x 1 ( 1 1 , u ) = x _J ^J } .

Введем в рассмотрение функцию Понтрягина с сопряженной переменной p e Rⁿ

H ( p , x , u , t ) = H o ( p , x , t ) + H i ( p , x , t ), u) , где H o ( p , x , t ) = { p , b ( x , t )} - F , ( x , t ), H j ( p , x , t ) = A ( x , t ) ^Tp - F ( x , t X Рассмотрим регулярный функционал Лагранжа:

L ( u , Я ) = Ф ( u ) + k ( x 1 ( 1 1 ) - x j ) , ke R .

Пусть (u0, v) — доступные управления. Введем в рассмотрение модифицированную сопряженную систему p = -Hx(p,x(t,u°),u0(t),t) -2Hxx(p,x(t,u°),u0(t),t)(x(t,v) -x(t,u°)), (5) pi(tj) = -k, _                             (6)

p , ⁽ t i ) = ^- c i , i = ², n .                                       ⁽⁷⁾

Обозначим через p ( t , u ⁰, v , k ), t e T — решение модифицированной сопряженной системы (5)-(7).

Имеет место следующая точная формула приращения функционала Лагранжа [2]

A v L ( u ⁰, Я ) = - J ( H i ( p ( t , u ⁰, v , Я ), x ( t , v ), t ), v ( t ) - u °( t )) dt . T

Для доступного управления u0 e V и фиксированного параметра проектирования a > 0 образуем вектор-функцию ua (p,x,t) = PU (u0(t) + aH 1(p,x,t)), p e Rn, x e Rn, a > 0, где PU — оператор проектирования на множество U в евклидовой норме. Поставим задачу улучшения для управления u0 e W: найти управление v e W со свойством

Ф ( v ) <Ф ( u °) ( a _v Ф ( u °) <  0 ) .

Показано [5], что для нелокального улучшения управления u0 e W можно решить специальную краевую задачу x = A (x, t) ua (p, x, t) + b (x, t), teT,

p = - H x ⁽ P , ^{x (} t , u °X u ⁰⁽ t X t ) - ^{1 H} xx ⁽ P , ^{x (} t , u °X u ⁰⁽ t X t ^{)( x} - ^{x (} t , u ⁰⁾X     _

^{2                                           (8)}

x (t0) = x0, Xj(t1) = xj pi(t i) = -С, i = 2,n.

Пусть пара ( x ( t ), p ( t )), t e T — решение краевой задачи (8). Сформируем выходное управление

v ( t ) = u ^a ( p ( t ), x ( t ), t ), t e T .

Имеет место оценка улучшения

A v Ф ( u °) <- aa J T| v ( t ) - u °( t )|² dt .                      (9)

Из оценки (9) следует, что, если управление v отличается от управления и ⁰, то обеспечивается строгое улучшение целевого функционала.

На основе оценки (9) в [5] также показано, что неединственность решения краевой задачи улучшения (5) позволяет строго улучшить допустимое управление, удовлетворяющее регулярному принципу максимума. При этом принцип максимума можно сформулировать следующим образом.

Теорема 1 . Пусть управление и ⁰ е W является оптимальным в регулярной задаче (1)-(4). Тогда и ⁰ е W является выходным управлением краевой задачи (5) для некоторого a >  0.

Указанная оценка (9) позволяет сформулировать усиленное необходимое условие оптимальности в регулярной задаче (1)-(4).

Теорема 2 . Пусть управление и ⁰ е W является оптимальным в регулярной задаче (1)-(4). Тогда для всех a >  0 управление и ⁰ е W является единственным выходным управлением краевой задачи (5).

Действительно, в случае существования при некотором a >  0 выходного управления v ≠ u в силу оценки получаем строгое улучшение А _v Ф ( и ⁰) <  0, что противоречит оптимальности управления и ⁰ е W .

Предлагаемые в настоящей работе нелокальные методы оптимизации основываются на следующем утверждении .

Теорема 3. Краевая задача (8) эквивалентна специальной системе функциональных уравнений с некоторым Ле R :

v ( t ) = u ^a ( p ( t , и ⁰, v , Л ), x ( t , v ), t ), a >  0, t е T , X 1 ( t_x, v ) = x 1 .

Действительно, пусть пара ( x ( t ), p ( t )), t е T — решение краевой задачи (8). Построим выходное управление

v ( t ) = и a ( p ( t ), x ( t ), t ), t е T .

Тогда

x(t) = x(t, v), p(t) = p(t, и0, v, Л), t е T при Л = -pt(tj.

Следовательно, управление v ( t ), t е T удовлетворяет системе уравнений (10) с указанным Л е R .

Обратно, пусть управление v ( t ), t е T — решение системы (10) при некотором Ле R . Тогда пара ( x ( t , v ), p ( t , и ⁰, v , Л )), t е T , очевидно, удовлетворяет краевой задаче (8).

Система уравнений (10) рассматривается как задача о неподвижной точке в пространстве управлений с дополнительным уравнением. Это позволяет применить к ее решению аппарат теории и методов неподвижных точек [6].

2 Итерационные методы

Для решения системы (10) модифицируется известный алгоритм метода простой итерации [6] в следующей неявной форме при к >  0 :

v k ^{+ 1}( t ) = u ^a ( p ( t , u ⁰, v^k , X ^k ), x ( t , v^{k + 1}), t ), t G T , x 1 ( t i , v^{k + 1}) = x 1 .

В качестве начального приближения итерационного процесса (11) выбирается управление v ⁰ g V .

Для реализации предлагаемого неявного итерационного процесса на каждой итерации рассматривается вспомогательная краевая задача:

xк+1 = A(xk+1, t)ua (pk+1,xk+1, t) + b(xk+1, t), t g T = [10, /1 ], xk+1(10) = x0, X1k+1(11) = x1,                             (12)

p^{k + 1} =- H_x ( p^{k + 1}, x ( t , u ⁰), u ⁰( t ), t ) -

- 2 Hxx (pk+1, x (t, u °), u 0( t), t)(x (t, vk) - x (t, u °)), pk+1(tj = -c, i = 2,n.

К решению задачи (12) применяется следующий подход.

Положим p ₁ ( t ₁) = - X , где Xg R — неизвестный параметр (множитель

Лагранжа), подлежащий определению. Обозначим через pX (t), t g T ре- шение задачи Коши:

p = - H x ( P , x ( t , u ⁰), u ⁰( t ), t ) -

- 2^ H xx ( P , x ( t , u °), u ⁰( t ), t )( x ( t , v^k ) - x ( t , u °)),

P 1 ⁽ t 1 ) = ^{- X} , P i ⁽ t 1 ) = ^- С , i = ², n .

Пусть x ^x ( t ), t g T решение специальной задачи Коши:

:x = A ( x , t ) u ^a ( p ^x ( t ), x , t ) + b ( x , t ), t g T , x ( 1 ₀) = x ⁰.

Тогда решение задачи (12) сводится к решению уравнения относительно параметра X :

x X ( t 1 ) = x ( .                                   (14)

Пусть (xk+1(t), pk+1(t)), t g T — решение вспомогательной краевой задачи (12) с параметром Xk, удовлетворяющим уравнению (14). Тогда pk+1( t) = p (t, u0, vk, Xk), где Xk =-pk+1(t1).

Следующее приближение управления сформируем по правилу:

v^{k + 1}( t ) = u ^a ( p^{k + 1}( t ), x^{k + 1}( t ), t ), t G T .

Понятно, что x^{k + 1}( t ) = x ( t , v^{k + 1}), t G T .

Таким образом, реализация неявного процесса (11) на каждой итерации сводится к решению уравнения (14).

Другая модификация алгоритма метода простой итерации для решения системы (10) имеет более привычную стандартную явную форму при к >  0 :

v k ^{+ 1} ( t ) = u a ( p ( t , u ⁰, v^k , X ^k ), x ( t , v^k ), t ),    t G T ,

X 1 ( t i , v^{k + 1}) = x i *

В качестве начального приближения итерационного процесса (15) выбирается управление v ⁰ g V .

Для реализации предлагаемого явного итерационного процесса (15) предлагается подход, аналогичный указанному выше.

Положим p 1 ( t 1 ) = - Х , где Xg R — неизвестный параметр (множитель Лагранжа), подлежащий определению. Обозначим р ^х ( t ), t g T решение задачи Коши:

Р = - H x ( Р , x ( t , u 0 ), u 0 ( t ), t ) -

- 2 H xx ( Р , x ( t , u °), u ⁰( t ), t )( x ( t , v k ) - x ( t , u °)),

Р 1 ⁽ t 1 ) = ^-X , P.⁽t j = ^- C, i = ² n .

Сформируем управление

V ^х ( t ) = u a ( p ^x ( t ), x ( t , v^k ), t ), t G T .

Для полученного управления находится решение x ( t , v ^x ), t g T обычной задачи Коши

:x = A ( x , t ) v ^x ( t ) + b ( x , t ), t g T , x ( 1 ₀) = x ⁰.

Множитель Лагранжа Xg R на каждой итерации процесса (15) выбирается из условия выполнения терминального ограничения:

x 1 ( t 1 , V ^х ) = x\.                                      (17)

Пусть X ^k — решение уравнения (17). Сформируем выходное управление v^{k + 1}( t ) = V ^х ( t ), t G T .

Отметим, что в процессах (11), (15) предполагается возможность выполнения терминального ограничения на каждой итерации процесса последовательных приближений управления. Начальное приближение итерационных процессов может не удовлетворять терминальному ограничению, что является важным для практической реализации алгоритмов.

Сходимость итерационных процессов можно обосновать с помощью принципа возмущений аналогично [2].

Итерационные процессы (11), (15) применяются до первого улучшения управления u ⁰. Далее для полученного управления строится новая задача улучшения. Критерием остановки итераций улучшения управления является отсутствие улучшения управления по целевому функционалу.

Таким образом, формируются итерационные методы построения релаксационных последовательностей допустимых управлений, т. е. удовлетворяющих терминальному ограничению.

3 Примеры

Пример 1.

x — и, t g T — [0, 1], |u(t)| < 1, t gT, x (0) = 0,

Ф(и) = -Jx2dt ^ min, x (1) = 0.

Рассмотрим и ⁰( t ) = 0, t g T . При этом x ( t , и ⁰) = 0, t g T , Ф ( и ⁰) = 0.

В данном случае имеем

H = ри + x ², H ₀ = x ², H 1 = p .

Положим a = 1. Тогда отображение и ^а принимает вид

'1, Р > 1, и (Р) =‘

-

1, Р <^{- 1,}

I Р ,

-

Краевая задача улучшения (8) имеет вид x — ua (Р), p — - x, t G T, x (0) = x (1) = 0.

Нетрудно видеть, что пара p ( t ) = 0, x ( t ) — x ( t , и ⁰) ^ 0, t g T является решением краевой задачи, т. е. допустимое управление и ⁰ удовлетворяет регулярному принципу максимума с X — 0.

В качестве начального приближения итерационного процесса (15) рассмотрим управление v ⁰( t ) ^- 1, t g T , которому соответствует фазовая траектория x ( t , v ⁰) = - 1 , t g T .

Модифицированная сопряженная система имеет вид ^p = t , Р ^{(1) — - X .}

Решением этой системы является функция t ²             1

px(t)=--x--, t gt.

Предположим | p ^X ( t )| <  1, t g T . Тогда соответствующая задача Коши для фазовой системы принимает вид ²

x — - - X --, x (0) = 0, которая имеет решение

,„ t ³ Г 1 ^

x ( t ) —-- X +— t , t G T .

6 I 2 J

Условие

x " (1) = о,

эквивалентное условию

^- - " - ^- = 0, 6     2

определяет значение множителя Лагранжа

" = -1 3

•

При этом получаем p"(t)=.-7, tGT 2  6

(условие | p " ( t )| <  1, t e T выполняется).

Отсюда получаем соответствующее выходное управление v (t) = - - - t e T 2  6

и значение целевого функционала

Ф ( v ) = - —.

Таким образом, имеет место строгое улучшение исходного допустимого управления и ⁰, удовлетворяющего регулярному принципу максимума:

Ф ( v )< ф ( и ⁰).

Пример 2.

x = и , t e T = [ 0, 2 ] ,

x (0) = 0, | u ( t )| <  2, t e Т ,

1 1 2„

ф( и) = — lx dt ^ min, x (2) = 2.

Рассмотрим и ⁰( t ) = 1, t e T . Тогда x ( t , и ⁰) = t , t e T , Ф ( и ⁰) =

Имеем

H = pu -^ x ², H ₀ = -^ x ², H 1 = p .

Положим a = 1. Тогда отображение и a принимает вид f2, Р > 2, иа (p) = ^-2, p<-2, a p,

- 2 < p < 2.

В качестве начального приближения итерационного процесса (15) рассмотрим управление v ⁰( t ) = 0, t е T . Тогда х ( t , v ⁰) = 0, t е T .

Модифицированная сопряженная система имеет вид

Р = 2, Р ⁽²⁾ = ^Л

Ее решение '

p ^ ( t ) = - - Л - 1, t е T .

Предположим | р ^Л ( t )| <  2, t е T . Тогда соответствующая задача Коши для фазовой системы примет вид t ²

х = — - Л - 1, х (0) = 0 .

Эта задача имеет решение t ³                .

х (t) = )~2 - (Л +1) t, t е T.

Условие хЛ (2) = 2, эквивалентное условию

3 - 2 ( Л + 1 ) = 2, определяет значение множителя Лагранжа

Л = - 5

.

При этом имеем

Р ^Л ( t ) = 4 + J, t е T

(условие | р ^Л ( t )| <  2, t е T выполняется).

Отсюда получаем соответствующее выходное управление

v(t) = - + -, t е T

4   3, и значение целевого функционала а 956 ф( v) =----.

Таким образом, выполняется строгое улучшение исходного допусти мого управления и0:

ф ( v )< ф ( и ⁰).

Заключение

В работе для рассматриваемого класса задач с ограничениями для регулярного случая получены следующие результаты.

• 1.    Получены необходимые условия оптимальности управления в терминах специальной краевой задачи.

• 2.    Построено новое условие нелокального улучшения допустимого управления в форме задачи о неподвижной точке, эквивалентное специальной краевой задаче.

• 3.    Сконструированы нелокальные методы оптимизации в рассматриваемом классе задач.

Предлагаемые методы характеризуются следующими свойствами:

• 1)    отсутствие процедуры варьирования управления в малой окрестности улучшаемого управления;

• 2)    выполнение свойства допустимости выходного управления на каждой итерации улучшения;

• 3)    возможность строгого улучшения допустимого управления, удовлетворяющего регулярному принципу максимума, в отличие от стандартных градиентных методов;

• 4)    решение на каждой итерации предлагаемых итерационных процессов задач Коши с непрерывной правой частью, в отличие от методов, требующих решения специальных задач Коши с разрывной по переменным состояния правой частью.