Точные формулы приращения функционала и нелокальные условия оптимальности в линейно-квадратичной задаче управления

В теории оптимального управления для задач без фазовых ограничений специальные формулы приращения целевого функционала имеют историческое значение. Они явились основой для доказательства необходимых и достаточных условий оптимальности и построения конструктивных методов численного решения для широкого класса задач. Выделим избранные работы этого направления исследований [1] – [8] , в которых конструируются и используются разнообразные формулы в рамках «метода приращений».

В последнее время возродился интерес к точным формулам приращения, которые не содержат остаточных членов тех или иных разложений и позволяют относительно просто получать результаты нелокального сорта без использования достаточно малых параметров. Первые формулы такого типа для линейно-квадратичных задач представлены в монографии [8] вместе с процедурами улучшения допустимых управлений и методами последовательных приближений. В недавних публикациях [9] , [10] точные формулы приращения в рамках незаурядной методики построены для нелинейной задачи терминального управления с широким спектром обобщений. На этой основе получены позиционные условия оптимальности, альтернативные принципу максимума Понтрягина (ПМП).

В данной статье с аналогичной позиции рассматриваются точные формулы для линейно-квадратичной задачи. В результате получены новые условия оптимальности на уровне значений целевого функционала. Реализация (проверка) этих условий связана с позиционными процедурами улучшения допустимых управлений на основе интегрирования фазовой или сопряженной системы. Необходимо, конечно, отметить незаурядную возможность улучшения управлений, удовлетворяющих ПМП.

• 1    Постановка задачи

Рассмотрим задачу на минимум квадратичного функционала

Ф(и) = h c, x(t 1 ) i + 2 h x(t 1 ),Cx(t 1 ) i +

+ I (b o (u,t) + h a(u,t'),x(t')' i + h Xx)tD D(u,X)x) i)))dt, J to                                   ²

связанного с линейной по состоянию динамической системой sc = A(u, t)x + b(u, t), x(to) = x° при ограничениях на управление в каждый момент времени

u(t) G U, t G T =[t o ,t i ].                         (3)

Класс допустимых управлений V определим как множество кусочнонепрерывных вектор-функций u(t), удовлетворяющих условию (3) с компактным множеством U ⊂ R ^r .

Внесем необходимые предположения. Для функционала (1) считаем, что (n х n) матрицы C , D(u, t) симметричны и функции b o (u, t), a(u, t), D(u, t) непрерывны по своим аргументам на U х T . Для системы (2) сохраняем свойство непрерывности относительно матричной функции A(u,t) и вектор-функции b(u,t).

Для дальнейших соотношений удобно использовать следующие обозначения:

^(x) = hc, xi + -hx, Cxi, f (x, u, t) = A(u, t)x + b(u, t), fo(x, u, t) = bo(u, t) + ha(u, t),xi + -hx, D(u, t)xi.

Введем теперь стандарты необходимых условий оптимальности:

функция Понтрягина и ее частное приращение по управлению:

H(^,x,u,t) = h ^,f (x,u,t)} - f o (x,u,t),

A v H(ф, x, u, t) = H(ф, x, v, t) — H(ф, x, u, t);

первая сопряженная задача относительно вектор-функции ф(t):

ф = — H x (^,x,u,t), ф(Ь 1 ) = — ^ x (x(t i ));          (4)

вторая сопряженная задача относительно матричной функции Габасова Ф(t):

Ф = — A(u,t)^T Ф — ФA(u,t) + D(u,t), Ф(t 1 ) = — C.    (5)

Далее, для управления u G V будем обозначать x^u(t), ф ^u (t), Ф _u (t), t ∈ T соответствующие решения фазовой и сопряженных систем.

Для пары управлений u , v ∈ V определим комбинированную вектор-функцию:

p ^u (t, x(t)) = ф ^u (t) + Ф и (t)(x ^v (t) — x u (t)), t G T.

Теперь имеется возможность представить формулу приращения функционала [8] :

Ф(v)

-

Ф(и) = - [t1 t 0

A v ₍ t ) H (p^x* (t)),x ^v (t),u(t),t)dt.

Остается добавить, что это точная (без остаточных членов) формула приращения, которая открывает возможность нелокального (без варьирования) улучшения для управления u(t) на основе операции на максимум функции Понтрягина. При этом условие неулучшения автоматически становится необходимым условием оптимальности. Кроме того, та же формула содержит потенциал для достаточных условий локальной и глобальной оптимальности управления с помощью той же операции с функцией Понтрягина.

• 2    Условия улучшения и оптимальности

На основании формулы (6) определим управление v(t) вместе с фазовой траекторией x v (t) следующим экстремальным условием:

v(t) = arg max H(p ^u (t,x ^v (t)),x ^v (t),w,t), t G T.          (7)

w ∈ U

Пусть V _u ⊂ V — множеств таких H -максимизирующих управлений.

В результате получаем неравенство для интегранта из (6) :

^v(t)H(PU(t,xv(t)),xv(t),u(t),t) > 0, t G T, это приводит к улучшению управления u() на основе условия (7):

Ф(v) <  Ф(и), v G V u .

Отсюда очевидно следует необходимое условие оптимальности для управления u() (условие неулучшения):

Ф(и) = Ф(v), v G V u .                        (8)

Согласно той же формуле (6) получаем поточечный (в каждой точке t ∈ T ) вариант этого условия

Ф(v) — Ф(и) = 0 О A _v ( _t ) H(p ^u (t,x ^v (t)),x ^v (t),u(t),t) =0 О

u(t) = arg max H(p^u(t,x^v(t)),x ^v (t^w,^, t G T, v G V _u .     (9)

w ∈ U

Таким образом, формула приращения (6) приводит к необходимому условию оптимальности для управления и() в функциональном варианте (8) и традиционной версии (9) .

Отметим ситуацию «не выполнения» условия (8) : найдется управление v G V U с неравенством Ф(v) < Ф(и). Это управление сразу решает задачу улучшения без дополнительных затрат (нелокальное улучшение).

Выделим характерный случай, когда управление u( • ) удовлетворяет ПМП, т.е.

u(t) = arg max H(-ф^и(t), x^u (t), w,t), t G T.

w ∈ U

Это соответствует условию улучшения (7) при v = и, поскольку p ^u (t,x ^u (t)) = ^ ^u (t). Следовательно, в данном случае и G V U . Однако при этом условие максимума (9) накладывает на управление и0 дополнительное требование максимизировать функцию H для «чужих» траекторий x^v (t), v G V _u \{ u } . Иными словами, нелокальное условие (8) может преодолевать «барьер ПМП», т. е. не выполняться на управлениях, удовлетворяющих ПМП (раздел 4, пример 2).

Тем не менее ПМП не является следствием условия (8) , которое может выполняться на управлениях, не удовлетворяющих ПМП (раздел 4, пример 1).

В результате заключаем, что нелокальное условие (8) и ПМП является независимым.

В связи с этим следует отметить, что указанные условия совпадают в простейшей задаче оптимального управления

Ф(и) = h c,x(t 1 )) ^ min, и G V, x = A(t)x + b(u,t), x(t o ) = x^G.

• 3    Конструктивная процедура улучшения

Представим механизм реализации условия улучшения (7) или технологию проверки управления u( - ) на оптимальность с помощью условия (8) .

Определим вектор-функцию u * (^,x,t) экстремальным соотношением

u*(^,x,t) = arg max H(^,x,u,t) u∈U и предположим, что доступно аналитическое выражение для и*(ф, x, t), которое формализует кусочно-непрерывную вектор-функцию на Rn × Rn × T.

Схема улучшения управления u ∈ V в рамках условий оптимальности (8) , (9) выглядит следующим образом:

• 1)    по допустимой паре (u(t),x u (t)) найдем решения ^ u (t), ^ _u (t) сопряженных задач (4) , (5) ;

• 2)    образуем вектор-функцию

p ^u (t, x) = ^ ^u (t) + ^ u (t)(x - x ^u (t))

и сформируем позиционное управление

v * (x,t) = u * (p ^u (t,x),x,t), x E R ^r , t E T ;

• 3)    найдем решение x(t) фазовой системы

x = f (x,v * (x,t),t), x(t o ) = x°                (10)

вместе с управлением v(t) = v * (x(t),t), t E T .

Проведем обсуждение процедуры 1)-3).

Предположим, что решение x(t) системы (10) существует (возможно, не единственное) и управление v(t) является кусочно-непрерывной вектор-функцией на T . Тогда v E V, x(t) = x^v (t), и на выходе процедуры получаем допустимый процесс (v(t),x' v (t)).

Кроме того,

v(t) = u * (p ^u (t, x^v(t)),x^v(t),t), t E T.

Это значит, что v ∈ V _u (условие (7) выполнено), т. е. имеет место слабое улучшение Ф(v) <   Ф(и). Строгое неравенство означает невыполнение условия (8) и спуск по функционалу. В случае равенства Ф(v) = Ф(и) для полной проверки условия (8) V v E V _u необходимо найти все решения x(t) системы (10) вместе с порождающими управлениями v(t) , t E T .

Отметим ситуацию, когда управление u( ^ ) удовлетворяет ПМП, т. е.

u(t) = u * (^ ^u (t),x ^u (t),t), t E T.

Это значит, что u E V _u , т. е. траектория x^u(t) является решением системы (10) и пара (u(t), x ^u (t)) имеется на выходе процедуры 1)-3). Иными словами, совпадение v(t) = u(t), t E T означает, что управление u() удовлетворяет ПМП.

В. А. Срочко, Е. В. Аксенюшкина. Точные формулы приращения функционала и нелокальные условия оптимальности ...

• 4    Сравнение условий оптимальности

Выясним взаимодействие ПМП и нелокального условия (8) (выполняется, не выполняется) на примерах.

Пример 1.

1 У2

^{Ф( и )} = 2 0о

x ² (t)dt ^ min,

x = u, x(0) = 1,     | u(t) | <  1, t G [0, 2].

В данном случае

H = фи — -x²,

u * = sign^,

ф = x, ф(2) = 0, Ф = 1, Ф(2) = 0.

Рассмотрим управление и = —1 с траекториями xu(t)=1 — t, ^u(t) = 21(2 — t), ^u(t)= t — 2.

Данное управление не удовлетворяет ПМП: ^ ^u (t) >  0, t G (0, 2).

Проверим условие (8) в соответствии с процедурой 1)-3). В данном случае pu(t,x) = (2 — t)(1 — x — 2 t),

v * (x,t) = signp^u(t,x').

Решаем уравнение x = signpu(t, x), x(0) = 1.

Начальная точка t = 0 является особой: p ^u (0, x(0)) = 0, поэтому требуется апробация вариантов. Предположения p ^u (t,x(t)) <  0, p ^u (t,x(t)) >  0, t >  0 в силу уравнения (11) приводят к противоречию. Остается особый случай p ^u (t,x(t)) =0, t >  0, которому соответствует скользящий режим x(t) = 1 — 2 1 с порождающим управлением v(t) = — 2 , t G [0,2]. При этом значение функционала сохраняется: Ф(и) = Ф(v) = 3 .

Отметим, что скользящий режим является устойчивым в том смысле, что V т G (0, 2) задача Коши x = signpu(t, x), x(t) = 1 — -т имеет единственное решение x(t) = 1 — 21, t G [т, 2] (выход из скользящего режима невозможен). Этот факт проверяется в полной аналогии с предыдущим случаем, когда т = 0.

Таким образом, нелокальное условие (8) для управления и = — 1 выполняется с единственным управлением v = — 2 на выходе процедуры 1)-3) без улучшения: Ф(и) = Ф(v).

Пример 2.

Ф(и) =

-

1    / 1 x2(t)dt 2    00

→ min,

X = и, x(0) = 0,     | u(t) | <  1, t € [0,1].

В данном случае

H = ^u + 2 x ² ,

u * = sign^, ^ = — x, ^(1) = 0,

Ф = — 1, Ф(1) = 0 ^ Ф(t) = 1 — t.

Рассмотрим управление

u(t) = I 1, t ^{€ [0}? 3 ^] , ^{U ( t )} 1— 1, t € ( 3 , 1]

с траекториями (по отрезкам [0, 3 ], [ 3 , 1])

x ^u (t) =

t,

- t,

^(t) =

2(3—1)( 3 + t), 2 (t— 3 )(t— 1)

и значением функционала Ф(и) = — 54 .

Данное управление удовлетворяет ПМП:

u(t) = sign^ ^u (t), t € [0,1].

Проверим условие (8) по схеме 1)-3). Подсчитаем функцию pu(t, x) = ^u(t) + Ф(t)(x — xu(t)) =

2(3 — t)(3 + t) + (1 — t)(x — t), t € [0, 3], (1 — t)(x + 2— 2)>          t € [3,1].

При этом v * (x,t) = signp ^u (t, x). Далее решаем уравнение

X = signp^u(t, x), x(0) = 0

Пусть t € [0, 3 ]. Поскольку p ^u (0,x(0)) = ^ > 0, то единственным решением уравнения (12) является x(t) = t с управлением v(t) = 1, т.е. на этом участке

x(t) = x ^u (t), v(t) = u(t), p ^u (t,x(t)) = ^ u (t).

Точка t = 3 является особой: p ^u ( 3 ,x( 3 )) = 0, т.е. требуется проверка вариантов пролонгации.

Пусть t G ( 3 ,1]. Условие p ^u (t,x(t)) <  0 не требует проверки, поскольку оно приводит к исходному процессу (x ^u (t),u(t)) с ПМП-управлением.

Рассмотрим второй случай: p ^u (t,x(t)) >  0. Тогда

X = 1,  x(-) = -    ^ x(t) = t,  u(t) = 1    ^

P u (t,x(t)) = 3(1 — t)(t — 1) > 0, t = 1.

• 2 3

Таким образом, уравнение (12) допускает решение x(t) = t, t G [0,1] с управлением v(t) = 1 и значением функционала Ф(v) = — 6 < Ф(и). Это значит, что на управлении u(t) условие (8) не выполняется с немедленным улучшением.

Остается рассмотреть особую ситуацию, когда p ^u (t,x(t)) = 0, t G ( 3 , 1]. Это сразу приводит к скользящему режиму x(t) = 2 (1 — t) с управлением v(t) = — 2 . В результате получаем управление

v ( t ) =

1 ,