Приближенная оптимизация управляемых систем с ограничениями на основе кусочно-постоянных аппроксимаций управления

Распространенным подходом к решению задач оптимального управления с ограничениями является сведение к вспомогательным задачам без ограничений с помощью штрафных функционалов или функционалов Лагранжа. Для решения указанных вспомогательных задач традиционно используются локальные градиентные методы [1; 2], а также нелокальные методы улучшения управления, получившие развитие в работах [3–5]. В работах [6; 7] разработан подход, основанный на представлении необходимых условий оптимальности в форме задач о неподвижной точке операторов в пространстве управлений.

Для приближенного решения задач оптимального управления часто используют дискретную аппроксимацию управлений в различных классах функций [8-13].

В настоящей работе предлагается метод приближенного решения задач оптимального управления с ограничениями в классе кусочно-постоянных управлений на основе необходимых условий оптимальности в виде задач о неподвижной точке.

1 Задача с ограничениями

Рассматривается класс задач оптимального управления с ограничениями, приводимых к следующему каноническому виду:

x(t) = f (x(t),u(t),t),x(10) = x°,u(t)g U c Rm, t gT = [to;ti ],(1)

J0 (u) = Vo (x(ti )) + }Fo (x(t),u (t),t)dt ^ inf,(2)

T

J1 (u) = Vi (x(t 1 )) = 0, в котором x(t)g Rn — кусочно-дифференцируемая векторная функция, u (t) — m -мерный вектор управляющих функций, U — замкнутое выпуклое множество. Интервал T фиксирован. В качестве доступных управляющих функций рассматривается множество V кусочнонепрерывных на T функций со значениями в множестве U : V = {u g PC (T): u (t )g U, t g T}. Функции v0 (x), V1 (x) непрерывно дифференцируемы на Rn, функции F0 (x,u, t), f (x,u, t) и их частные производные по x, u непрерывны по совокупности аргументов на множестве Rn х U х T. Функция f (x, u, t) удовлетворяет условию Липшица по x в Rn х U х T с константой L > 0 :

||^f ( ^x , ^u , t )^{- f} ( y , ^u , t )|| < L\\^{x -} y ||.

К виду (1)-(3) стандартными способами штрафования за нарушение ограничений могут быть сведены многие задачи оптимального управления с фазовыми и терминальными ограничениями.

Доступное управление u g V называется допустимым, если выполняется функциональное ограничение (3). Множество допустимых управлений обозначим

D = { u g V : J ₁ ( u ) = v ₁ ( x ( t ₁ ) ) = 0 } .

Приближенное решение исходной задачи (1)-(3) будем искать в классе кусочно-постоянных управлений. Для этого введем разбиение фиксированного временного интервала T = [ 1 ₀; t ₁ ] на N подынтервалов T k = [ t k _{- 1}; t k ] , k = 1,2,..., N , таких что t_N = t ₁. Аппроксимирующая задача рассматривается в следующем виде:

x ( t ) = f ( x ( t ) , U k , t ) , x ( t о ) = x °, U k e U g R m , t ^e T k = [ t k - 1 ; t k ] , ^k = !X K N,

N tk фо (u ) =

inf , u={Ui,...,Un}eQ

Ф1 ( u ) = Pi (x ( tN )) = 0.                            (6)

Допустимое кусочно-постоянное управление определяется N -мерным набором m -мерных векторов u = {u1,.,u_N},u_k e U,k = 1,2,...,N . Обозначим О множество допустимых наборов векторов управлений.

Обозначим через x(t,v),t e T = [1₀;t_N] решение системы (4) при управлении v = { v1,., v_N }eO . Значения x (t, v), t e T_k, k = 1,2,., N определяются путем последовательного интегрирования системы (4) на интервалах T_k при Uk = v_k,t e Tk,k = 1,2,.,N.

Задача (4)-(6) может рассматриваться как конечномерная задача мате- матического программирования.

Рассмотрим вспомогательную задачу без ограничений на основе функционала Лагранжа:

x(t) = f (x(t),u_k,t), x(10 ) = x°, Uk e U g R^m, t^eTk =[tk-1;tk]>^k = ^-K^N,

L^(u) = Л0Ф0(u) + 21Ф1 (u)^    inf ,Л = (Л0,A1)eR2,Л ^0. (8)

U={u 1,.,Un }еО

Введем функцию Понтрягина с сопряженной переменной у e Rn и стандартную сопряженную систему в задаче Лагранжа (7)-(8):

HЛ (у,x, w,t) = (у, f (x, w,t)) - Л0F0 (x, w,t), w e U g Rm, у (t) = -H (у (t),x(t), Uk, t), t e Tk, k = 1,2,., N, У (tN ) = -ri (x(tN)), (РЛ (x) = AM (x)+ Л1Р1 (x).

Для допустимого управления v = { v1,., v_N }eO обозначим через у^Л (t,v), t e T = [1₀;t_N] решение стандартной сопряженной системы (9), полученное последовательным интегрированием на интервалах разбиения Tk, k = 1,2,.,N при Uk = v_k,t e Tk,k = 1,2,.,N и x(t) = x(t,v),t e T.

В соответствии с известной формулой приращения целевого функционала [1] для задач оптимального управления без ограничений в классе кусочно-непрерывных управлений имеет место формула приращения функции Лагранжа в задаче (7), (8):

N^r А

L (^v)^-L (^u)=^-EL\Hu(у (t,^u),^x(t,^u),^uk,t),^Auk/dt+o|EI^auk|||^,(10) k=1 ‘^k у k=1 )

где H_u обозначает производную функции Понтрягина по переменной управления, Au_k = v_k - u_k.

На основе формулы приращения (10) можно получить необходимое условие оптимальности в задаче (4)-(6) для управления u eQ в следующем виде при некотором * ^ 0 :

N

XL\Hu (w (t,u),x(t,u),uk,t),vk-uk)dt<°, k=1T v = {V1,.,Vn},Vk eU,k = 1,2,.,N,

P1 (x (tN, u )) = 0.

Эти условия можно представить в эквивалентной форме:

£ (H* (w* (t,u),x(t,u),u_k,t),w-u^dt< 0,

Pi (x(tN, u )) = 0.

Систему (11) можно записать в виде системы уравнений:

wеU, k = 1,2,...,N, ^^

и_к = arg max Г H* (w* (t,u),x(t,u),u_k,t),w)dt, k = 1,2,.,N, we ^JT                                      '                          (12)

P1 (X (tN, u )) = 0.

Обозначим через PY оператор проектирования на множество Y с Rm в евклидовой норме:

^Py (z) = argmin(||y - z||),z e Rm.

yeY

С помощью введенного оператора проектирования систему (11) можно также представить в виде системы уравнений c параметром a > 0:

uk = ^PU ( uk + ^aL Hu (w* (t,^u),^x (t, u ), uk , t)^dt), k = ^1,2,.^{, N},

T^                                                                 (13)

P (x(tN,u)) = 0.

Отметим, что для выполнения условия оптимальности (12) достаточно проверить выполнение условия (13) для некоторого a > 0. Обратно, из выполнения условия (12) следует выполнение условия (13) для всех a > 0.

Вырожденный случай (*₀= 0, * ^ 0) необходимого условия оптимальности в конкретных задачах оптимального управления, как правило, исследуется аналитически. В невырожденном случае (*₀= 1,* е R) полученные системы уравнений (12) и (13) относительно пары неизвестных (u, *)eQx R решаются численными методами.

В данной работе для невырожденного случая рассматривается подход к поиску экстремальных управлений, основывающийся на представлении необходимых условий оптимальности (12) и (13) в форме специальных задач о неподвижной точке операторов управления в конечномерном пространстве допустимых наборов векторов u = {u^.,uN}. Такое представ- ление дает возможность применить и модифицировать известную теорию и методы неподвижных точек для конструирования итерационных алгоритмов поиска экстремальных управлений как решений рассматриваемых задач о неподвижной точке.

2 Итерационные методы

Для решения системы (12) рассматривается итерационный процесс с индексом s > 0 с заданным начальным приближением управления и⁰ eQ при s = 0 :

uk⁺¹= argmax f H^Hu (V (t,us),x(t,u^s),u^s_k,t), w\dt, k = 1,2,., N, weU ^JTk\                                    > I                         (14)

^1 (x (tN, u^s+1)) = 0.

При заданном a > 0 для решения системы (13) рассматривается процесс:

Us⁺¹= Pu[u^s_k + aj H* (v (t, u^s), x (t, u^s), us, t) dt\, k = 1,2,..., N,

Tk                                                            (15)

(P1 (x (tN, u^s+1)) = 0.

В невырожденном случае (Л0 = 1) на каждой итерации предлагаемых процессов решается неявно заданное уравнение:

Ф1 (x (tN, us⁺¹)) = 0 (16) относительно скалярного множителя Лагранжа Л e R. В случае если такое решение существует, итерационные приближения управлений в процессах (14) и (15) являются допустимыми, т. е. удовлетворяют ограничениям задачи. При этом начальное приближение u⁰ eQ при s = 0 можно выбирать недопустимым.

В отличие от известных градиентных методов предлагаемые методы (14) и (15) для поиска экстремальных управлений не гарантируют релаксацию по целевой функции на каждой итерации методов. Свойство релаксации компенсируется нелокальностью последовательных приближений управления и отсутствием на каждой итерации достаточно трудоемкой операции выпуклого или игольчатого варьирования управления в окрестности текущего приближения управления. На каждой итерации осуществляется поиск множителя Лагранжа *e R, при котором выполняется терминальное ограничение (16). Это позволяет сузить пространство поиска экстремальных управлений до пространства допустимых управлений.

Указанные свойства предлагаемых итерационных процессов являются важными для практической реализации поиска экстремальных управлений. В частности, итерационные процессы можно использовать для поиска приемлемых на практике допустимых управлений для достижения заданных значений критерия оптимальности.

Сходимость указанных итерационных процессов можно анализировать с помощью известного принципа сжимающих отображений [14]. Результаты сходимости итерационных процессов зависят от выбора начального приближения процессов. Процесс (15), в отличие от (14), обладает возможностью регулировки свойства сходимости за счет выбора параметра проектирования a > 0.

3 Пример

Рассмотрим известную тестовую задачу оптимального управления с терминальным фазовым ограничением [15]:

Х1 (t) = u (t); x1 (0) = 1;

,Х₂(t) = u²(t) + x2 (t); x₂(0) = 0;

Ф₀(u) = x₂(2) ^ inf; Ф₁(u ) = x1 (2 ) = 0;

u(t)eU = [-2;2], t eT = [0;2].

Известно точное решение поставленной задачи [15]:

Х1, x₂, u ) =

-1 + e⁴

^{(-1 +}e^{4 )2}

et + e

4-1

-1 + e⁴

, Ф₂= 1,0373.

В работе [15] задача решалась с применением алгоритма поиска управления в виде кусочно-линейной функции на двух интервалах с нефиксированным моментом переключения. Начальное управление выбиралось равным

u0 (t ) =

' t — 1,

t e[0;1], t Ф2]

с точкой переключения Т10 = 1. При этом отклонение Х0 (2) от нуля составляло 0,5. Получено расчетное управление:

u * (t ) =

'0,541 - 0,96, ‘0,18t - 0,61,

t e[0;1,389], t e[1,389;2],

Момент переключения сдвинулся в точку т* = 1,389, а отклонение х* (2) от нуля уменьшилось до 0,0032. Значение целевой функции составило Ф0 = 1,0387. На рисунке 1 представлены графики найденного управления u и соответствующей ему траектории х1.

*                             *

Рис. 1. Графики управления и и траектории x1 [15]

Аппроксимируем задачу в классе кусочно-постоянных управлений с разбиением интервала T = [0;2] на N частей. Конечномерная задача аппроксимации рассматривается с управлением и = {и1,..., u_N}, u_kg U = [-2;2], k = 1,2,.,N .

Рассмотрим несколько случаев, когда N принимает следующие значения: 2; 4; 8; 100. Границы интервалов разбиения вычисляются по формуле:

2 k

^Tk =^[tk-1; tk^], tk = Nj ’ ^k = 1,²,K ,^N .

Функция Понтрягина и сопряженная система в аппроксимирующей задаче имеют вид:

H^л (^,x,a,t) = W1a + у₂(ш²+ x1²);

W 2 ( t )= ⁰,   V 2 ( ²) = -!•

В случае N = 2 задача о неподвижной точке принципа максимума (13) с и = {и1, и₂} при а > 0 принимает вид:

^и1 = P-2;2]

^и 2 = ^p-2;2]

Г 1Л и1 + a j (w1 (t, и) + 2щ 2 (t, и) и1) dt k 0 J

Г 2Л и 2 + a j (W1 (t, и) + 2щ 2 (t, и) и 2) dt k 1 J x1 (2 ,и) = 0 .

В случае других N уравнения для uk,k = 1,2,...,N составляются по аналогии.

Решим поставленную задачу аналитически для случая N — 2.

Интегрируя фазовую и сопряженную системы уравнений на интервалах T — [0;1] и T2 — [1;2] при кусочно-постоянном управлении u — {и1,и2}, получаем систему уравнений:

u1 ^—P-2; 2]

С 14.

и, + а--и

[1 I 3

u₂

= р

P-2; 2]

Ui + и 2 +1 — 0.

Методом несложного перебора возможных случаев системы получаем единственное решение:

и * —- — — -0,6875; и * — - — — -0,3125;

116               216

Г — — я 0,5208; Ф* (и) — — * 1,0729.

148             096

Для произвольного N задача о неподвижной точке принципа макси- мума (13) с и — {и1,

...

, u_n } при а > 0 принимает вид:

^ик^—P[-2;2]

и_к + aJ (^1 (t,и) + 2^2(t,и)и_к)dt , k —1,2 т                         J

,K,N,

х1 (2, и) — 0.

Для численного решения задачи о неподвижной точке с различными N применялся итерационный процесс метода неподвижных точек (15) с начальным управлением и⁰— {и₁⁰,_,u^o_n}, uk — 0, к —1,2,...,N :

S +1 Ti ик   — P[-2;2]

ик + a 1(^1 (t,us ) + 2^2 (t,us )ик)dt , T                           J

k — 1,2,k, N,

х1 (2, u^s+1) — 0.

Численное решение задач Коши для фазовой и сопряженной систем осуществлялось с помощью подпрограммы DIVPRK из библиотеки IMSL языка программирования Fortran, реализующей метод Рунге — Кутта — Вернера [16]. Значения расчетных фазовых, сопряженных и управляющих

переменных запоминались в узлах заданной равномерной сетки гом дискретизации h —10^-3 на интервале [0;2]. Использовался щий критерий окончания итераций:

tk,ma2x.,N (IК+1( tk)- К (tk )l hs, где г —10-4 при всех N. Для решения уравнения х1 (2,us+1) — 0

T_h с ша-следую-

относи-

тельно множителя Лагранжа 21 с точностью 10 ⁶ использовался комби-

нированный алгоритм, включающий метод деления отрезка пополам и метод Фибоначчи на интервале А1 е[-1000;1000]. Метод Фибоначчи находит значение Л1, при котором значение |i1 (2, us+1 )|| максимально сближается с осью абсцисс в случае, если корень уравнения х1 (2, us+1 ) = 0 на указанном интервале отсутствует.

Результаты расчетов представлены в таблице 1. При N = 2,4,8 приведены результаты расчетов с a = 0,5. При N = 100 представлены результаты расчета с a = 10.

Таблица 1

Результаты расчетов для начального управления uk = 0, к = 1,2,...,N

Для других начальных управлений и⁰ (uk = 2, uk = 1, uk = -1, uk = -2, к = 1,2,.,N) итерационный процесс сходится c получением значений целевой функции, совпадающих с точностью до четырех знаков после запятой со значениями, приведенными в таблице 1. Соответствующие результаты представлены в таблице 2.

Таблица 2

Результаты расчетов для других начальных управлений u⁰

Проведенные расчеты в рамках примера демонстрируют получение достаточно хороших приближений решения исходной задачи по значению функционала при выборе достаточно небольшого количества временных интервалов кусочно-постоянной аппроксимации.

На рисунках 2–5 представлены графики полученных управлений и соответствующих фазовых траекторий переменной x¹ для рассмотренных ^N .

точное решение й,%1, программное решение и = {wi, W2},*b точка переключения управления Г = 1

Рис. 2. Графики управления и фазовой траектории х1 (N = 2)

точное решение й, х\, программное решение и = {«i,..., W4},xi, точки переключения управления Г = 0,5,1,1,5-

Рис. 3. Графики управления и фазовой траектории x₁( N = 4 )

- - - - точное решение й,х^

— программное решение и = {wi,wsK^b

............. точки переключения управления t = 0,25,0,5,..., 1,75.

Рис. 4. Графики управления и фазовой траектории x₁( N = 8 )

Рис. 5. Графики управления и фазовой траектории x₁( N = 100 )

Заключение

Разработанный итерационный метод приближенного решения задач оптимального управления с ограничениями в классе кусочно-постоянных управлений характеризуется выполнением ограничений задачи в ходе итераций, нелокальностью последовательных приближений управления и отсутствием трудоемкой процедуры варьирования управления в окрестности текущего приближения в отличие от градиентных методов. Результаты численных расчетов тестовой задачи показывают, что предложенный метод позволяет получать достаточно точные приближения экстремальных управлений даже при небольшом количестве временных интервалов дискретизации управления. Указанные свойства метода являются важными для повышения эффективности поиска приближенного решения задач с ограничениями.