Дискретная задача оптимального управления

Содержание:

                         Введение…………………………………… 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1. Введение

  Дискретные  динамические модели управляемых систем — это довольно важный в теоретическом и практическом отношении класс математических моделей, позволяющий охватить очень широкий круг реальных объектов и соответствующих им задач управления. Они возникают как вполне естественные при моделировании дискретных процессов, таких как задачи распределения ресурсов, обработка и передача информации цифровыми электронными устройствами, либо опосредованно — при дискретизации непрерывных моделей для практических расчётов или с целью учёта неоднородности их поведения, либо чисто искусственным путём при организации различных итерационных вычислительных процедур.

  К настоящему времени разработаны  многочисленные точные и приближённые методы решения задач оптимального управления. Однако подавляющее их большинство относится к системам с непрерывным временем. Для систем с дискретным временем, в особенности нелинейных, их арсенал оказывается значительно беднее. Основная причина — отсутствие в общем случае дискретного аналога принципа максимума Понтрягина для непрерывных систем, вокруг которого

долгое  время группировались в основном теоретические работы в области оптимального управления, основанные на методе вариаций и необходимых условиях оптимальности. Об этом свидетельствуют известные работы по дискретным системам [1-3] и др.

   Значительно более продвинутыми оказываются  результаты, основанные на принципе оптимальности Беллмана и общих достаточных условиях оптимальности Кротова [4]. К ним относятся условия локальной оптимальности и итерационные методы улучшения В. И. Гурмана [5]. В то же время разработано мало эффективных методов синтеза оптимального управления для нелинейных дискретных систем.

   Данная  работа посвящена приближённым методам  синтеза законов оптимального управления на основе принципа оптимальности Кротова и глобальных оценок, которые не требуют априори хороших аналитических свойств исследуемых моделей.

   Конкретно речь идет о следующих новых методах  приближённого синтеза оптимального управления:

• метода полиномиальной аппроксимации решения уравнения Беллмана;
• метода траекторного восстановления функции цены.

   В первом разделе описывается дискретная модель управляемой системы, рассматриваются  ее методические преобразования, дается постановка общей задачи оптимального управления, в том числе, в форме  синтеза.

   Во  втором разделе дается метод приближенного  синтеза оптимального управления, как одного из способов задания функции Кро- това на основе аппроксимации решения уравнения Беллмана степенным полиномом, в том числе точечную интерполяцию и аппроксимацию по методу наименьших квадратов.

   В третьем разделе предлагается метод  приближенного синтеза, основанный на восстановлении так называемой функции  цены.

   Обсуждаются их приложения к практическим задачам, в частности к задаче оптимизации пространственного маневра вертолета и задаче об оптимальной стратегии устойчивого развития.

2. Постановка задачи

   Рассматривается дискретная задача оптимального управления [4] о минимуме функционала

N-1

I(x(i),u(i)) = F(x(N)) + ^ /⁰(i,x(i),u(i))

i=0

на множестве  D, определенном следующими условиями:

(1) x(i + 1) = / (i,x(i),u(i)), i = 0,1 ,...,N — 1,

x(i) e V_x(i) С Rⁿ, u(i) e V_u(i,x(i)) С R^r,

x(0) e Vx(0), x(N) e Vx(N).

В соответствии с теорией Кротова, с помощью  произвольной функции p(i,x), строятся следующие конструкции:

R(i, x, u) = p(i + 1, /(i, x, u)) — p(i, x) — /о(i, x, u), G(x(0),x(N)) = F(x(N)) + p(N, x(N)) — p(0, x(0)),

P(i,x)= sup R(i,x,u), p(i) = sup P(i,x),

uЈV„(i,x(i)) x(i)eV_x(i)

m = inf G(x(0),x(N)) : x(0) e V₍x)(0),x(N) e V₍x)(N).

Задача  сводится к поиску такой последовательности пар

{(x(i),u(i))_s}c D

и такой  функции p (разрешающей, или функции Кротова), что выполняются достаточные условия оптимальности:

R(i,x_s(i),u_s(i)) ^ i), G(x_s(0),x_s(N)) ^ m.

3. Аппроксимации степенным полиномом

   Здесь рассматривается метод приближенного  синтеза оптимального управления, как одного из способов задания функции Кротова на основе аппроксимации решения уравнения Беллмана интерполяционным полиномом.

   Предполагается, что V_x(0) = {x(0)} , V_x(i) = Rⁿ, i = 0,1,... ,N. В данном случае функция G(x(0),x(N)) зависит только от x(N), так как левый конец траектории закреплен.

   Функция p(i,x) выбирается так, чтобы P(i,x) не зависела от x, а функция G( x(N)) не зависела от x(N) , конкретно посредством известных соотношений типа Беллмана относительно p(i, x):

• P (i, x(i)) =0,i = 0,1,...,N — 1, G(x(N)) = 0.

В общем  случае их точное решение найти не удается, и приходится ограничиваться приближенными вычислениями.

   Предлагаемый  метод основан на аппроксимации  разрешающей функции p(i,x) некоторым многомерным интерполяционным полиномом

• p(i, x) = J2 ^a(i)g_a(x),

a

где {g_a(x)} — некоторый набор заданных базисных функций, {^_a(i)} --соответствующий набор коэффициентов, подлежащих определению из условий интерполяции равенств (1):

^[фa^(i)] =[ga^(xp W)]^-^

^SUPueU (i,x(i))⁽Ea ^фа⁽ⁱ + ¹⁾ga^{(/(i,x(i),u)) — x(i), u))} в

• [Фa(N)] = [ga(xe (N ))]^-1[F (x_p (N))], а, в = 1, 2,...,M,

где в — номер узловой точки, [(-)_a] ,[(^)в],[(^)_ae] —матрицы размером (слева направо) M х 1, M х 1, M х M.

   Однако  в многомерных задачах при  интерполяции необходимо согласование формы интерполяционного полинома и сетки узлов интерполяции, обеспечивающее обратимость матрицы [g_a(xp(i))]. Выбор этих двух элементов, в конечном счете, и определяет метод приближенного решения поставленной задачи синтеза. 

   В качестве интерполяционного полинома использована следующая известная в теории интерполяции конструкция:

(5)

p(i,x(i))= Ј ji = 1^mi (xi(i)j X

(j (x2 (i)j (••• Ј jn=1^mn j (i)(xn(ij)),

здесь 1j₁,j₂,...,j_n(i) —неизвестные коэффициенты интерполяционного полинома, которые подлежат вычислению и которые, в конечном счете, определяют приближенно-оптимальный синтез управления. Число этих коэффициентов совпадает на регулярной решетке с числом узловых точек и равно произведению количества узловых точек по каждой из фазовых координат M = mi • m-2 m_n.

   При решении практических задач, как  правило, диапазоны изменения фазовых координат либо заданы, исходя из физического смысла задачи, либо могут быть определены с помощью методов оценок множеств достижимости. Поэтому узловые линии (дискретные) для рассматриваемого интерполяционного полинома могут быть построены следующим образом. В некоторый момент времени i = i* диапазоны изменения фазовых координат разбиваются точками на mi — 1 отрезков по оси xi, на (m-2 — 1) отрезков по оси x2, и т.д. Через эти точки на каждой оси проводятся (n — 1)-мерные гиперплоскости, ортогональные этой оси. Взаимное пересечение этих гиперплоскостей определяет M = mi • m-2 m_n узловых точек. Через них проводится регулярное семейство узловых линий xp(г),в = 1, 2,..., M выбранного вида, например, семейство прямых: xp(i) = const, линейных функций: xp(i) = Kii + Ко, парабол: xp(i) = K21² + Kii + Ко, и т. д. В этом случае коэффициенты ¹&j₁,j₂,...j(i) интерполяционного полинома (5) будут либо константами, либо простыми функциями времени.

   При постановке рассматриваемой задачи учитывалось только одно фазовое ограничение -- ограничение на левый конец траектории, которое в данном случае представляет собой заданную точку xo(0). Другие фазовые ограничения (или их совокупности) могут быть учтены с помощью известного метода штрафов.

   Близость  полученного нами приближенного  синтеза оптимального управления u(i,x(i)) к строгому оптимуму можно определить с помощью следующей верхней оценки, доставляемой достаточными

N-i

Ј

i=0

+

Найденное управление тем ближе к оптимальному, чем меньше эта оценка. Возможность вычисления оценки—это важное преимущество перед «чистым» методом Беллмана. Она позволяет организовать регулярную процедуру уточнения приближённого решения за счет увеличения числа узлов интерполяции и их расположения в фазовом пространстве, а также дает критерий ее остановки.

   Алгоритм  описанного метода состоит из следующих  этапов:

• в рассматриваемой области задаются узловые линии, и соответствующая конструкция полинома (5);
• в моменты времени i решается система уравнений (4) с начальными условиями. В результате определяются коэффициенты интерполяционного полинома и приближенный синтез оптимального управления;
• вычисляется оценка точности приближенного синтеза оптимального управления (6). Если эта оценка неудовлетворительна, то следует повторить шаги 1) и 2) с увеличением числа узловых линий;
• для найденного синтеза управления и заданных начальных условий решается система

x(i + 1) = /(i,x(i),u(i,x)), i = 0,1,. .., N — 1, x(0) = xo

в направлении  от 0 к N. В результате определяются приближённые оптимальные траектория и управление — пара (x(i),u(i)), на которой функционал I достигает приближенного абсолютного минимума в рассматриваемой области.

Разработана также модификация данного метода, основанная на аппроксимации заданного  набора узловых значений правой части уравнения Беллмана по методу наименьших квадратов. В этой модификации равенства (4) заменяются минимизацией относительно неизвестных коэффициентов интерполяционного полинома (3) суммы квадратов отклонений этого полинома от соответствующих узловых значений. Преимущество такого подхода в том, что отпадаетнеобходимость строгого согласования конструкции полинома и конфигурации узловых точек, требуется лишь избыточность числа узлов относительно числа неизвестных, чтобы задача аппроксимации имела единственное решение.

4. Метод восстановления функции цены

   Здесь рассматривается другой метод приближенного  синтеза, основанный на восстановлении так называемой функции цены. Под этим понимается зависимость функционала I(i, x), подсчитанного на некотором семействе решений системы (1), от значений i, x, рассматриваемых как начальные для траекторий этого семейства. Если решения оптимальны, то, как известно, функция цены становится функцией Беллмана, иначе — функцией Кротова, удовлетворяющей соотношениям (2), взятой с обратным знаком и порождающей оптимальный синтез управления. Если траектории семейства приближенно-оптимальные, то и полученный с их помощью синтез также будет приближенно-оптимальным. На этом основана предлагаемая процедура приближенно-оптимального синтеза, называемая методом восстановления функции цены, состоящая из следующих шагов:

• в рассматриваемой области фазового пространства при каждом i задается дискретный набор точек, от которых как от начальных строится семейство решений системы (1), принимаемых за исходные приближения в каком-либо известном итерационном алгоритме улучшения (градиентном, второго порядка и т. п.);
• каждое решение улучшается до достижения оптимума, вычисляются значения функции цены в узловых точках;
• задается приближенная функция Кротова-Беллмана посредством аппроксимации по найденному дискретному набору;
• вычисляется приближенно-оптимальный синтез с одновременной верхней оценкой;
• при удовлетворительном значении оценки процедура заканчивается, иначе меняется схема аппроксимации и повторяются шаги 3) и 4) до окончания по оценке или до установления;
• в последнем случае повторяются шаги 1)-5).
• Данный метод специфичен именно для дискретных систем, для которых конструкции Кротова, используемые на шагах 4) и 5), не требуют непрерывности и гладкости от функции р, и поэтому допускают произвольные аппроксимации, в том числе наиболее простые — кусочно-гладкие и даже кусочно-постоянные, что существенно упрощает шаг 5).
• Возможна модификация данного метода, применимая и к непрерывным системам, когда по дискретной схеме лишь задается функция р и подсчитывается оценка.
• Другая модификация эффективна в широком классе задач, для которых среди оптимальных траекторий может быть выделена некоторая опорная, «притягивающая» другие траектории выбранного семейства. Роль таких опорных траекторий могут играть магистрали в вырожденных задачах оптимального управления, исследуемых по методу кратных максимумов Гурмана, и программные оптимали в задачах локально оптимального синтеза в окрестности программной траектории с целью ее реализации управлением с обратной связью при малых возмущениях.
• 5. Некоторые приложения
• Приближённый синтез оптимального управления по дискретным схемам на основе глобальных методов и априорных оценок — это эффективный путь практического решения сложной проблемы оптимального синтеза. Это подтверждают разнообразные приложения к версиям разработанных методов.
• Так, в работах [6-8] описываются приложения рассматриваемых методов к задачам улучшения и локально-оптимального синтеза управлений, реализующих характерные маневры вертолета. Приближенный синтез в окрестности неоптимальной траектории с помощью полиномов первого - второго порядка приводит к улучшению управлений, а после серии итераций -- к локальному оптимуму и приближенному локально-оптимальному синтезу управления.

В работе [9] описывается приложение данного метода к актуальной задаче оптимизации стратегии устойчивого развития на агрегированной эколого-экономической модели -- типичной задаче с магистральным решением. Специфика этой задачи позволяет построить методом восстановления функции цены глобальный приближенный синтез оптимального управления с хорошей априорной оценкой, позволяющей судить о высокой точности решения. Выясняется такжевозможность приложений к аналогичным задачам любой размерности, что невозможно в рамках классической схемы Беллмана из-за «проклятия размерности». 

Методы  синтеза и определения  состояния обьекта

     При диагностировании объектов обычно рассматриваются  и учитываются только два характерных  состояния:

• объект функционирует;
• объект не функционирует.

     Однако  с учетом комплектующих объекта (блоков, агрегатов, деталей) фактическое число состояний может быть существенно больше, например:

• первый блок объекта функционирует;
• второй блок объекта не функционирует;
• третий блок объекта функционирует и т.д.

     В этой связи задача определения числа  состояний объекта по существу сводится к задаче определения числа таких блоков или агрегатов, отказ которых приводит к отказу всего объекта в целом.

     В общем случае, когда объект состоит  из N комплектующих, возможное число состояний может быть определено по формуле

S = 2ⁿ.

     Число состояний, когда объект не функционирует (объект отказал), равно

S₀ = S - 1.

Например, пусть рассматриваемый объект состоит  из двух последовательно соединенных  комплектующих (агрегатов).

Рис. 10. Схема объекта из двух агрегатов

     Тогда можно выделить четыре возможные состояния объекта:

• отказал первый агрегат;
• отказал второй агрегат;
• отказали первый и второй агрегаты;
• объект функционирует (не отказали ни первый, ни второй агрегаты).

     Из  общего числа состояний S число неработоспособных состояний S_N может быть определено по формуле

S_N = 2^N - 1.

     Очевидно, что при последовательном соединении элементов в рассматриваемом примере состояния 1,2,3 свидетельствуют о неработоспособности всей системы. Число состояний, соответствующих отказу всего объекта, 4 - 1= 3.

     При контроле реальных технических систем, состоящих из большого числа элементов, даже при учете для каждого  элемента только двух состояний общее  количество возможных состояний  оказывается чрезвычайно большим. Например, у объекта, состоящего из 200 деталей, общее число возможных состояний S = 2²⁰⁰, а число состояний неправильного функционирования S_N = 2²⁰⁰-1

     Для уменьшения числа учитываемых состояний  объекта принимают следующие  допущения:

• Вероятность одновременного возникновения в системе отказов двух и более элементов пренебрежимо мала по сравнению с вероятностью отказа только одного элемента. Фактически это означает, что число неработоспособных состояний системы может быть определена по формуле

Sn = N,

где N - количество элементов в системе (в объекте контроля).

• Можно исключить из рассмотрения отказы тех элементов, вероятность отказа которых мала, или их отказы не имеют опасных последствий. В этой связи число возможных состояний, практически приводящих к отказу всего объекта, равна

Sn < N.

     Перечисленные допущения позволяют существенно (на несколько порядков) снизить размерность числа рассматриваемых состояний у контролируемых объектов.

     Последовательность  выбора контролируемых состояний и  их признаков рассмотрим на примере  упрощенной схемы системы, которая  представлена на рис.11.

     Cледует, что рассматриваемая система состоит из девяти элементов. При этом общее количество ее возможных неработоспособных состояний Sn =2⁹ -1 = 511.

     4.2. Определение контролируемых параметров

     Если  допустить, что одновременно может  отказать только один блок, то число  неработоспособных состояний составит S_N=N=9. Отбросив маловероятные отказы (блоки 6, 7, 8, 9), получим, что наиболее вероятное количество неработоспособных состояний системы S_N равно всего лишь 5. Такими состояниями являются:

• - отказ блока №1;
• - отказ блока №2;
• - отказ блока №3;
• - отказ блока №4;
• - отказ блока №5.

     В качестве признаков перечисленных  состояний будем использовать отклонение от установленной нормы значений тех или иных параметров. В рассматриваемом примере такими признаками могут быть: 1 - повышение уровня шума, 2 - повышение давления, 3 - повышение температуры, 4 - величина напряжения, 5 - величина силы тока, 6 - величина сопротивления обмоток, 7 - величина сопротивления контакта, 8 - величина сопротивления изоляции.

     В общем случае между состояниями Sj и их признаками Xj могут встречаться виды взаимосвязи, представленные на рис.12.

- между признаком X и состоянием Si имеется взаимосвязь

(иначе  - признак X_i реагирует на состояние S)

 
- несколько признаков Xj...Х+„ реагируют на одно

     состояние S;

 
 
один  признак X_i реагирует на несколько состояний

(^Si..-^Si+n

 
Xi si - признак X_i и состояние S_i не связаны друг с другом (иначе -     признак X_i не реагирует на состояние S) 
 

 
                    Минимизация набора контролируемых параметров

• Для определения минимального и достаточного количества признаков вначале из всех предварительно отобранных необходимо исключить явно нерациональные (табл. 2) (например, с точки зрения сложности их выявления и контроля или которые дублируют другие признаки и т.д.). Затем из оставшихся признаков в минимально необходимую и достаточную группу отбирают такие, которые несут максимум информации при каждой очередной проверке. Процесс отбора в минимально необходимую и достаточную группу прекращают, как только отобранные признаки в сумме окажутся способными нести информацию обо всех состояниях контролируемого объекта. Описанный подход к определению минимального количества контролируемых параметров (признаков состояния) нашел наибольшее распространение, именно поэтому ниже он рассматривается детально.
• Таблица 2