Исследование методов штрафных функций
Федеральное агентство по образованию Российской Федерации
Государственное образовательное учреждение высшего профессионального обучения
АМУРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
(ГОУВПО «АмГУ»)
Факультет математики и информатики
Кафедра МАиМ
Специальность
010501 «прикладная математика»
Курсовая работа
по курсу: Методы оптимизации
на
тему: Исследование методов штрафных функций
Благовещенск 2006
Федеральное агентство по образованию Российской Федерации
Государственное образовательное учреждение высшего профессионального обучения
АМУРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
(ГОУВПО
«АмГУ»)
Факультет математики и информатики
Кафедра МАиМ
Специальность
010501 «прикладная математика»
Задание
к
курсовой работе студентов
- Тема работы: Исследование методов штрафных функций;
- Срок сдачи студентами законченной работы: 15.12.2006 г.;
- Дата выдачи задания: 01.09.2006 г.
Руководитель
к.ф-м.н., доцент
Задание
принял к исполнению 02.09.2006 г.
Реферат
Курсовая работа, 26 страниц, 4 рисунков, 2 таблиц, 5 источников.
НЕЛИНЕЙНОЕ ПРОГРАММИРОВАНЕ, ОПТИМИЗАЦИЯ, ШТРАФ, БАРЬЕРНАЯ ФУНКЦИЯ, АЛГОРИТМ, МЕТОД, ИТЕРАЦИЯ
Объектом исследования являются методы штрафных функций.
Изучены методы и механизмы переход от задачи условной оптимизации к эквивалентной задаче или последовательности задач безусловной оптимизации.
По ходу исследования были решены некоторые примеры с помощью этих методов.
Содержание
Введение
1. Общая задача нелинейного программирования
1.1 Постановка задачи
1.2 Теорема (обобщенное правило множителей Лагранжа)
1.3 Регулярный случай
1.4 Теорема (обобщенное правило множителей Лагранжа в регулярном случае)
1.5 Достаточные условия, существование, единственность
1.6 Об ограничениях-равенствах
1.7 Еще один достаточный признак условного минимума
2. Методы штрафных функций
2.1 Метод барьерных поверхностей
2.1.1 Алгоритм метода барьерных поверхностей
2.2 Метод штрафных функций
2.2.1 Алгоритм метода штрафных функций
Заключение
Список используемых
источников
ВВЕДЕНИЕ
В
последние десятилетия появился
ряд классов экстремальных
Теоретически классические подходы могут быть распространены на некоторые классы таких задач, но часто они становятся малоэффективными или вообще практически неприменимыми. Поэтому появилась потребность в разработке новых идей и методов решения экстремальных задач, что привело к формированию нового раздела математики - математического программирования.
Методы
штрафных функций, рассмотренные в
этой работе, являются неотъемлемой частью
курса математического
1. Общая задача нелинейного
программирования
1.1
Постановка задачи
Общей задачей нелинейной
условной оптимизации мы будем называть
условную задачу минимизации
f0(x)
® min, x Î W,(1.1)
где
W выделяется как ограничениями типа равенств
fi(x)
= 0, i = 1, ..., k,(1.2)
так
и ограничениями типа неравенств
gj(x)
£ 0, j = 1, ..., l(1.3)
Как и в предыдущем
параграфе определяются допустимые точки, локальный
и глобальный, строгий
и нестрогий минимумы. Так же мы будем
использовать обозначения f и g для функций
из Rm в Rk и Rl, соответственно, определяемые
координатами fi и gj. Поэтому задачу (1.1)–(1.3)
можно записывать в виде
f0(x)
® min, f(x) = Q, g(x) £ Q.(1.4)
(напомним, что неравенство g(x) £ Q означает покоординатные неравенства).
Нам
также потребуется следующее
обозначение: a+ = (a + |a|)/2; таким
образом, a+ = a, если a ³ 0 и a+ = 0, если a £ 0.
Для векторов a Î Rm операция "+" определяется
покоординатно: a+ = ((a1)+, ..., (am)+). Кроме того,
через J(x) будет обозначаться множество
индексов так называемых активных
ограничений: J(x) = {j Î {1, ..., l}: gj(x) = 0} — это
номера ограничений, которые в данной
точке существенны. Например, на рисунке
1 J(x1) = {2}, а J(x2) = Æ.
1.2
Теорема (обобщенное
правило множителей
Лагранжа)
Пусть
f0, f, g Î C1, а x* — локальное решение задачи
(1.4). Тогда найдутся такие
l*0 Î R, l* Î Rk, m* Î Rl, не равные одновременно
нулю, такие, что m*j ³ 0 при j Î J(x*)
и
(1.5)
Доказательство.
Возьмем r > 0 таким, чтобы x* = argminxÎWr f(x),
где Wr = W Ç B(x*,
r). Для любого
n Î N определим функцию f n: Rm ® R равенством
f
n(x) = f0(x) + n(||f(x)||2 + ||g+(x)||2) + ||x - x*||2.
Задача 1. Докажите, что f n Î C1, в частности, покажите, что (||g+(x)||2)¢ = 2g+(x)g¢(x).
Поскольку
f n непрерывно дифференцируемы и поэтому
непрерывны, функции f n на шаре B(x*, r)
достигают минимума; обозначим его через
xn. В частности,
f
n(xn) £ f n(x*),(1.6)
т. е.
f0(xn)
+ n(||f(xn)||2 + ||g+(xn)||2) + ||xn - x*||2 £ f n(x*).
Отсюда,
поскольку, как легко видеть, f n(x*)
= f0(x*),
ыражение в квадратных скобках ограничено, так как xn Î B(x*, r). Поэтому ||f(xn)||2 + ||g+(xn)||2 ® 0 при n ® ¥ и, следовательно, f(xn) ® Q и g+(xn) ® Q при n ® ¥.
Пусть
теперь {xni} — произвольная сходящаяся,
скажем к y, подпоследовательность. Тогда,
как легко видеть, во-первых, y Î W и, во-вторых,
f ni(xni) ® f0(y) + ||y - x*||2 при n ® ¥. Поэтому, подставляя
в (1.6) ni вместо n и переходя
к пределу в получившемся неравенстве
при i ® ¥, получим
f0(y)
+ ||y - x*||2 £ f0(x*).
С другой стороны, так как x* = argmin f(x), f0(x*) £ f0(y). Отсюда ||y - x*||2 £ 0, т. е. y = x*. Таким образом, любая сходящаяся подпоследовательность последовательности {xn} сходится к x*. Последнее, учитывая компактность последовательности, гарантирует ее сходимость к тому же пределу.
Далее,
в силу доказанного можно считать,
что при всех n точка xn лежит внутри
шара B(x*,
r). Поэтому
в силу теоремы Ферма (f n)¢(xn) = Q,
т. е.
(1.7)
Положим теперь
ln0 = sn, lni= 2nfi(xn)sn, mnj= 2n[gj(xn)]+sn. Поскольку ln0,lnj,mnjÎ [-1, 1] (n Î N; i = 1, ..., k; j = 1, ..., l), можно считать, не ограничивая общности, что найдутся такие l*0,l*iи m*j, что
ln0® l*0, lni® l*i, mnj® m*j при n ® ¥.
Умножив (1.7)
на sn и переходя в получившемся равенстве
к пределу при n ® ¥, получаем
(1.8)
Остается
заметить, что, во-первых, так как |ln0|2+
åki=1|lni |2+ålj=1|mnj|2=1, не все из l*0,l*i,m*jравны
нулю, во-вторых, поскольку mnj= 2n[gj(xn)]+sn ³
0, неотрицательны и m*jи, наконец, в-третьих,
если j Ï J(x*) (т. е. gj(x*) < 0), то gj(xn)
< 0 при больших n; поэтому [gj(x*)]+ = 0, что
влечет равенство m*j= 0 и, следовательно,
равенство
Таким
образом (1.8) — это (1.5).
1.3
Регулярный случай
Так
же, как и в случае ограничений-равенств в случае общей задачи нелинейной
оптимизации,
необходимый признак, информативен только
в случае, если l*0¹ 0. В этой ситуации, так
же как и в предыдущем параграфе можно
разделить (1.5) на l*0 и, следовательно,
считать его равным единице. Это позволяет
ввести функцию Лагранжа L: Rm×Rk×Rk
® R (в регулярном случае) равенством
L(x,
l, m) = f0(x) + (l, f(x)) + (m, g(x)).
Условие
регулярности в случае общей задачи
выглядит сложнее. Именно, допустимая точка x называется
регулярной, если векторы f ¢1(x),..., f ¢k(x)линейно
независимы и для некоторого ненулевого
вектора h Î Rm
(f
¢i(x),h) = 0 при i = 1, ..., k
и
(g¢j(x),h)
< 0 при j Î J(x).
Геометрически,
эти условия означают, что, во-первых,
вектор h является касательным к многообразию,
выделяемому ограничениями-равенствами
(т. е. ортогонален всем градиентам f ¢i(x)),и,
во-вторых, он образует с градиентами g¢j(x)активных
ограничений (указывающими, очевидно,
вовне множества W) тупой угол (рисунок
2).
1.4
Теорема (обобщенное
правило множителей
Лагранжа в регулярном
случае).
Пусть f0, f, g Î C1, а x* — регулярное локальное решение задачи (1.4). Тогда найдутся l* Î Rk, m* Î Rl не равные одновременно нулю, такие, что m*j ³ 0 при j Î J(x*) и
L¢x(x*,l*, m*) = 0,(1.9)
(m*,
g(x*)) = 0.(1.10)
Доказательство.
Пусть l0**, l** и m** — величины, существование
которых утверждается в теореме
1.2. Покажем,
что l0** ¹ 0. В предположении противного
умножим (1.5) скалярно на вектор
h, фигурирующий в определении регулярности x*:
(1.11)
В
силу регулярности (f ¢i(x*),h) = 0 и (g¢j(x),h) <
0, а по теореме
7.2 mj**³ 0 при
j Î J(x*). Поэтому (1.11)
влечет равенство m** = Q. Но тогда (1.5)
означает, что
что вместе с линейной независимостью f ¢i(x*)дает равенство l** = Q. Противоречие.
Таким
образом l0**¹ 0. Положим теперь l*i= li**/l0**(i
= 1, ..., k),
Очевидно теперь, (1.10) выполняется автоматически, а (1.9) тривиально получается из (1.5).
1.5
Достаточные условия,
существование, единственность
Ситуация с задачей (1.1)–(1.3) несколько отличается от изучавшихся ранее, поскольку минимумы здесь могут быть двух типов. В случае, когда в точке минимума x* нет активных ограничений, т. е. J(x*) = Æ, ситуация полностью аналогична описанной в предыдущем параграфе, поскольку ограничения-неравенства в окрестности точки x* можно опустить (смотри рисунок 3а). В случае же, когда J(x*) ¹ Æ минимум может достигаться на границе множества W и точка x* может не быть стационарной точкой (смотри рисунок 3б).
Мы ограничимся лишь формулировками результатов, поскольку в идейном плане они не доставляют ничего нового.
Теорема (достаточные условия минимума). Пусть f0, f, g Î C2, а x* — допустимая точка такая, что для некоторых l* Î Rk и m* Î Rl, одновременно не равных нулю, выполнены условия (9)–(10) и при любых h Î Rm, h ¹ Q таких, что
нелинейный программирование алгоритм последовательность
(f ¢i(x*),h) = 0 при i = 1, ..., k;
(g¢j(x*),h) = 0 при j Î J(x*), m*j> 0;
(g¢j(x*),h)
³ 0 при j Î J(x*), m*j= 0
выполнено
неравенство (L¢¢xx(x*,l*, m*)h, h) > 0. Тогда x*
— локальное решение задачи (1)–(3).
1.6
Об ограничениях-равенствах
С
целью упрощения изложения, начиная
с этого момента, мы будем рассматривать
задачу условной оптимизации, содержащую
только ограничения-неравенства. Это,
с одной стороны, не снижает общности изложения,
поскольку ограничения-равенства сводятся
к ограничениям-неравенствам: ограничение
f(x)
= Q
эквивалентно
ограничениям
f(x)
£ Q, -f(x) £ Q.
С другой стороны, задачи с ограничениями-равенствами мы уже достаточно подробно рассматривали выше.
Здесь,
правда, следует помнить об одном
важном обстоятельстве. При решении
задач с ограничениями-
Напомним,
что множество W Ì Rm называется
выпуклым, если "(x, y Î W, l Î [0, 1])[lx + (1 -
l)y Î W].
1.7
Еще один достаточный
признак условного минимума
Напомним, что точка (x*, l*) называется седловой точкой функции L: W1×W2 ® R (W1 Ì Rm, W2 Ì Rl), если при всех (x, l) Ì W1×W2 выполнены неравенства
L(x*,
l) £ L(x*, l*) £ L(x, l*)
Теорема. Пусть (x*, l*) — седловая точка функции Лагранжа L: Rm×Rl+® R задачи (1), (3) (здесь Rl+= {l Î Rl: l і Q}), l* і Q, x* — допустимая точка. Тогда x* — глобальное решение этой задачи.
Доказательство.
Пусть x — произвольная допустимая точка,
т. е. gi(x) £ 0 (i = 1, ..., l). Тогда
f0(x*)
+ (l*, g(x*)) = L(x*, l*) £ L(x, l*) = f0(x) +(l*, g(x)).(1.12)
Покажем,
что
(l*,
g(x*)) = 0.(1.13)
Тогда
из (12), поскольку l* і Q,
а g(x) £ Q, будет следовать нужное неравенство
f0(x*) £ f0(x). Для доказательства (1.13)
заметим, что по условию теоремы L(x*, Q) £ L(x*, l*), т. е.
(l*,
g(x*)) ³ 0.(1.14)
Равенство (1.13) вытекает теперь из (14), т.к. l* і Q, а g(x*) £ Q.
Тот факт, что доказанная теорема дает лишь достаточный признак условного минимума демонстрируетсмя в следующей задаче.
Однако, если функции f0 и gi (i = 1, ..., l) выпуклы, а множество W содержит хотя бы одну внутреннюю точку, то условия доказанной теоремы являются необходимыми и достаточными (это утверждение называется теоремой Куна — Таккера; оно является центральным фактом теории выпуклого программирования).
2. МЕТОДЫ ШТРАФНЫХ ФУНКЦИЙ
Все методы этой группы, несмотря на различные схемы и варианты, имеют одну общую особенность: в них производится переход от задачи условной оптимизации к эквивалентной задаче или последовательности задач безусловной оптимизации. Методы штрафных функций можно разделить на два класса: параметрические и непараметрические.
Параметрические методы характеризуются наличием одного или нескольких надлежащим образом выбранных параметров, входящих в структуру штрафной функции в качестве весовых коэффициентов.
К
параметрическим методам
В
непараметрических методах
Параметрические методы подразделяются на: 1) методы внутренней точки; 2) методы внешней точки; 3) комбинированные методы.
При
использовании методов
Итак, пусть задача нелинейного программирования имеет следующий вид:
минимизировать
,
(2.1)
при
ограничениях
,
,
.
В
основу штрафных функций положено преобразование
задачи (2.1)-(2.3) в задачу минимизации
без ограничений вида
(2.4)
где - штрафная функция;
- весовые коэффициенты;
, - некоторые функционалы.
Выбирая
вид функционала
, руководствуются следующими вариантами:
при
.
Для
чего необходимо, чтобы точка x всегда
была внутренней точкой, т.е. чтобы выполнялось
условие
,
при
.
При
таком выборе функционала
оперируют только с внешними точками,
для которых выполняется условие
при
и
при
.
При таком выборе функционала не заботятся о том, чтобы ограничивающие условия удовлетворялись на промежуточных этапах вычислительного процесса, хотя они, безусловно, должны выполняться в искомой точке.
При
выборе функционала для ограничений-
,
,
.
2.1
Метод барьерных
поверхностей
Метод
барьерных поверхностей относится
к группе методов внутренней точки
и основан на использовании барьерной
поверхности вида
,(2.7)
где - параметр, значения которого убывают с каждой итерацией при ;
- положительные весовые коэффициенты.
При этом барьерная функция (поверхность) неограниченно возрастает при .
Примерами барьерных функций являются:
а)
обратная функция
(2.8)
б)
логарифмическая функция
.
При приближении к границе изнутри области, как только , штраф становится очень большим. Таким образом, вдоль всех границ допустимой области образуются сильные барьеры.
Построив барьерную функцию и определив начальную внутреннюю точку, приступаем к процедуре минимизации при заданном начальном значении . Тогда конечная точка x1 первой итерации процедуры становится исходной для минимизации при уменьшенном значении и т.д. Завершающий этап (итерация) минимизации реализуется при очень малом значении , так что результирующая точка x с точностью до установленного допуска может сказаться либо на одной, либо сразу на нескольких поверхностях, заданных ограничениями задачи.
Если через обозначить точку минимума вспомогательной функции , то при весьма слабых предположениях относительно исходной задачи последовательность сходится к решению исходной задачи при
- Исследование механизма двухцилиндрового двигателя
- Исследование механизма двухцилиндрового двигателя
- Исследование механизма и особенностей налогообложения коммерческих банков, выявление проблем налогообложения и путей их разрешения
- Исследование механизма контроля за налогообложением физических лиц
- Исследование механизма мотивации как функции управления
- Исследование механизма формирования прибыли ООО «Росгосстрах»
- Исследование механической системы с одной степенью свободы
- Исследование методов оценки объектов недвижимости при проведении экономической экспертизы
- Исследование методов резервирования систем
- Исследование методов решения систем дифференциальных уравнений
- Исследование методов улутшения микроклиматических характеристик промышленного помещения
- Исследование методов управления на примере предприятия ОАО «Кузнецов»
- Исследование методов ценообразования
- Исследование методов ценообразования на товары и услуги на предприятии
