Динамическое программирование. 9

Федеральное Государственное  Образовательное  Учреждение

Среднего  профессионального  образования

Краснодарский гуманитарно-технологический  колледж 
 
 
 
 
 
 

Курсовая  работа по дисциплине «Математические  методы»

На тему: «Динамическое программирование» 
 
 
 
 
 
 

Выполнил:

студент 4го курса гр.22-03

Мироненко Роман

Проверила:

Тутынина  Н.И. 
 

Краснодар – 2010г.

Содержание

1. Введение
2. История
3. Идея динамического программирования
4. Общая структура динамического программирования
5. Задача динамического программирования
6. Пример задачи динамического программирования
7. Задача о загрузке

• Общие сведения
• Рекуррентные соотношения для процедур прямой и обратной прогонки
• Решение задачи о загрузке
• Анализ чувствительности решения

8. Заключение
9. Список используемой литературы

ВВЕДЕНИЕ 

     В наше время наука уделяет все  большое внимание вопросам организации  и управления, это приводит к необходимости  анализа сложных целенаправленных процессов под углом зрения их структуры и организации. Потребности практики вызвали к жизни специальные методы, которые удобно объединять под названием «исследование операций». Под этим термином понимается применение математических, количественных методов для обоснования решений во всех областях целенаправленной человеческой деятельности.

     В моделях исследования операций переменные, от которых зависят ограничения  и целевая функция, могут быть дискретными (чаще всего целочисленными) и континуальными (непрерывными). В  свою очередь, ограничения и целевая  функция делятся на линейные и  нелинейные. Существуют различные методы решения данных моделей, наиболее известными и эффективными из них являются методы линейного программирования, когда  целевая функция и все ограничения  линейные. Для решения математических моделей других типов предназначены  методы динамического программирования, целочисленного программирования, нелинейного  программирования, многокритериальной оптимизации и методы сетевых  моделей. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

История

     Словосочетание  динамическое программирование впервые  было использовано в 1940-х годах Р. Беллманом для описания процесса нахождения решения задачи, где ответ на одну задачу может быть получен только после решения задачи, «предшествующей» ей. В 1953 г. он уточнил это определение до современного. Первоначально эта область была основана, как системный анализ и инжиниринг, которая была признана IEEE (Институт инженеров по электротехнике и электронике ). Вклад Беллмана в динамическое программирование был увековечен в названии уравнения Беллмана, центрального результата теории динамического программирования, который переформулирует оптимизационную задачу в рекурсивной форме.

     Слово «программирование» в словосочетании «динамическое программирование»  в действительности к традиционному  программированию (написанию кода) почти никакого отношения не имеет и происходит от словосочетания «математическое программирование», которое является синонимом слова «оптимизация». Поэтому слово «программа» в данном контексте скорее означает оптимальную последовательность действий для получения решения задачи. К примеру, определенное расписание событий на выставке иногда называют программой. Программа в данном случае понимается как допустимая последовательность событий. 
 
 
 
 
 
 
 
 
 

Идея  динамического программирования

      Оптимальная подструктура в динамическом программировании означает, что оптимальное решение подзадач меньшего размера может быть использовано для решения исходной задачи. К примеру, кратчайший путь в графе из одной вершины (обозначим s) в другую (обозначим t) может быть найден так: сначала считаем кратчайший путь из всех вершин, смежных с s, до t, а затем, учитывая веса ребер, которыми s соединена со смежными вершинами, выбираем лучший путь до t (через какую вершину лучше всего пойти). В общем случае мы можем решить задачу, в которой присутствует оптимальная подструктура, проделывая следующие три шага.

1. Разбиение задачи на подзадачи меньшего размера.
2. Нахождение оптимального решения подзадач рекурсивно, проделывая такой же трехшаговый алгоритм.
3. Использование полученного решения подзадач для конструирования решения исходной задачи.

      Подзадачи решаются делением их на подзадачи  ещё меньшего размера и т. д., пока не приходят к тривиальному случаю задачи, решаемой за константное время (ответ можно сказать сразу). К примеру, если нам нужно найти n!, то тривиальной задачей будет 1! = 1 (или 0! = 1).

     Перекрывающиеся подзадачи в динамическом программировании означают подзадачи, которые используются для решения некоторого количества задач (не одной) большего размера (то есть мы несколько раз проделываем одно и то же). Ярким примером является вычисление последовательности Фибоначчи, F₃ = F₂ + F₁ и F₄ = F₃ + F₂ — даже в таком тривиальном случае вычисления всего двух чисел Фибоначчи мы уже посчитали F₂ дважды. Если продолжать дальше и посчитать F₅, то F₂ посчитается ещё два раза, так как для вычисления F₅ будут нужны опять F₃ и F₄. Получается следующее: простой рекурсивный подход будет расходовать время на вычисление решение для задач, которые он уже решал.

     Чтобы избежать такого хода событий мы будем  сохранять решения подзадач, которые  мы уже решали, и когда нам снова  потребуется решение подзадачи, мы вместо того, чтобы вычислять  его заново, просто достанем его  из памяти. Этот подход называется кэширование. Можно проделывать и дальнейшие оптимизации — например, если мы точно уверены, что решение подзадачи нам больше не потребуется, можно выкинуть его из памяти, освободив её для других нужд, или если процессор простаивает и мы знаем, что решение некоторых, ещё не посчитанных подзадач, нам понадобится в дальнейшем, мы можем решить их заранее.

     Подводя итоги вышесказанного можно сказать, что динамическое программирование пользуется следующими свойствами задачи:

• перекрывающиеся подзадачи;
• оптимальная подструктура;
• возможность запоминания решения часто встречающихся подзадач.

Динамическое  программирование обычно придерживается двух подходов к решению задач:

• нисходящее динамическое программирование: задача разбивается на подзадачи меньшего размера, они решаются и затем комбинируются для решения исходной задачи. Используется запоминание для решений часто встречающихся подзадач.
• восходящее динамическое программирование: все подзадачи, которые впоследствии понадобятся для решения исходной задачи просчитываются заранее и затем используются для построения решения исходной задачи. Этот способ лучше нисходящего программирования в смысле размера необходимого стека и количества вызова функций, но иногда бывает нелегко заранее выяснить, решение каких подзадач нам потребуется в дальнейшем.

       Языки программирования могут запоминать результат вызова функции с определенным набором аргументов, чтобы ускорить «вычисление по имени». В некоторых  языках такая возможность встроена (например, Scheme, Common Lisp, Perl), а в некоторых требует дополнительных расширений (C++). Известны сериальное динамическое программирование, включённое во все учебники по исследованию операций, и несериальное динамическое программирование (НСДП), которое в настоящее время слабо известно, хотя было открыто в 1960-х годах. Обычное динамическое программирование является частным случаем несериального динамического программирования, когда граф взаимосвязей переменных — просто путь. НСДП, являясь естественным и общим методом для учета структуры задачи оптимизации, рассматривает множество ограничений и/или целевую функцию как рекурсивно вычислимую функцию. Это позволяет находить решение поэтапно, на каждом из этапов используя информацию, полученную на предыдущих этапах, причём эффективность этого алгоритма прямо зависит от структуры графа взаимосвязей переменных. Если этот граф достаточно разрежен, то объём вычислений на каждом этапе может сохраняться в разумных пределах. Одним из основных свойств задач, решаемых с помощью динамического программирования, является аддитивность. Неаддитивные задачи решаются другими методами.  

Общая структура динамического  программирования

     Динамическое  программирование — это вид математического программирования, который представляет собой систему приемов для нахождения оптимального решения с помощью определения последствий отдельного решения и организации оптимальной стратегии для дальнейших решений.

     Характерной особенностью динамического программирования является последовательное исследование переменных. Главное заключается  в том, что создается такая  вычислительная схема, когда предпочтительнее большое количество задач с малым  числом переменных, а не одна задача с множеством переменных. В результате процесс вычисления представляется не таким объемным. Но следует отметить, что для этого необходимо соблюдение двух условий:

1. когда критерий оптимальности аддитивен или когда оптимальные решения отдельных шагов создают общее оптимальное решение;
2. когда будущие результаты не предполагают использование предыстории того положения системы, при котором принимается решение.

     Такие условия производны от принципа оптимальности  Беллмана, на котором базируется теория динамического программирования.

     На  принципе Беллмана основывается также  главный метод — определение правил доминирования. Последний, в свою очередь, подразумевает осуществление сравнения примеров будущего развития на каждом этапе, при этом бесперспективные варианты сразу же исключаются.

     Динамическое  программирование в значительной мере полезно в случае нахождения решения  задачи, которая изначально предполагает наличие определенных этапов. В данном контексте ярким примером может  быть задача ремонта и замены оборудования. На одном заводе осуществляется параллельное производство двух шин в двух формах. В случае, если возникает неполадка  с одной из форм, машину необходимо разбирать. Перспективным представляется осуществить замену и второй формы  для предотвращения возможной поломки  формы на следующем этапе. Следует  также отметить, что, при просчитывании  ситуации, стоит заменить сразу две  формы, не дожидаясь поломки одной  из них. Здесь использование метода динамического программирование актуально, поскольку возможен выбор оптимальной  стратегии осуществления замены форм, беря во внимание наличие всех факторов. Скажем, преимущества от продолжения  эксплуатации формы, убытки от простоя  машины, цена непригодных шин и  пр.

     Динамическое  программирование обычно применяется к задачам, в которых искомый ответ состоит из частей, каждая из которых в свою очередь дает оптимальное решение некоторой подзадачи.

     Динамическое  программирование полезно, если на разных путях многократно встречаются  одни и те же подзадачи; основной технический  приём — запоминать решения встречающихся  подзадач на случай, если та же подзадача  встретится вновь.

     В типичном случае динамическое программирование применяется к задачам оптимизации. У такой задачи может быть много  возможных решений, но требуется  выбрать оптимальное решение, при  котором значение некоторого параметра  будет минимальным или максимальным.

     Из  предыдущего рассуждения видно, что решение можно оформить рекурсивно. Но простое применение этого приема очень легко может привести к  переполнению стека. Необходимо позаботиться об оптимизации рекурсивных проходов и не вычислять одно и то же значение несколько раз, сделать так называемое отсечение. Можно вообще отказаться от рекурсии и решать задачу "наоборот" — прежде "решить" тривиальные  случаи, а затем переходить ко все  более сложным. В авторских решениях подобных задач почти всегда встречается  второй путь (он несколько быстрее), но в этом занятии рассмотрим оба  — первый гораздо доступнее для  понимания.

     Типовой алгоритм решения задач методом  динамического программирования:

1. Описать строение оптимальных решений.
2. Выписать рекуррентное соотношение, связывающие оптимальные значения параметра для подзадач.
3. Двигаясь снизу вверх, вычислить оптимальное значение параметра для подзадач.
4. Пользуясь полученной информацией, построить оптимальное решение.

Задача  динамического программирования 

      Большинство методов исследования операций связано  в первую очередь с задачами вполне определенного содержания. Классический аппарат математики оказался малопригодным  для решения многих задач оптимизации, включающих большое число переменных и/или ограничений в виде неравенств. Несомненна привлекательность идеи разбиения задачи большой размерности  на подзадачи меньшей размерности, включающие всего по нескольких переменных, и последующего решения общей  задачи по частям. Именно на этой идее основан метод динамического  программирования.

      Динамическое  программирование (ДП) представляет собой  математический метод, заслуга создания и развития которого принадлежит  прежде всего Беллману. Метод можно  использовать для решения весьма широкого круга задач, включая задачи распределения ресурсов, замены и  управления запасами, задачи о загрузке. Характерным для динамического программирования является подход к решению задачи по этапам, с каждым из которых ассоциирована одна управляемая переменная. Набор рекуррентных вычислительных процедур, связывающих различные этапы, обеспечивает получение допустимого оптимального решения задачи в целом при достижении последнего этапа.

    Происхождение названия динамическое программирование, вероятно, связано с использованием методов ДП в задачах принятия решений через фиксированные промежутки времени (например, в задачах управления запасами). Однако методы ДП успешно применяются также для решения задач, в которых фактор времени не учитывается. По этой причине более удачным представляется термин многоэтапное программирование, отражающий пошаговый характер процесса решения задачи.

    Фундаментальным принципом, положенным в основу теории ДП, является принцип оптимальности. По существу, он определяет порядок поэтапного решения допускающей декомпозицию задачи (это более приемлемый путь, чем непосредственное решение задачи в исходной постановке) с помощью рекуррентных вычислительных процедур.

      Динамическое  программирование позволяет осуществлять оптимальное планирование управляемых  процессов. Под «управляемыми» понимаются процессы, на ход которых мы можем  в той или другой степени влиять.

      Пусть предполагается к осуществлению  некоторое мероприятие или серия  мероприятий («операция»), преследующая определенную цель. Спрашивается: как  нужно организовать (спланировать) операцию для того, чтобы она была наиболее эффективной? Для того, чтобы  поставленная задача приобрела количественный, математический характер, необходимо ввести в рассмотрение некоторый  численный критерий W, которым мы будем характеризовать качество, успешность, эффективность операции. Критерий эффективности в каждом конкретном случаи выбирается исходя из целевой направленности операции и задачи исследования (какой элемент управления оптимизируется и для чего).

      Сформулируем  общий принцип, лежащий в основе решения всех задач динамического  программирования («принцип оптимальности»):

      «Каково бы ни было состояние системы S перед очередным шагом, надо выбрать управление на этом шаге так, чтобы выигрыш на данном шаге плюс оптимальный выигрыш на всех последующих шагах был максимальным».

      Динамическое  программирование – это поэтапное  планирование многошагового процесса, при котором на каждом этапе оптимизируется только один шаг. Управление на каждом шаге должно выбираться с учетом всех его последствий в будущем.

      При постановке задач динамического  программирования следует руководствоваться  следующими принципами:

1. Выбрать параметры (фазовые координаты), характеризующие состояние S управляемой системы перед каждым шагом.
2. Расчленить  операцию на этапы (шаги).
3. Выяснить набор шаговых управлений x_i для каждого шага и налагаемые на них ограничения.
4. Определить какой выигрыш приносит на i-ом шаге управление x_i, если перед этим система была в состоянии S, т.е. записать «функцию выигрыша»:

.

5. Определить, как изменяется состояние S системы S под влиянием управление x_i на i-ом шаге: оно переходит в новое состояние

. (1.1)

6. Записать основное рекуррентное уравнение динамического программирования, выражающее условный оптимальный выигрыш W_i(S) (начиная с i-го шага и до конца) через уже известную функцию W_i+1(S):

. (1.2)

      Этому выигрышу соответствует условное оптимальное  управление на i-м шаге x_i(S) (причем в уже известную функцию W_i+1(S) надо вместо S подставить измененное состояние )

7. Произвести условную оптимизацию последнего (m-го) шага, задаваясь гаммой состояний S, из которых можно за один шаг дойти до конечного состояния, вычисляя для каждого из них условный оптимальный выигрыш по формуле
8. Произвести условную оптимизацию (m-1)-го, (m-2)-го и т.д. шагов по формуле (1.2), полагая в ней i=(m-1),(m-2),…, и для каждого из шагов указать условное оптимальное управление x_i(S), при котором максимум достигается.

    Заметим, что если состояние системы в  начальный момент известно (а это  обычно бывает так), то на первом шаге варьировать  состояние системы не нужно - прямо  находим оптимальный выигрыш  для данного начального состояния  S₀. Это и есть оптимальный выигрыш за всю операцию

9. Произвести  безусловную оптимизацию управления, «читая» соответствующие рекомендации на каждом шаге. Взять найденное  оптимальное управление на первом шаге ; изменить состояние системы по формуле (1.1); для вновь найденного состояния найти оптимальное управление на втором шаге х₂^* и т.д. до конца.

   Данные  этапы рассматривались для аддитивных задач, в которых выигрыш за всю  операцию равен сумме выигрышей  на отдельных шагах. Метод динамического  программирования применим также и  к задачам с так называемым «мультипликативным» критерием, имеющим  вид произведения:

      (если  только выигрыши w_i положительны). Эти задачи решаются точно так же, как задачи с аддитивным критерием, с той единственной разницей, что в основном уравнении (1.2) вместо знака «плюс» ставится знак «умножения»:   

      Пример задачи динамического программирования 

    Задача  планирования рабочей  силы:

    При выполнении некоторых проектов число  рабочих, необходимых для выполнения какого-либо проекта, регулируется путем  их найма и увольнения. Поскольку  как наем, так и увольнение рабочих  связано с дополнительными затратами, необходимо определить, каким образом  должна регулироваться численность  рабочих в период реализации проекта.

    Предположим, что проект будет выполнятся в  течение n недель и минимальная потребность в рабочей силе на протяжении i-й недели составит b_i рабочих. При идеальных условиях хотелось бы на протяжении i-й недели иметь в точности b_i рабочих. Однако в зависимости от стоимостных показателей может быть более выгодным отклонение численности рабочей силы как в одну, так и в другую сторону от минимальных потребностей.

    Если  x_i – количество работающих на протяжении i-й недели, то возможны затраты двух видов: 1) С₁(x_i- b_i)-затраты, связанные с необходимостью содержать избыток x_i - b_i рабочей силы и 2) С₂(x_i- x_i-1)-затраты, связанные с необходимостью дополнительного найма (x_i- x_i-1) рабочих.

    Элементы  модели динамического программирования определяются следующим образом:

1. Этап і представляется порядковым номером недели і, і=1,2,…n.
2. Вариантами решения на і-ом этапе являются значения x_i – количество работающих на протяжении і-й недели.
3. Состоянием на і-м этапе является x_i-1 – количество работающих на протяжении (і-1) –й недели (этапа).

    Рекуррентное  уравнение динамического программирования представляется в виде 

    где

    Вычисления  начинаются с этапа n при x_n=b_n и заканчиваются на этапе 1.

    ЗАДАЧА  О ЗАГРУЗКЕ

    Общие сведения

    Задача  о загрузке – это задача о рациональной загрузке судна (самолета, автомашины и т.п.), которое имеет ограничения  по объему или грузоподъемности. Каждый помещенный на судно груз приносит определенную прибыль. Задача состоит  в определении загрузки судна  такими грузами, которые приносят наибольшую суммарную прибыль.

    Рекуррентное  уравнение процедуры обратной прогонки выводится для общей задачи загрузки судна грузоподъемностью W предметов (грузов) n наименований. Пусть m_i-количество предметов і-го наименования, подлежащих загрузке, r_i-прибыль, которую приносит один загруженный предмет і-го наименования, w_i-вес одного предмета і-го наименования. Общая задача имеет вид следующей целочисленной задачи линейного программирования.

    Максимизировать z=r₁m₁+r₂m₂+…+r_nm_n.

    при условии, что

    w₁m₁+w₂m₂+…+w_nm_n

    m₁,m₂,…,m_n

    Три элемента модели динамического программирования определяются следующим образом:

1. Этап і ставится в соответствии предмету і-го наименования, і=1,2,…n.
2. Варианты решения на этапе і описываются количеством m_i предметов і-го наименования, подлежащих загрузке. Соответствующая прибыль равна r_im_i. Значение m_i заключено в пределах от 0 до [W/w_i], где [W/w_i] – целая часть числа W/w_i.
3. Состояние x_i на этапе і выражает суммарный вес предметов, решения о погрузке которых приняты на этапах і,і+1,...n. Это определение отражает тот факт, что ограничения по весу является единственным, которое связывает n этапов вместе.

    Пусть f_i(x_i)-максимальная суммарная прибыль от этапов і,і+1,...,n при заданном состоянии x_i. Проще всего рекуррентное уравнение определяется с помощью следующей двухшаговой процедуры.

    Шаг 1. Выразим f_i(x_i) как функцию f_i+1(x_i+1) в виде

    где f_n+1(x_n+1)=0.

    Шаг 2. Выразим x_i+1 как функцию x_i для гарантии того, что левая часть последнего уравнения является функцией лишь x_i. По определению x_i-x_i+1 представляет собой вес, загруженный на этапе і, т.е. x_i-x_i+1=w_im_i или x_i+1=x_i-w_im_i. Следовательно, рекуррентное уравнение приобретает следующий вид:

    Рекуррентные  соотношения для  процедур прямой и  обратной прогонки 

    Фермеру принадлежит стадо овец, насчитывающее  k голов. Один раз в год фермер принимает решение о том, сколько овец продать и сколько оставить. Прибыль от продажи одной овцы в і-м году составляет p_i. Количество оставленных в i-м году овец удваивается в (1+1)-м году. По истечении п лет фермер намеревается продать все стадо.

    Этот  чрезвычайно простой пример приводится для того, чтобы наглядно продемонстрировать преимущества алгоритма обратной прогонки по сравнению с алгоритмом прямой прогонки. Вычислительные схемы процедур прямой и обратной прогонки обладают различной эффективностью в случаях, когда этапы модели нумеруются в  некотором специальном порядке. Такая ситуация имеет место в  приводимом примере, где этап j ставится в соответствие году j, т. е. этапы должны рассматриваться в хронологическом порядке.