Сравнение эффективности функционирования сложных систем

Министерство  образования Российской Федерации

Сибирский государственный  аэрокосмический университет имени

академика М. Ф. Решетнева

Институт информатики  и телекоммуникаций

Кафедра информатики и  вычислительной техники

 

 

Сравнение эффективности  функционирования сложных систем

Отчёт по курсовому  проекту по дисциплине

«Интеллектуальная обработка данных»

 

 

Выполнил:

студент группы  БИ-71

Беляков Р.Д.

Проверил:

к.т.н., доцент,

Фаворская М. Н.               

 

 

 

Красноярск  2011г.

 

Содержание

Введение……………………………………………………………………………

1 Эффективность функционирования системы………………………………….

1.1 Анализ существующих методов оценки систем…………………………

1.1.1 Индексный подход…………….…………….…………….………….

1.1.2 Кластерный анализ (классификация  без обучения) ………………..

1.2  Метод анализа среды  функционирования…………….…………………

1.2.1 Модели метода анализа  среды функционирования…………………

1.2.2 Использование метода  АСФ в системах поддержки принятия 

 решений…………….…………….…………….…………….……………...

1.2.3 Алгоритм кластеризации  объектов…………….…………….……….

2 Разработка программного продукта…………….…………….…………….…..

2.1 Структура программного  продукта…………….…………….……………

2.2 Руководство программиста…………….…………….…………….………

2.3 Руководство пользователя…………….…………….…………….……….

Заключение…………….…………….…………….…………….…………….……

Список использованных источников…………….…………….………………….

 

Введение

В настоящее время на практике встречается множество сложных  систем, которые требуют комплексной оценки своей эффективности. Это касается как экономических, технических, так и другого рода систем, в т.ч. социальных, политических, организационных.

В связи с этим возникает  необходимость сравнительной оценки этих систем по различным, часто неявным или ненормированным критериям. Для этого разработаны различные методы оценки, в том числе и метод анализа среды функционирования (англ. Data Envelopment Analysis).

Особенностью метода является то, что он позволяет получить оценочные  данные о системе, не имея чёткого  параметра, который может быть подвержен  однозначной количественной оценке. Этот подход демонстрирует свою эффективность  и актуальность в практическом применении, т.к. реальные системы в большинстве  своем не имеют единственного  параметра, по которому можно судить об эффективности их функционирования.

В то же время на рынке  в достаточной мере не представлено прикладного программного обеспечения, способного дать аналитику возможность полноценно использовать метод DEA в работе. Имеющиеся образцы не позволяют максимально продемонстрировать эффективность метода в сфере своего применения, а также довольно сложны в освоении для специалиста, не имеющего четкого представления об алгоритме работы метода.

Целью данной выпускной работы является изучение метода анализа среды функционирования, а также создание удобного программного продукта, позволяющего в полной мере использовать достоинства данного метода в решении практических задач.

Для достижения заданных целей  требуется решить следующие задачи:

  1. Ознакомиться с методом DEA, а также с альтернативными методами оценки, для получения наиболее полной картины предметной области.
  2. Выбрать наиболее подходящую среду программной разработки, позволяющую в полной мере достигнуть желаемых результатов.
  3. Разработать программный продукт на основе полученных теоретических данных.
  4. Провести тестирование продукта на уже изученных и отработанных моделях.
  5. Применить готовый продукт в решении актуальных проблем, т.е. протестировать выбранную систему и используя полученные результаты провести необходимые преобразования, способные приблизить систему к желаемому способу функционирования.

При выполнении работы были к рассмотрению были представлены различные методы, применяемые при оценке работы сложных систем. Акцент же был сделан именно на методе анализа среды функционирования. Актуальность результатов работы подтверждается в том числе и тем, что в сфере отечественной науки методы оценки пока не получили должного освещения. В то же время эти методы берут начало своей разработки с 70-ых годов ХХ века и успешно применяются и совершенствуются в наши дни за границей. С их помощью проводится эффективное исследование в самых различных сферах. Наиболее полезным метод DEA может оказаться при анализе экономических моделей, где линейные процессы встречаются довольно широко.

 

 

  1. Эффективность функционирования системы

Среди вопросов, решения  которых  сегодня  требует организация  хозяйственной деятельности  предприятий  в  условиях  рынка,  следует  выделить  проблему формирования  эффективной  системы  управления  с  учетом  изменений  внешней  и внутренней  среды.  В  настоящее  время  исследованию  данной  тематики  посвящено достаточно  много  работ.  Однако  ряд  вопросов,  связанных  с  организационно-экономическим  механизмом  создания  и функционирования  системы управления первичных производственных звеньев с учетом рыночных концепций организации, до сих пор остается не решенным.

Необходимо отметить, что  формирование системы управления на отечественных предприятиях опирается  больше на опыт, аналогию, стандартные  решения и интуицию, чем  на  строгую  методологию  и  методику,  базирующуюся  на  научных  методах  и принципах менеджмента и  маркетинга. Такой  подход  приводит  к  негативным  явлениям  и  необратимым  процессам, отрицательно сказывающимся на эффективности  системы управления предприятием.

Под «эффективностью  системы  управления»  следует  понимать  результат  ее функционирования,  обеспечивающий  предприятию  в  условиях  конкуренции достижение поставленных целей при наименьших затратах на управление. Исходя  из  данного  определения,  анализ  экономической  эффективности предполагает  вычисления  абсолютной  и  сравнительной  эффективности  затрат производства.

Абсолютная  эффективность,  рассчитываемая  по  каждому  анализируемому объекту,  характеризует  общую  величину  эффекта,  который  получается  в  результате совершенствования  системы управления производством.

Сравнительная  эффективность  дает  возможность  определить  преимущества одного  варианта  по  сравнению  с  другим,  а  также  степень  приближения  выбранного варианта к оптимальному. В наиболее общем виде эффективность системы управления представляет собой отношение  эффекта,  полученного  в  результате  ее  совершенствования, к производственным  затратам.  Поэтому  главной  задачей  экономического анализа  на предприятиях  является  выявление  эффекта,  который  должен  определяться,  прежде всего,  тем,  в  какой  степени  система  управления  производством  способствует достижению главных целей организации. В этой связи результаты совершенствования системы управления производством должны отражаться в экономии всех видов ресурсов,  повышении  качества  продукции,  изменении  характера  и  культуры  труда. К сожалению, не всем из вышеперечисленных элементов экономического и социального эффекта  может  быть  дана  натуральная  или  стоимостная  оценка.  Поэтому  при определении  эффективности  системы  управления  предприятиями  наряду  с количественными показателями необходимо учитывать и ряд качественных.

Для определения эффективности, необходимо выбрать критерий, в соответствии с которым можно  судить,  эффективна  система управления предприятия или нет,  если да,  то  в  какой  степени.  Для  количественного  выражения  эффективности  критерий должен быть охарактеризован определенным числовым выражением и соответствовать оцениваемому  явлению,  быть  универсальным  и  простым  в  применении,  давать однозначную и полную оценку.

1.1 Анализ существующих методов оценки систем

1.1.1 Индексный подход

При расчете индексов на основе набора показателей задаются (фиксируются) стандарты максимального и минимального значений, с которыми сравниваются фактические  показатели. Таким  образом,  принцип расчета индекса заключается в оценке относительного расстояния между фактическим значением показателя и максимальным (минимальным), являющимся конечной целью развития  системы.  Для расчета индексов используется две формулы, поскольку показатели могут иметь разную направленность. Имеется в виду тот факт, что по одним показателям благоприятная ситуация будет выражаться в более высоком значении показателя (чем выше значение показателя, тем лучше – положительная направленность), по другим – в более низком (чем ниже, тем лучше отрицательная  направленность). Например, такой показатель  экономического развития, как уровень ВВП на душу населения, имеет положительную направленность, а уровень безработицы или бедности населения – отрицательную.

Ниже приведены формулы  расчета индексов:

                                    

или

,

где J+ - индекс положительной направленности; J- - индекс отрицательной направленности; Xфакт. – фактическое значение показателя; Xмакс., Xмин.- установленные стандарты (соответственно максимальный и минимальный).

Интегральный индекс для  системы представляется в виде аддитивной свёртки нормированных индексов по отдельным показателям, весовые  коэффициенты которых находятся  экспертным путём, что, накладывает определённый отпечаток на результат в виду субъективного мнения эксперта:

 ,

где J – интегральный индекс системы; Ji – индекс по i-му показателю; Wi – весовой коэффициент i-го индекса.

Таким образом, алгоритм данного  метода выглядит так:

1. Вычисление нормированных  индексов по отдельным показателям. 

2. Ранжирование и экспертная  оценка весовых коэффициентов для частных индексов развития системы.

3. Расчет интегрального  индекса развития системы. 

4. Экспертная оценка уровня  развития (состояния) системы. 

Индексный  метод  применяется  довольно  широко  благодаря  своей  простоте. Однако, например, применительно к задаче, связанной с оценкой экономической или социальной системы, можно выделить следующие проблемы, которые могут возникнуть при реализации метода:

1. Применяемые в данном  методе линейные свертки отдельных показателей  социально-экономического  характера,  а также их  номенклатура математически не  обоснованы  и являются  предметом субъективного выбора. При этом одни и те же данные можно подать в разном качестве, что обуславливается отсутствием чёткого критерия оценки.

2. Метод в значительной  степени зависит от квалификации  экспертов, от их субъективных (возможно, ошибочных) представлений. 

3. Метод ориентирован  только на количественные индикаторы развития исследуемой системы. В действительности же они могут иметь количественно-качественную природу, а, следовательно, обработка таких данных требует применения иных математических методов, реализуемых в рамках теории размытых множеств и многомерной размытой классификации.

4. Он не учитывает целостный  характер представления образов функционирования и развития системы, проблем и особенностей, возникающих в результате взаимодействия её отдельных составляющих, в соответствии с которым анализу подвергаются не только отдельные показатели, но и их взаимосвязи и которые к тому же различны.

1.1.2 Кластерный  анализ (классификация без обучения)

В  общей (нестрогой)  постановке  проблема  автоматической  классификации объектов заключается в том, чтобы всю анализируемую совокупность объектов  разбить  на  сравнительно  небольшое  число (заранее  известное  или  нет) однородных, в определенном смысле, групп или классов таким образом, чтобы объекты,  принадлежащие  одному  классу,  находились  бы  на  сравнительно  небольших расстояниях друг от друга в пространстве признаков, которыми описываются эти объекты. Предполагается, что геометрическая близость двух или нескольких точек в этом пространстве означает близость "физических" состояний соответствующих  объектов,  их  однородность.  Полученные  в  результате разбиения классы часто называют кластерами (таксонами, образами), а методы их  нахождения  соответственно  кластер-анализом (распознаванием  образов  с самообучением).

Кластерный анализ – это  многомерная статистическая процедура, упорядочивающая исходные данные (объекты)  в сравнительно  однородные группы.

Особенностью кластерного  анализа является то, что различия между единицами, входящими в выделенную группу, незначительны, а различия между группами существенны.

Наиболее  трудным  считается  определение  однородности  объектов.  Для этого вводится понятие расстояния d(Xi, Xj) между объектами Xi и Xj. Объекты будут считаться однородными в случае d(Xi, Xj)≤dпор., где dпор.  – заданное пороговое значение, определяемое в каждом конкретном случае по-своему.

Выбор метрики (меры близости) d является узловым моментом исследования, от которого решающим образом зависит окончательный вариант разбиения объектов на группы при заданном алгоритме разбиения. В задачах кластерного анализа часто используют обычное евклидово расстояние:

,

где Xi,Xj – точки в признаковом пространстве размерности p.

Существуют  и  другие  способы  определения  расстояния  в  признаковом пространстве, например, хеммингово расстояние, которое используется как мера  различия  объектов,  задаваемых  дихотомическими  признаками. Выбор метрики-расстояния определяется структурой признакового пространства и целью классификации.

При использовании процедур кластерного анализа расчленение  объектов совокупности на качественно  однородные группы производится одновременно по большому числу признаков, но при  соблюдении условия, что ни один признак не выделяется по своей значимости так, что группировка на его основе является главной.

Другой важной величиной  в кластерном анализе является расстояние между целыми группами объектов. Используются такие подходы:

–  расстояние,  измеряемое  по  принципу "ближайшего  соседа", есть расстояние между ближайшими объектами  кластеров Sl и Sm:

,(1.1)

–  расстояние, измеряемое по принципу "дальнего  соседа", есть расстояние между самыми дальними объектами кластеров Sl и Sm:

 

 

– расстояние, измеряемое по "центрам тяжести" кластеров, определяется таким образом:

 

где, , (m) – средние арифметические векторных наблюдений, входящих в кластеры Sl и Sm.

Выбор той или иной меры расстояния между кластерами влияет, главным образом, на вид выделяемых алгоритмами кластерного анализа геометрических группировок объектов в пространстве признаков. Так, алгоритмы, основанные на  расстоянии "ближайшего  соседа",  хорошо работают в случае группировок, имеющих сложную, в частности, цепочечную структуру. Расстояние "дальнего соседа" применяется, когда искомые группировки образуют в пространстве признаков шаровидные облака. И промежуточное место занимают алгоритмы, использующие расстояния "центров тяжести" и средней связи, которые лучше всего работают в случае группировок эллипсоидной формы.

Классификационные процедуры  иерархического типа основаны на последовательном объединении кластеров (агломеративные процедуры) и на последовательном разбиении (дивизимные  процедуры).  Наибольшее  распространение получили агломеративные процедуры. Эти алгоритмы отличаются друг от друга лишь  способом  вычисления  расстояния  между  классами. Агломеративный алгоритм выполняется таким образом. На первом шаге все объекты считаются  отдельными  кластерами.  Затем  на  каждом  последующем шаге  два  ближайших кластера объединяются в один. Каждое объединение уменьшает число кластеров на один так, что в результате все объекты объединяются в один кластер. Момент остановки этого процесса может задаваться указанием либо требуемого числа кластеров, либо максимального расстояния, при котором допустимо объединение. Наиболее подходящее разбиение выбирает чаще  всего  сам  исследователь,  которому  предоставляется  дендрограмма, отображающая результаты группирования объектов на всех шагах алгоритма. Для большого числа объектов разбиения такая визуализация классификации является  единственным  способом  получить  представление  об общей  конфигурации объектов.

Иерархические  процедуры  позволяют  проследить  процесс  выделения группировок  и  иллюстрируют  соподчиненность  кластеров,  образующихся  на разных шагах какого-либо агломеративного или дивизимного алгоритма.

Выполнение кластерного  анализа позволяет сгруппировать объекты в отдельные  группы, а затем дать экспертную оценку этим группам.

 

    1. Метод анализа среды функционирования

Методология Анализа Среды  Функционирования (АСФ) получила широкое  распространение в мире в качестве инструмента для анализа сложных  экономических и социальных систем. Начало данному подходу было положено в работах А. Чарнеса, В. Купера, Е. Роуда, Р. Бэнкера. На английском языке название данного подхода звучит как Data Envelopment Analysis (DEA). В настоящее время число публикаций по данной тематике в международных изданиях составляет несколько тысяч единиц.

В теории и практике человечества давно используются простые коэффициенты эффективности вида k=Y/X, где X – параметр затрат или ресурсов (входной параметр), Y – результат деятельности (выходной параметр). Таких показателей деятельности можно назвать десятки, если не сотни. К ним можно отнести, например, коэффициенты рентабельности в производстве и экономике, показатели ликвидности, коэффициенты надежности, различные варианты широко известного в физике и инженерном деле коэффициента полезного действия и многие другие.

Методология АСФ возникла как обобщение таких простых  показателей деятельности на случай сложных многомерных систем, т.е. когда деятельность сложного объекта  описывается набором входных  параметров (x1,...,xm) и набором выходных параметров (y1,...,yr). Для корректности и содержательности такой постановки, а также для устранения субъективных факторов в моделях, рассматривается множество подобных сложных объектов. Тогда математически такой подход сведется к решению большого числа оптимизационных задач. Мера эффективности в методологии АСФ имеет наглядный экономический смысл. Она показывает на сколько процентов объекту следует сократить свои ресурсы и/или увеличить свой выпуск, чтобы объект стал эффективным, поскольку имеются другие объекты, реальные или гипотетические, функционирующие оптимально.

Подход методологии АСФ  к анализу деятельности сложных  систем оказался плодотворным и конструктивным. В настоящее время методология  АСФ охватывает гораздо более  широкий спектр понятий и возможностей, чем просто вычисление и анализ эффективности  сложных объектов. Методология АСФ  имеет глубокую связь с теоретической  экономикой, системным анализом, многокритериальной оптимизацией. Она позволяет строить  многомерное экономическое пространство, находить оптимальные пути развития в нем, вычислять важнейшие количественные и качественные характеристики поведения  объектов, моделировать различные ситуации. При реализации данной методологии  используются современные достижения в области математического программирования, теории и методов решения задач  оптимизации большой размерности, а также компьютерного моделирования.

1.2.1 Модели метода  анализа среды функционирования

Рассмотрим суть метода DEA. Пусть имеются данные для K входных параметров и M выходных параметров для каждого из N объектов (под термином "объект" могут подразумеваться регионы, отрасли хозяйства,  предприятия, учебные заведения и т.д.). Для i-го объекта они представлены вектор-столбцами xi и yi соответственно. Тогда матрица X размерности K×N представляет матрицу входных параметров для всех N объектов, а матрица Y размерности M×N представляет матрицу выходных параметров для всех N объектов. Можно прийти к задаче математического программирования и, используя теорию двойственности, сформулировать ее в такой форме:

 

 

 

 

где, θ – скаляр, а λ  является вектором констант размерности  Nx1. Значение θ,полученное  при  решении  задачи,  и  будет  мерой  эффективности  i-го  объекта. При этом  эффективность не может превышать единицы. Важно помнить,  что аналогичная задача решается N раз, т.е. для каждого объекта. Те объекты, для которых значение показателя эффективности оказалось равным единице, находятся  на  границе  эффективности. В  результате может быть  сформирована кусочно-линейная  граница  эффективности.  Точки,  соответствующие  тем  объектам,  у  которых  показатель  эффективности  оказался  меньше  единицы,  можно спроецировать  на  границу  эффективности  таким  образом,  что  каждая  из  этих точек будет  равна линейной  комбинации  (Xλ, Yλ). Часть элементов вектора λ имеют ненулевые значения. Эти элементы  соответствуют  тем  объектам,  которые  являются  эталонными  для  оцениваемого  объекта.  Линейная  комбинация эталонных объектов и образует гипотетический объект, находящийся на границе эффективности. Гипотетический  объект был бы  эффективным,  если бы  существовал в действительности. Но поскольку он не существует, то значения его переменных являются целью для реального – неэффективного – объекта. В результате для объектов с θ < 1 могут быть установлены цели, которые заключаются  в  пропорциональном  сокращении  их  входных  факторов  на  величину  θ при сохранении выходных значений на прежнем уровне. Чем ближе точка, соответствующая данному объекту, к границе эффективности, тем выше ее мера эффективности.

Приведенная  модель  называется  моделью,  ориентированной  на  вход  и принимающей  наличие  постоянного  эффекта  масштаба.  Для  того  чтобы учесть  возможность  переменного  эффекта масштаба,  нужно  в  данную модель добавить ограничение на сумму весовых  коэффициентов λ:

 

Следствием ввода этого  ограничения является формирование выпуклой линейной комбинации эталонных  объектов.

Метод DEA имеет ряд привлекательных свойств, а именно:

–  позволяет  вычислить  один  агрегированный  показатель  для  каждогообъекта  в терминах  использования входных факторов (независимые переменные)  для  производства  желаемых  выходных  продуктов (зависимые переменные);

– может одновременно обрабатывать много входов и много выходов, каждый из которых при этом может измеряться в различных единицах измерения;

– позволяет учитывать  внешние по отношению к рассматриваемой системе переменные – факторы окружающей среды;

– не требует априорного указания весовых коэффициентов для переменных, соответствующих входным и выходным параметрам при решении  задачи оптимизации;

– не налагает никаких ограничений  на функциональную форму зависимости между входами и выходами;

–  позволяет  при  необходимости  учесть предпочтения менеджеров, касающиеся важности тех или иных входных или выходных переменных;

–  производит  конкретные  оценки  желательных  изменений  во  входах/выходах,  которые  позволили  бы  вывести  неэффективные  объекты  на  границу эффективности;

- формирует Парето-оптимальное множество точек,  соответствующих эффективным объектам;

– концентрируется на выявлении  примеров так называемой лучшей практики (best practice),  а не  на  каких-либо  усредненных  тенденциях,  как,  например, регрессионный анализ.

При использовании статистических данных за несколько лет появляется возможность проследить перемещение границы эффективности во времени. На основании направления этих перемещений можно определить, имеет ли место прогресс в исследуемой группе объектов (отрасли) или же регресс. Данный метод также позволяет определить, за счет чего достигнут прогресс: за счет улучшения управления, за счет приведения масштаба объекта к оптимальному либо за  счет  изменения  технологии (например,  внедрения  нового  оборудования).

Кроме того, можно определить так называемую распределительную эффективность (allocative efficiency), т.е. эффективность использования ресурсов,  если известны их стоимости.

Для иллюстрации концепции  эффективности и метода DEA рассмотрим процесс  производства,  в  котором задействованы два входных фактора производства x1 и x2, и производится один вид продукции y. При этом сделаем важное допущение о  том,  что  в нашем  случае будет иметь место постоянный  эффект масштаба. Это допущение позволит нам для графического изображения применяемой  технологии  производства  использовать двухмерный график.  По осям координат этого графика будут откладываться удельные затраты входных факторов производства, т.е. затраты, приходящиеся на единицу выпускаемой продукции. Таким образом, мы получаем единичную изокванту, представленную на рисунке 1.1.

Рис. 1.1 – Технология производства с двумя входами и одним  выходом

Если некоторая фирма  использует входные факторы в количествах, представленных точкой P на рисунке 1.1, то в этом случае ее техническая неэффективность будет выражаться длиной отрезка QP (где точка Q является проекцией точки P на  границу эффективности). Эта длина представляет  собой величину, на  которую  могут  быть  пропорционально  сокращены  величины  входов  без уменьшения величины выпускаемой продукции (выпуска). Техническая эффективность фирмы P, TE, будет равна отношению длин отрезков 0Q и 0P:

.

Выше были рассмотрены  модели, ориентированные на вход. Одна из их была построена с учетом постоянного  эффекта масштаба, а другая –  с учетом переменного эффекта  масштаба. Аналогичные модели могут  быть построены и с ориентацией  на выход. В этом случае главной целью моделей будет увеличение выпуска продукции без увеличения затрат входных ресурсов. В результате расчетов по этим моделям будут получены не только значения показателя эффективности для каждого из объектов, но также указаны рекомендуемые значения выходных переменных, при достижении которых неэффективные объекты могут быть выведены на границу эффективности. Вот эти модели:

 

 

 

 

 

 

 

 

 

 

Модель (1.5)  принимает  наличие  постоянного  эффекта  масштаба,  а  модель (1.6) – переменного  эффекта масштаба. Следует обратить внимание на то, что  в  данном  случае  значение  переменной  φ,  рассчитанное  по  этим моделям, будет больше или равно единице. Это объясняется тем, что целью моделей является пропорциональное увеличение значений выходных переменных. Для получения  же  традиционного  значения  показателя  эффективности,  лежащего  в пределах от нуля до единицы, следует просто использовать величину, обратную к φ, что обычно и делают.

1.2.2 Использование метода АСФ в системах поддержки принятия решений

Поскольку  задача в данном методе формулируется в  терминах входов и выходов (inputs/outputs), то необходимо отнести одну часть показателей, характеризующих исследуемые  объекты,  к  входам,  а  другую  часть  показателей –  к выходам. Однако при использовании метода DEA в ряде предметных областей возникает проблема разделения показателей на входные и выходные. Это объясняется  тем, что между показателями может не быть  технологической  связи, как  это  имеет  место  в  процессе  традиционного  материального  производства.

Одним из подходов к решению  указанной проблемы может быть такой: показатели,  для  которых  более  предпочтительными  считаются  меньшие  значения, следует  условно  относить  к  входным,  а  показатели,  для  которых,  наоборот, предпочтительными  являются  большие  значения,  следует  условно  относить  к выходным. В таком случае после выполнения вычислений по методу DEA мы получим для "неэффективных" объектов рекомендации по снижению значений входных и увеличению значений выходных показателей, что должно соответствовать логике конкретной предметной области. Возможны и другие подходы к решению задачи разделения показателей на входные и выходные.