Методы экспертных оценок. 6

Оглавление

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов  в управлении ………………………………………………..9

1.3  Процесс  экспертного оценивания …………………………………………10

1.4 Методы экспертных  оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования  и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО  «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет  метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из "человеческого фактора", отсутствием надежных экспериментальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценок посвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов. Выбор форм и методов проведения экспертных опросов, подходов к обработке результатов опроса и т.д. зависит от конкретной задачи и условий проведения экспертизы.

Экспертные  методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно-техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1. Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако  в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов — близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертизы, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи  коллективного принятия решений  по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных планов целесообразно выявлять «редкие» мнения и подвергать их более тщательному анализу.

Другая  проблема, которую нужно иметь  ввиду при проведении системного анализа, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экспертные оценки нужно смотреть как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос — это не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необходимо создать регулярную систему работы с экспертами.

Следует обратить также внимание на то, что  использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительности выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели. Одной из разновидностей экспертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора  экспертной информации составляют специальные  документы, например анкеты, утверждаемые соответствующими руководителями и  затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью  выбранного метода, как правило, с  использованием вычислительной техники. Полученные в результате обработки  данные анализируют и используют для решения задач анализа  и синтеза систем управления.

Экспертные  оценки используют для анализа, диагностики  состояния, последующего прогнозирования  вариантов развития:

1) объектов, развитие  которых либо полностью, либо  частично не поддается предметному  описанию или математической  формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях  большой неопределенности среды  функционирования объекта, рыночной  среды;

4) при средне- и долгосрочном прогнозировании  новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях,  когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют  необходимые технические средства  моделирования, например, вычислительная  техника с соответствующими характеристиками;

7) в экстремальных  ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две  группы:

1) задачи синтеза  новых систем управления и  их оценки;

2) задачи анализа  (измерения) существующих систем  управления по выбранным показателям  и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование  технико-экономических показателей  стадий ее жизненного цикла; обоснование  основных направлений реорганизации  социальной системы управления; выбор  оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть  экспертной информации, получаемая в  ходе решения данных задач, носит  качественный характер и формируется  в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.

2. Роль экспертов в управлении

Экспертиза — это  мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При групповой экспертизе большое значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы.

Заключение экспертов представляет собой документ, в котором фиксируется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную ("да", "нет"), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации  работы экспертов необходимо придерживаться следующих принципов:

1. Идеи, мнения и оценки  должны укладываться в заранее  подготовленную схему. Это позволяет делать их обобщение, сравнение, выделение существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

2. Обработку экспертных  заключений необходимо осуществлять  не только в количественном  обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны  быть независимыми, т.е. освобождены  от каких-либо организационных  или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной  группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

5. Существуют различные  формы организации работы экспертной  группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная  и многоэтапная работа нескольких  экспертных групп. Сопоставление экспертиз дает важную информацию.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Специалиста или  группу специалистов, выступающих в  роли экспертов, иногда отождествляют  с измерительным прибором, имеющим случайные и систематические ошибки измерения.

Случайные ошибки обусловлены субъективностью мнений экспертов о рассматриваемом  вопросе и могут отклоняться  в ту или иную сторону от истинного  значения. Влияние таких ошибок уменьшается  путем усреднения достаточного количества оценок.

Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена  путем обработки получаемых оценок. Это говорит о том, что в  отдельных случаях необходимо подходить  весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов.

1.3 Процесс экспертного оценивания

К основным этапам процесса экспертного оценивания относят:

формирование  цели и задач экспертного оценивания;

формирование  группы управления и оформление решения  на проведение экспертного оценивания;

выбор метода получения  экспертной информации и способов ее обработки;

подбор экспертной группы и формирование при необходимости  анкет опроса;

опрос экспертов (экспертизу);

обработку и  анализ результатов экспертизы;

интерпретацию полученных результатов;

составление отчета.

Задачу на проведение экспертного оцениваний ставит ЛПР. Этап формирования цели и задач экспертного  оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных  условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет — опросников, содержательной интерпретации получаемых результатов.

Этот большой  и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях — психологии, математики, медицины, социологии.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;
• коллективная оценка кандидата в эксперты как специалиста в данной области
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи  определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую, применяют одновременно несколько  способов: самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

В общем случае формирование экспертной группы предваряют следующие мероприятия:

• выявляется и формулируется проблема;
• определяется цель и область деятельности группы;
• составляется предварительный список экспертов;
• проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);
• уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;
• определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

Пример градации качества и компетентности экспертов 

Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1—4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

• профессиональная компетентность и наличие практического и  исследовательского опыта в области  управления;

• креативность (умение решать творческие задачи); . научная интуиция;

. заинтересованность в объективных  результатах экспертной работы;

• независимость суждений;

• деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

• объективность;

• нонконформизм;

• высокая общая эрудиция.

Проведение сбора мнений экспертов  предполагает определение: места и  времени сбора мнений; формы и  методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

Очень важным является определение  формы сбора мнений экспертов. Среди  всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

• анкетирование;

• интервьюирование;

• дискуссия;

• мозговой штурм 

• совещание;

• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший  эффект и объективность. Смешанная  форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как  числовых данных, так и содержательных высказываний экспертов приводит к  необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество  проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму  классу относятся проблемы, для решения  которых еще не накоплен достаточный  информационный потенциал. В связи  с этим суждения экспертов могут  очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что  проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости  от целей экспертного оценивания и выбранного метода измерения при  обработке результатов опроса возникают следующие основные задачи:

1) построение  обобщенной оценки объектов на  основе индивидуальных оценок  экспертов;

2) построение  обобщенной оценки на основе  парного сравнения объектов каждым  экспертом;

3) определение  относительных весов объектов;

4) определение  согласованности мнений экспертов;

5) определение  зависимостей между ранжировками;

6) оценка надежности  результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает  при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении  многих задач недостаточно осуществить  упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности  мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой  результатов экспертного оценивания можно определять зависимости между  ранжировками различных экспертов  и тем самым устанавливать  единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов  экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.