Содержание 

       Введение 3

       1. Теоретические аспекты организации экспертных оценок 5

       1.1. Понятие и сущность экспертных оценок 5

       1.2. Основные стадии организации экспертного оценивания 8

       1.3. Подбор и процедура работы экспертов 11

       2. Методологические подходы к организации экспертных оценок 16

       2.1. Метод опроса экспертов и его разновидности 16

       2.2. Методы ранжирования и сравнения 19

       2.3. Метод Дельфи 23

       2.4. Метод сценариев 25

       Заключение 30

       Список литературы 32 

Введение

       В процессе управления происходит взаимодействие трех элементов – объекта управления, системы управления и окружающей среды. Система управления воздействует на объект для достижения одной или нескольких целей управления. Окружающая среда оказывает влияние на объект и систему управления, которое может способствовать или препятствовать достижению целей. Сам объект может быть пассивным, способствовать или препятствовать достижению целей.

       Можно выделить следующие функции с  позиции принятия решения в процессе управления: прогнозирование, планирование, оценка обстановки, принятие решений, исполнение решений, контроль и учет.

       Среди перечисленных функций управления принятие решений играет особую роль. Оно является более общей, чем  другие функции управления. Эта общность выражается в том, что любую функцию  управления можно представить как  последовательность решений. В связи  с этим часто управление в целом  рассматривается как процесс  принятия решений.

       Эксперты  помогают описать качественно и  количественно (если возможно) проблемную ситуацию, определить время и ресурсы  для принятия решений, построить  множество возможных ситуаций, сформулировать множество целей и множество  возможных решений, высказать свои предпочтения по ситуациям, решениям и  целям и предложить возможные  критерии оптимального выбора решений.

       Качественное  решение задачи прогнозирования  может выполнить только квалифицированный  специалист. Увеличение достоверности  прогноза достигается привлечением к работе нескольких специалистов, образующих экспертную группу. Обработка  результатов групповой экспертизы позволяет получить более обоснованное и достоверное суждение о перспективах развития.

       Методы  экспертных оценок используются для  прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также  применяются для количественного  измерения таких событий, для  которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных  методов продвижения. Иными словами, методы экспертных оценок применяются  как для количественного измерения  событий в настоящем, так и  для целей прогнозирования. Вследствие данных причин, а также в условиях современного финансово-экономического состояния в России и в мире применение методов экспертных оценок приобретает особенную актуальность.

       Целью курсовой работы является комплексное  изучение теоретико-методологических подходов к организации и проведению экспертных оценок.

       Для достижения поставленной цели необходимо решить следующие задачи:

• изучить понятие и сущность экспертных оценок;
• охарактеризовать основные стадии организации экспертного оценивания;
• рассмотреть процесс подбора и организации работы экспертов;
• проанализировать методологические подходы к организации экспертных оценок.

       Объектом  курсовой работы является метод экспертных оценок.

       Предмет исследования – методология и  организация экспертных оценок.

       В процессе написания курсовой работы был использован широкий спектр учебной и научной литературы отечественных и зарубежных автором, исследующих теоретические и  практические проблемы экспертных оценок.

1. Теоретические аспекты организации экспертных оценок

1.1. Понятие и сущность  экспертных оценок

       После второй мировой войны в рамках кибернетики, теории управления, менеджмента  и исследования операций стала развиваться  самостоятельная дисциплина - теория и практика экспертных оценок.

       Методы  экспертных оценок - это методы организации  работы со специалистами-экспертами и  обработки мнений экспертов. Эти  мнения обычно выражены частично в  количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для  принятия решений лицом, принимающим  решения (ЛПР). Для проведения работы по методу экспертных оценок создают  рабочую группу (сокращенно РГ), которая  и организует по поручению ЛПР  деятельность экспертов, объединенных (формально или по существу) в  экспертную комиссию (ЭК) [9, с. 37].

       Экспертные  оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель  единолично ставит отметку студенту, а врач - диагноз больному. Но в  сложных случаях заболевания  или при угрозе отчисления студента за плохую учебу обращаются к коллективному  мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает  решение единолично. Но в сложных  и ответственных ситуациях проводят военный совет. Один из наиболее известных  примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством  М.И. Кутузова решался вопрос: «Давать  или не давать французам сражение под Москвой?» [20, с. 17]

       Другой  простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже мы увидим, что такой подход некорректен с точки зрения теории измерений).

       В фигурном катании процедура усложняется - перед усреднением отбрасываются  самая большая и самая маленькая  оценки. Это делается для того, чтобы  не было соблазна завысить оценку одной  спортсменке (например, соотечественнице) или занизить другой. Такие резко  выделяющиеся из общего ряда  оценки будут сразу отброшены.

       Экспертные  оценки часто используются при выборе - одного варианта технических устройств  из нескольких, группы космонавтов  из многих претендентов, набора проектов научно-исследовательских работ  для финансирования из массы заявок, получателей экологических кредитов из многих желающих, выбор инвестиционных проектов для реализации среди представленных, и т.д.

       Существует  масса методов получения экспертных оценок. В одних с каждым экспертом  работают отдельно, он даже не знает, кто  еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов  собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают  проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов  фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли  принимать обоснованные решения. В  других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода «снежного кома». Не меньше существует и методов обработки ответов  экспертов, в том числе весьма насыщенных математикой и компьютеризированных [15, с. 71].

       В настоящее время метод экспертных оценок широко применяется для решения  важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

       Все множество плохо формализуемых  проблем условно можно разделить  на два класса. К первому классу относятся проблемы, в отношении  которых имеется достаточный  информационный потенциал, позволяющий  успешно решать эти проблемы. Основные трудности в решении проблем  первого класса при экспертной оценке заключаются в реализации существующего  информационного потенциала путем  подбора экспертов, построения рациональных процедур опроса и применения оптимальных  методов обработки его результатов. При этом методы опроса и обработки  основываются на использовании принципа «хорошего» измерителя. Данный принцип  означает, что выполняются следующие  гипотезы [4, с. 96]:

       1) эксперт является хранилищем  большого объема рационально  обработанной информации, и поэтому  он может рассматриваться как  качественный источник информации;

       2) групповое мнение экспертов близко  к истинному решению проблемы.

       Если  эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки  можно использовать результаты теории измерений и математической статистики.

       Ко  второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для  уверенности в справедливости указанных  гипотез. При решении проблем  из этого класса экспертов уже  нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень  осторожно проводить обработку  результатов экспертизы. Применение методов осреднения, справедливых для  «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В  связи с этим для проблем второго класса в основном должна применяться качественная обработка.

       Область применения метода экспертных оценок весьма широка. Перечислим типовые  задачи, решаемые методом экспертных оценок:

       1) составление перечня возможных  событий в различных областях  за определенный промежуток времени;

       2) определение наиболее вероятных  интервалов времени свершения  совокупности событий;

       3) определение целей и задач  управления с упорядочением их  по степени важности;

       4) определение альтернативных (вариантов  решения задачи с оценкой их  предпочтения;

       5) альтернативное распределение ресурсов  для решения задач с оценкой  их предпочтительности;

       6) альтернативные варианты принятия  решений в определенной ситуации  с оценкой их предпочтительности [3, с. 48].

       При использовании метода экспертных оценок возникают свои проблемы. Основными  из них являются: подбор экспертов, проведение опроса экспертов, обработка  результатов опроса, организация  процедур экспертизы.

1.2. Основные стадии  организации экспертного  оценивания

       Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно  выделять следующие стадии проведения экспертного опроса.

       1) Принятие решения о необходимости  проведения экспертного опроса  и формулировка лицом, принимающим  решения (ЛПР) его цели. Таким  образом, инициатива должна исходить  от руководства, что в дальнейшем  обеспечит успешное решение организационных  и финансовых проблем.

       2) Подбор и назначение ЛПР основного  состава рабочей группы (РГ) –  обычно научного руководителя  и секретаря. При этом научный  руководитель отвечает за организацию  и проведение экспертного исследования  в целом, а также за анализ  собранных материалов и формулировку  заключения экспертной комиссии. Он участвует в формировании  коллектива экспертов и выдаче  задания каждому (вместе с ЛПР  или его представителем). Дело  секретаря - ведение документации, решение организационных задач. 

       3) Разработка РГ (точнее, ее основным  составом, прежде всего научным  руководителем и секретарем) и  утверждение у ЛПР технического  задания на проведение экспертного  опроса. На этой стадия решение  о проведении экспертного опроса  приобретает четкость во времени,  финансовом, кадровом, материальном  и организационном обеспечении.  В частности, в РГ выделяются  различные группы специалистов - аналитическая, эконометрическая (специалисты  по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень  важно для успеха, чтобы все  эти направления работ были  утверждены ЛПР [21, с. 85].

       4) Разработка аналитической группой  РГ подробного сценария (т.е. регламента) проведения сбора и анализа  экспертных мнений (оценок). Сценарий  включает в себя прежде всего   конкретный вид информации, которая  будет получена от экспертов  (например, тексты (слова), условные  градации, числа, ранжировки, разбиения  или иные виды объектов нечисловой  природы ). Так, довольно часто  экспертов просят высказаться   в свободной форме, ответив  при этом на некоторые количество  заранее сформулированных вопросов. Кроме того, их просят заполнить  формальную карту, в каждом  пункте выбрав одну из нескольких  градаций. Сценарий должен содержать  и конкретные методы анализа  собранной информации.

       5) Подбор экспертов в соответствии  с их компетентностью. На этой  стадии РГ составляет список  возможных экспертов.

       6) Формирование экспертной комиссии. На этой стадии РГ проводит  переговоры с экспертами, получает  их согласие на работу в  экспертной комиссии (сокращенно  ЭК), возможно, часть намеченных РГ  экспертов отказывается по тем  или иным причинам. ЛПР утверждает  состав экспертной комиссии, возможно, вычеркнув или добавив часть  экспертов к предложениям РГ. Проводится заключение договоров  с экспертами об условиях их  работы и ее оплаты.

       7) Проведение сбора экспертной  информации. Часто перед этим  проводится набор и обучение  интервьюеров - одной из групп,  входящих в РГ.

       8) Компьютерный анализ экспертной  информации с помощью включенных  в сценарий методов. Ему обычно  предшествует введение информации  в компьютеры.

       9) При применении согласно сценарию  экспертной процедуры из нескольких  туров - повторение двух предыдущих  этапов.

       10) Итоговый анализ экспертных мнений, интерпретация полученных результатов  аналитической группой РГ и  подготовка заключительного документа  ЭК для ЛПР. 

       11) Официальное окончание деятельности  РГ, в том числе утверждение  ЛПР заключительного документа  ЭК, подготовка и утверждение  научного и финансового отчетов  РГ о проведении исследования, оплата труда экспертов и сотрудников  РГ, официальное прекращение деятельности (роспуск) ЭК и РГ. 
 
 
 

1.3. Подбор и процедура работы экспертов

       Проблема  подбора экспертов является одной  из наиболее сложных в теории и  практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного  решения. Но как выделить, найти, подобрать  таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех  экспертизы.

       В проблеме подбора экспертов можно  выделить две составляющие - составление  списка возможных экспертов и  выбор из них экспертной комиссии в соответствии с компетентностью  кандидатов [12, с. 76].

       Составление списка возможных экспертов облегчается  тогда, когда рассматриваемый вид  экспертизы проводится многократно. В  таких ситуациях обычно ведется  реестр возможных экспертов, например, в области государственной экологической  экспертизы или судейства фигурного  катания, из которого можно выбирать по различным критериям или с  помощью датчика псевдослучайных  чисел.

       Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов  отсутствуют? Однако и в этом случае у каждого конкретного специалиста  есть некоторое представление о  том, что требуется от эксперта в  подобной ситуации. Для формирования списка есть полезный метод «снежного  кома», при котором от каждого  специалиста, привлекаемого в качестве эксперта, получают несколько фамилий  тех, кто может быть экспертом  по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались  ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс  расширения списка останавливается, когда  новые фамилии практически перестают  встречаться. В результате получается достаточно обширный список возможных  экспертов. Метод «снежного кома»  имеет и недостатки. Число туров  до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного «клана», придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, прежде всего лиц из этого «клана». Мнения и аргументы других «кланов» будут упущены.

       Вопрос  об оценке компетентности экспертов  не менее сложен. Успешность участия  в предыдущих экспертизах - хороший  критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют  в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и  важны уникальные экспертизы больших  проектов, не имеющих аналогов. Использование  формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может  носить лишь вспомогательный характер, хотя подобные показатели проще всего  применять.

       Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Рассмотрим метод самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям [12, с. 81]. 

       При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность  экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и  возможностями друг друга может  быть лишь у специалистов, много  лет (не менее 3-4) работающих совместно, в одной комнате, над одной  темой. Однако привлечение таких  пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

       Если  процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд  обстоятельств. Большое значение имеют  их личностные (социально-психологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

       Необходимо  подчеркнуть, что подбор экспертов  в конечном счете - функция рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

       Процедура работы экспертов.

       На  практике применяются различные  процедуры, определяющие:

       • характер контактов экспертов друг с другом (анонимный или нет), т.е. очные или заочные опросы;

       • обратную связь в работе экспертов (наличие или отсутствие возможности  самообучения в процессе экспертизы), т.е. одноразовые или многоразовые (в несколько туров) опросы.

       Одной из главных разновидностей очного (как  правило, одноразового) опроса является т.н. «мозговая атака» или «коллективная  генерация идей». В основе этой методики лежит организация коллективного  обсуждения проблемы путем стимулирования влияния друг на друга сознания «цепной  реакции идей».

       Ключевое  звено такой организации работы [10, с. 105]:

       1) категорический запрет на критику  любого мнения, оценки, рекомендации, высказанных во время заседания  экспертов, независимо от впечатления,  которое они на первый взгляд  производят;

       2) подбор специалистов примерно  равного научного и должностного  статуса (чтобы избежать «давления»  авторов);

       3) максимальная краткосрочность сессии (не более 1,5-2 ч);

       4) четкая формулировка поставленной  на обсуждение проблемы;

       5) скрупулезная регистрация высказывании:

       6) предоставление возможности экспертам  дополнительно высказаться после  сессии для снятия психологического  напряжения («последнее слово»).

       Один  из ведущих экспертов назначается  руководителем (председателем) сессии. В его обязанности входят подготовка проблемы, обеспечение подготовки, проведение и обработка материалов сессии. Кроме того, он является высшей инстанцией, арбитром, к которому можно  апеллировать при возникновении  каких-либо недоразумений.

       Иногда  дискуссию начинает специально выделенный докладчик, но чаще сам председатель. Затем слово предоставляется  экспертам-аналитикам, раскрывающим современное  состояние и тенденции исследований по поставленной проблеме.

       Далее в дело вступает центральное звено  – эксперты-генераторы, отличающиеся способностью высказать нетривиальные, оригинальные идеи. Затем – эксперты-модераторы, в задачу которых входит «приглушение», «притормаживание» обсуждения явно случайных, непродуманных или не относящихся к делу идей с целью  возвращения дискуссии в намеченное русло.

       Потом им на смену приходят эксперты-аниматоры, стремящиеся оживить заглохшие  почему-либо конструктивные идеи.

       Наконец, эксперты-селекторы (желательно уже  после завершения сессии) оценивают  высказанные предположения, идеи, рекомендации, отбирают наиболее конструктивные и  дают сводку руководителю, который  подводит итоги.

2. Методологические  подходы к организации  экспертных оценок

2.1. Метод опроса экспертов и его разновидности

       Индивидуальные  экспертные оценки постепенно стали  особой разновидностью опроса экспертов, образовав как бы подсистему в  общей системе методов опроса экспертов.

       Отдельный эксперт обладает ограниченными  возможностями прогнозирования, где  сильная сторона его как специалиста  – накопленные им знания, опыт, определенная логика мышления – нередко оборачивается  его слабой стороной: «груз прошлого»  мешает эксперту подняться над уровнем  привычных тенденций и осознать необходимость качественных изменений (привык к определенной пище, но природа  меняется, и привычной пищи становится все меньше, надо привыкать к другой – это качественное изменение  – формирует прогноз вложений в повышение урожайности привычных  культур или вложения инвестиций в новые).

       Коллективная  работа экспертов помогает совместно  преодолеть этот недостаток. Результатом  опроса экспертов является обычно не просто «усредненное» мнение группы специалистов, идет процесс объективизации субъективных оценок, что при соблюдении известных методических требований заметно повышает надежность прогноза.

       Опыт  показал, что неупорядоченный, произвольный опрос экспертов резко снижает  качество, надежность их оценок и может  иметь результатом искаженные данные. Для упорядочения опроса экспертов  наибольшее значение имеют три основные методические проблемы всякой экспертизы [14, с. 31]: