Методы экспертных оценок. 3

 

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ  УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО  ОБРАЗОВАНИЯ

"РОССИЙСКАЯ  АКАДЕМИЯ НАРОДНОГО ХОЗЯЙСТВА И ГОСУДАРСТВЕННОЙ СЛУЖБЫ

ПРИ ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ"

 

ВЛАДИМИРСКИЙ  ФИЛИАЛ

 

КАФЕДРА ЭКОНОМИКИ

 

 

 

 

Контрольная работа

 

 

по  курсу: Прогнозирование и планирование

 

на  тему: Методы экспертных оценок 

 

 

 Выполнила:

Фомичёва  Евгения Александровна

студентка заочного обучения,

курс 6 ,группа CПФ-209,

специальность  «Финансы и кредит»

 

 

 

 

Владимир 2012

Содержание:

 

Введение ………………………………………………………………………… 3

1. Сущность метода экспертных оценок ………………………………….. 5
2. Подбор экспертов ………………………………………………………… 8
3. Опрос экспертов ………………………………………………………… 10
4. Методы экспертных оценок

4.1 Методы получения индивидуального мнения членов экспертной группы …………………………………………………………………… 12

4.2 Методы коллективной работы экспертной группы ………………. 14

5. Обработка экспертных оценок …………………………………………. 18

Заключение ……………………………………………………………………. 20

 

Список литературы …………………………………………………………….. 21

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Проблема  прогнозирования в обществе давно  занимает представителей как общественных, так и точных наук.

Прогнозирование - это специальное научное исследование конкретных перспектив развития какого-либо процесса. Основное условие необходимости в прогнозах - это недостаток исходных данных.

Планирование – это совокупность действий, таких как исследование, аналитика и др., с целью нахождения комплекса решений, направленных на достижение целей какой-либо личности, организации, ряда организаций или всех граждан и организаций в регионе, стране или в мире. Планирование означает, прежде всего, умение думать с опережением и предполагает системность в работе.

Любое планирование должно, прежде всего, базироваться на результатах прогнозирования. И наоборот, прикладное прогнозирование в политике и экономике тесно связано с процедурой планирования, процессом принятия управленческих решений, ориентированных на реализацию различных проектов.

Нередко возникают ситуации, когда при планировании возможности применения точных математических методов ограниченны. Кроме того, в большинстве случаев не представляется возможным оценить значительную часть воздействий одних факторов на другие, степень взаимодействия факторов, а также численное значение показателей. В ситуации, когда эконометрическими способами невозможно получить оценки из-за отсутствия достаточно точной статистической и другой информации о факторах, событиях и сценариях, а также надежных математических моделей, описывающих реальное состояние системы, экспертные оценки, основанные на получении обобщенных мнений экспертов, являются единственным средством решения задач прогнозирования – в этом и заключается актуальность выбранной темы.

Проведение  экспертных исследований, представляющие собой синтез математических методов и практического опыта экспертов, основано на использовании современных методов прикладной математической статистики, а также современной компьютерной техники.

Существует  большой ряд задач, где целесообразно  и необходимо применение метода экспертных оценок: задачи планирования, принятия решений, оценки рисков, прогнозирования  развития событий, задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов -  в том случае, когда имеется группа экспертов, компетентных в этой области. Если область достаточно широкая или требуется оценить факторы, относящиеся к нескольким областям, целесообразно привлечение нескольких групп экспертов.

Применение  экспертных оценок основано на том, что  при решении проблем в условиях невозможности использования измерительных  способов или расчетных данных, мнение группы экспертов дает более точные прогнозируемые данные или оценки, нежели суждение некоторого одного эксперта. Справедливо полагать, что совокупность ответов каждого эксперта содержит искомое решение поставленной задачи.

Целью нашей  работы является изучение метода экспертных оценок – одного из важнейших этапов планирования.

Задачи:

     1) изучение роли экспертизы в  планировании и прогнозировании;

     2) рассмотрение порядка организации  экспертного оценивания;

     3) изучение заключительного этапа экспертного оценивания – обработки экспертных оценок.

 

 

 

 

 

1. Сущность метода экспертных оценок

 

Метод экспертных оценок – это сбор информации, ее анализ на основе логических и математико-статистических методов и приемов с целью получения необходимой информации для подготовки и выбора рациональных решений.

Этот метод применяют тогда, когда необходимо выбрать решение, которое не может быть определено на основе точных расчетов. Такие ситуации часто возникают в разработках  современных проблем управления производством и, главное, при прогнозировании и долгосрочном планировании.

Метод экспертных оценок используют в:

а) социально-политическом прогнозировании;

б) научно-техническом прогнозировании;

в) планировании народного хозяйства;

г) разработке крупных экономических, политических и социальных программ.

Выделяют два уровня экспертных оценок: количественный и качественный. Применение экспертных оценок на качественном уровне, например для возможных направлений  деятельности, как правило, оправдано. Применение экспертных оценок в тех  случаях, когда могут быть использованы математические методы, нередко обусловлено  неумением использовать математические методы.

Этапы проведения экспертных оценок:

·        постановка проблемы;

·        отбор эксперта;

·        опрос эксперта;

·        обработка экспертных оценок.

Методы экспертных оценок можно  подразделить на:

1) по количеству экспертов: индивидуальные и коллективные;

2) по технологии обработки информации: прямые и экспертные методы  с обратной связью;

3) по технологии получения прогнозной  оценки.

Среди индивидуальных оценок используют метод «интервью», метод «Дельфи», аналитический метод, который предусматривает тщательную и самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Достоинством методов можно считать возможность максимального использования индивидуальных способностей эксперта, недостатками – субъективность и ограниченность знаний.

Среди коллективных экспертных методов  выделяются:

1. Метод коллективной генерации  идей (мозговой атаки).

2. Метод «635».

3. Метод написания сценария.

4. Метод «комиссий», «совещаний» и «суда»

5. Метод «деловых игр».

Этапы применения метода коллективных экспертных оценок:

- формирование экспертной группы (отбор экспертов производится  с использованием методов самооценки, методы взаимной оценки,       по прошлому опыту);

- определение компетентности экспертов;

- оценка представительности или  репрезентативности группы;

- получение индивидуальных суждений  экспертов по заданной проблеме;

- обобщение мнений об относительной  важности заданной проблемы группой  экспертов;

- оценка степени согласованности  экспертов с учетом коэффициента  вариации;

- построение гистограммы распределения  мнений экспертов;

- формулирование плана прогноза.

Технология обобщения оценок зависит  от вида оценок, количества данных оценок. Если прогнозом (планом) является число, то может использоваться среднее  значение. Если ответы экспертов различны, то используется теория игр. Если оценка экспертов давалась в виде рангов, то в процессе обобщения определяется сумма рангов и согласованность  оценок с помощью коэффициента конкордации; Спирмана или Кендела. о достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как правило, получают оценки нескольких объекте. Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа. При выполнении анализа в качестве первого фактора рассматриваются эксперты, в качестве второго фактора — объекты, оцениваемые экспертами. Уровни первого фактора — это разные эксперты, а уровни второго фактора – разные объекты.

Согласованность оценок экспертов  определяется при отсутствии влияния  фактора, связанного с экспертами. В  распространенных статистических пакетах  для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, – критерий Пейджа (Page). Обычно тестируется гипотеза «есть различия между средними значениями оценок некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов согласованы и достоверны.

Коллективное мнение экспертной группы может быть выражено в формах:

·        количественных оценок в физических единицах измерения или в виде отношения;

·        балльных оценок;

·        попарных сравнений;

·        группировок (сортировки);

·        ранжирования.

 

2. Подбор экспертов

 

Для реализации процедуры экспертного оценивания  необходимо  сформировать группу  экспертов.  Общим  требованием  при  формировании  группы  экспертов является эффективное  решение  проблемы  экспертизы.  Эффективность  решения проблемы определяется характеристиками достоверности экспертизы и затрат  на нее.

  Достоверность  экспертного оценивания  может  быть  определена  только  на основе  практического   решения   проблемы   и   анализа   ее   результатов.

Использование экспертов как раз и обусловлено тем,  что отсутствуют какие- либо другие  способы  получения  информации. Поэтому оценка  достоверности экспертизы  может  осуществляться,  как  правило,  только  по  апостериорным (послеопытным)   данным.   Если  экспертиза    проводится  систематически  с примерно одним и  тем  же  составам  экспертов,  то  появляется  возможность накопления статистических данных по достоверности работы группы экспертов  и получения  устойчивой  числовой  оценки  достоверности.  Эту  оценку   можно использовать в качестве априорных данных о  достоверности  группы  экспертов для последующих экспертиз.

  Достоверность  группового экспертного оценивания  зависит от  общего  числа экспертов в группе, долевого состава различных  специалистов  в  группе,  от характеристик экспертов.

    Сложной  проблемой  процедуры   подбора  является   формирование   системы характеристик  эксперта,  существенно   влияющих   на   ход   и   результаты экспертизы.  Эти  характеристики  должны  описывать  специфические  свойства специалиста и возможные отношения  между  людьми,  влияющие  на  экспертизу.

  Максимальное  число экспертов  в  группе  проверяется  на  ограничение  по финансовым   ресурсам.   Определив   зависимость    между    достоверностью, количеством экспертов и расходами на оплату, группа управления  представляет руководству эту информацию и  формулирует  возможные  альтернативы  решений.

Такими  альтернативами могут быть  либо  снижение  достоверности  результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения  по расходам на  оплату  экспертов,  либо  сохранение  исходного  требования  на достоверность экспертизы и увеличение расходов на оплату экспертов.

  Следующим   этапом  работы  по  подбору   экспертов  является   составление предварительного списка экспертов. При составлении этого  списка  проводится анализ качеств экспертов. Кроме учета  качеств  экспертов,  определяются  их местонахождение и возможности участия выбранных специалистов  в  экспертизе. При оценке качеств учитывается мнение людей, хорошо  знающих кандидатов  в эксперты.

  После  составления списка экспертов  им направляются письма с  приглашением участвовать в экспертизе. В письмах объясняется цель проведения  экспертизы, ее сроки, порядок проведения,  объем  работы и условия вознаграждения.  К письмам прилагаются анкеты  данных  эксперта  и  самооценки  компетентности.

  После  составления и утверждения списка  экспертам посылается  сообщение  о включении  их  в  состав  экспертной  группы.  Если  экспертное   оценивание производится  методом  анкетирования,  то  одновременно  с  уведомлением   о включении  в  экспертную  группу  всем   экспертам   высылается   анкета   с необходимыми  инструкциями  для  их  заполнения.  Сообщением   экспертам   о включении их в экспертизу заканчивается работа по подбору экспертов.

 

 

 

 

 

 

3. Опрос экспертов

 

Основным  содержанием опроса является:

  - постановка  задачи и предъявление вопросов  экспертам;

  - информационное  обеспечение работы экспертов;

  - выработка  экспертами суждений, оценок, предложений;

  Главным  в организации опроса является  обеспечение максимума информации  и максимума  творческой  активности,  самостоятельности  эксперта.  Необходимо стремиться довести  до  каждого  эксперта  по  возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты,  так и  организаторы  опроса,  не  лишая  в  то  же  время  эксперта   творческой самостоятельности и активности.

  Однако  возможности эксперта  по  переработке   информации  ограниченны.  В результате эксперт может принять  решение,  не  используя  всей  информации, имеющейся в его распоряжении. Кроме того,  новая  информация  воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на  уже сложившиеся   субъективные   оценки.   Отношение    к    новой    информации благожелательнее,  а  восприятие  и  использование  ее  полнее,   если   она представляется в доходчивой, яркой и компактной форме.

  Из  этих психологических особенностей  следует необходимость предоставления экспертам возможностей для фиксации  поступающей  информации  путем  ведения записей,  использования   технических   средств,   а   также   необходимость предварительной  обработки  информации  и  представления  ее   экспертам   в наиболее воспринимаемой форме.

  Необходимо  подчеркнуть  противоречивость  значения   обмена   экспертами информацией, так  как  получение  такой  информации  таит  опасность  потери творческой независимости в построении модели объекта  экспертом.  Разрешение этого противоречия в полной мере невозможно, и при каждой  экспертизе  ее организаторы  должны  находить  разумный  компромисс,  прежде  всего,  путем выбора вида опроса, формы и степени общения экспертов.

  Каждый  из видов опроса имеет свои  достоинства и недостатки  в  построении обмена  информацией  между  экспертами  и  в организации их   независимого творчества.  Выбор  того  или  иного  вида   опроса   определяется   многими факторами, из которых основными являются:

  - цель  и задачи экспертизы;

  - существо  и сложность анализируемой проблемы;

  - полнота  и достоверность исходной информации;

  - требуемые объем и достоверность информации,  получаемой  в  результате опроса;

  - время,  отведенное на опрос и экспертизу  в целом;

  - допустимая  стоимость опроса, и экспертизы  в целом;

  - количество экспертов и членов группы управления, их характеристики.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4. Методы экспертных оценок
1. Методы получения индивидуального мнения членов экспертной группы

 

Методы получения индивидуального  мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести аналитический метод, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Метод "Дельфи", или метод "дельфийского оракула", представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.  
           Процедура метода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором этапе вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются.  
           Достоинством метода "Дельфи" является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Особенности метода Дельфи:

а) анонимность  экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность  использования результатов предыдущего тура опроса.

Этот  метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер.

 

 

 

2.  Методы коллективной работы экспертной группы

 

 

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.  
Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", метод «365», "совещаний" и "суда". 

Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей , а затем их деструктурирование (разрушение, критику) с выдвижением контр-идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.

Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап — этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжительность «мозговой атаки" — не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.

Метод "совещаний" ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения. 

 Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей. 

Метод "суда" является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса. В роли "подсудимых" выступают выбираемые варианты решения; в роли "судей" - лица, принимающие решение; в роли "прокуроров" и "защитников" - члены экспертной группы. Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.  
Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения. 

Метод «635» — одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

"Деловые игры" основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой. 

Основным  достоинством деловых игр является возможность выработки решения  в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы  управления. Недостаток заключается  в сложности организации деловой  игры в условиях, приближенных к  реальной проблемной ситуации. 

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта.

Прогнозный  сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней  дерева целей, приоритеты проблем и  ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые  материалы по развитию объекта прогнозирования.

Сценарий  должен быть написан так, чтобы после  ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических  задач на прогнозный период.

Он обычно носит многовариантный характер и освещает три линии поведения:

- оптимистическую - развитие системы в наиболее благоприятной ситуации;

- пессимистическую - развитие системы в наименее благоприятной ситуации;

- рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного сценария целесообразно  прорабатывать резервную стратегию  на случай непредвиденных ситуаций.