Методы экспертных оценок. Их характеристика
Введение
Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.
При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.).
Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.
Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.
Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов. В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.
Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:
1) составление перечня возможных событий в различных областях за определенный промежуток времени;
2)
определение наиболее
3) определение целей и задач управления с упорядочением их по степени важности;
4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;
5)
альтернативное распределение
6)
альтернативные варианты
Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.
Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.
Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.
При
использовании метода экспертных оценок
возникают свои проблемы. Основными из
них являются: подбор экспертов, проведение
опроса экспертов, обработка результатов
опроса, организация процедур экспертизы.
- Методы экспертных оценок. Их характеристика.
Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Индивидуальные экспертные оценки основаны на использовании мнений экспертов-специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью, аналитический, написания сценария.
Метод интервью предполага
Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество— возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
Метод написания сценария следует отнести как к индивидуальным, так и к коллективным экспертным оценкам.
Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. В современных условиях используется математико-статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: дисперсия оценок, среднеквадратическое отклонение оценок и на этой основе — коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.
В мировой практике широкое применение нашли такие методы коллективных экспертных оценок, как метод коллективной генерации идей, метод 635, метод Дельфи, метод "комиссий", метод написания сценария и другие. Рассмотрим сущность перечисленных методов.
Задачи прогнозирования, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возможных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
Сущность метода «мозговых атак» или метода коллективной генерации идей состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию следующих шести этапов.
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная численность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников присвоением ему номера с последующим обращением к участнику по номеру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обязательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладающие высоким уровнем общей эрудиции и понимающие смысл проблемной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проблемной ситуации и включает описание этого метода и описание проблемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причины возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гиперболизировать последствия, с тем чтобы острее ощущалась необходимость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуации, формулировку проблемной ситуации в виде центрального вопроса с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содержание проблемной ситуации, ведущий концентрирует внимание участников на основном вопросе. Свое выступление ведущий должен строить таким образом, чтобы пробудить психологическую восприимчивость участников, заставить их почувствовать потребность сделать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблемной ситуации.
Активная деятельность ведущего предполагается только в начале «мозговой атаки». После того как участники достаточно возбудились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глубже охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
-
сосредоточивать внимание
- не объявлять ложной, не осуждать и не прекращать исследование ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
-
приветствовать
- оказывать поддержку и поощрение участникам, столь необходимые для того, чтобы освободить их от скованности;
-
создавать непринужденность
Продолжительность мозгового штурма рекомендуется не менее 20 минут и не более 1 часа в зависимости от активности участников. Целесообразно вести запись высказываемых идей.
Четвертый этап - систематизация идей, высказанных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комплексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным признакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к частным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каждая из них подвергается всесторонней критике со стороны участников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают доводы, опровергающие систематизированную идею. Особенно ценным является то обстоятельство, что в процессе деструирования может быть генерирована контр-идея, формулирующая имеющиеся ограничения и выдвигающая предложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, численность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контр-идеи записываются на магнитофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:
1.
Составляется перечень всех
2.
Составляется сводная таблица
этапов систематизации и
3.
Оценивается каждое
а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4.
Составляется окончательный
Метод «635» — одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
Метод
коллективной генерации идей апробирован
на практике и позволяет находить
групповое решение при
Дельфийский метод. В последние два десятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мнения. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность прогнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экспертов. К таким особенностям относятся: а) анонимность экспертов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения процедуры экспертной оценки прогнозируемого явления, объекта участники экспертной группы неизвестны друг другу. При этом взаимодействие членов группы при заполнении анкет, полностью устраняется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертов, т.е. такую точку зрения, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени различия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характеристики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квартилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преимуществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество связанных и переходящих друг в друга путей развития.
При
введении перекрестной корреляции значения
каждого события за счет введенных
определенных связей будут изменяться
либо в положительную, либо в отрицательную
сторону, корректируя тем самым
вероятности рассматриваемых
Сущность методов экспертных оценок для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
Содержание методов экспертных оценок заключается в следующем:
I.
Создание групп. Для
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований и разработок не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в разработке вопросов, которые будут предложены экспертам. Форма вопроса может быть разработана в виде таблиц, но содержание их должно определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур по иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экспертных оценок, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1)метод простой ранжировки (или метод предпочтения);
2)метод задания весовых коэффициентов;
3)метод парных сравнений;
4)метод последовательных сравнений.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
Таблица 1.1 Экспертные оценки признаков (направлений исследований)
- порядок предпочтения данного признака перед другими.
Затем
с помощью методов
, (1.1)
где mkj - количество экспертов, оценивающих j-й признак (mk m);
i - номер эксперта; i = 1,…,m;
j - номер признака, j = 1,2,…,n.
Определяется средний ранг каждого признака. Чем меньше величина Sj, тем больше важность этого признака.
