Виды экспертных оценок

Содержание

Введение

1. Сущность метода экспертных  оценок

2 Основные стадии экспертного  опроса.

3. Виды экспертных оценок 

3.1 Индивидуальные экспертные  оценки

3.2 Коллективные экспертные  оценки

4 Пример. Применение метода «Дельфи» в прогнозировании сельскохозяйственных показателей

Заключение

Список используемой литературы

Введение

Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, мы, менеджеры, экономисты, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы, мы рассмотрим ниже.

1. Сущность метода  экспертных оценок

В исследовании управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из «человеческого фактора», отсутствием надежных экспериментальных или нормативных инструментов.

Экспертиза — это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа.

Эксперты (от латинского «expertus» - опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению. Эксперты выполняют две функции: анализ проблемы и разработка решений, а также сравнение альтернатив и выбор наилучшей, которая обеспечит достижение запланированного результата. 

Метод экспертных оценок – метод анализам обобщения суждений и предположений с помощью экспертов1. Сущность метода экспертных оценок заключается в проведении экспериментами интуитивно - логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Заключение экспертов представляет собой документ, в котором фиксируется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную («да», «нет»), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

Экспертные оценки особенно эффективны в условиях:

• большой неопределенности среды, в которой функционирует исследуемый объект;

• дефицита времени и в экстремальных ситуациях;

• отсутствия надежной теоретической основы.

Метод экспертных оценок используется для решения слабоструктурированных и неструктурированных проблем.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании «хорошего измерителя». Это означает, что выполняются следующие условия:

• эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель с небольшими погрешностями»);

• групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполнятся, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При рении проблем этого класса экспертов уже нельзя рассматривать как «хороших измерителе». В связи с этим для проблем второго класса в основном должна применяться качественная обработка2.

Таким образом, метод экспертных оценок применяются при решении следующих задач:

• распределение ресурсов организации по направлениям ее деятельности;

• проблемы в области совершенствования организационного управления;

• разработка стратегии;

• определение «узких мест» в работе;

• разработка вариантов решений в области инноваций.

2 Основные стадии экспертного  опроса.

Применение метода экспертной оценки нужно рассматривать как процесс, который состоит из отдельных стадий: 

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.   

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.  

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР. 

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего  конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%. 

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования.. 

6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты. 

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ. 

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры. 

9) При применении согласно сценарию  экспертной процедуры из нескольких  туров - повторение двух предыдущих этапов. 

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР. 

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Различают индивидуальные и коллективныеэкспертные оценки.

3. Виды экспертных оценок 

3.1 Индивидуальные экспертные оценки

Индивидуальные экспертные оценки основаны на использовании мнений экспертов-специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью, аналитический, написания сценария.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос—ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Метод написания сценария следует отнести как к индивидуальным, так и к коллективным экспертным оценкам. Его сущность и основные характеристики будут раскрыты ниже.

3.2 Коллективные экспертные оценки

Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. В современных условиях используется математико-статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: дисперсия оценок, среднеквадратическое отклонение оценок и на этой основе — коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта. Определяется цель прогноза, разрабатываются вопросы для экспертов. При проведении оп-оса необходимо обеспечить однозначность понимания отдельных вопросов и независимость суждений экспертов. После опроса осуществляется обработка материалов, полученных в результате коллективной экспертной оценки. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов.

Также могут использоваться и другие подходы. При разработке, научно-технических дрогнозов методика статистической обработки материалов предусматривает использование совокупности оценок относительной важности, сделанных экспертами по каждому из оцениваемых направлений научных исследований. Оценки важности выражается в баллах и могут принимать значения от 0 до 1, от 0 о 10, от 0 до 100 и т.д.

В мировой практике широкое применение нашли такие методы коллективных экспертных оценок, как метод коллективной генерации идей, метод 635, метод Дельфи, метод "комиссий", метод написания сценария. Рассмотрим сущность перечисленных методов.

Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей , а затем их деструктурирование (разрушение, критику) с выдвижением контр-идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.

Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап — этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжительность «мозговой атаки" — не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. Группа состоит из 20—25 человек. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.

Метод «635» — одна из разновидностей мозговой атаки. Цифры б, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Метод Делъфи — одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т. Гордоном и О. Хелмером — сотрудниками одной из корпораций США, которые в 1964 г. опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Он используется при прогнозировании развития науки и техники, нвестиций и других аспектов.

Цель метода Дельфи — разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3—4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы 
при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего 
тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод комиссий — один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: от каких простейших форм к более сложным должен пройти этот процесс; как он повлияет на национальное хозяйство и экономические связи стран; каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период. Он обычно носит многовариантный характер и освещает три линии поведения: оптимистическую — развитие системы в наиболее благоприятной ситуации; пессимистическую — развитие системы в наименее благоприятной ситуации; рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

При анализе и прогнозе систем широко используются прогнозный граф и дерево целей. Графом называют фигуру, состоящую из точек-вершин, соединенных отрезками-ребрами. Дерево целей — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей.

Дерево целей предполагает выделение нескольких структурных или иерархических уровней. Каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

Построение дерева целей требует решения многих прогнозных задач: прогноза развития объекта в целом; формулировки сценария прогнозируемой цели, уровней и вершин "дерева целей"; критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод морфологического анализа включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

4 Пример. Применение метода «Дельфи» в прогнозировании сельскохозяйственных показателей

В качестве объекта прогнозирования возьмем зернопродуктовый подкомплекс. Основным показателем развития комплекса является валовый сбор зерна.  Исследуем изменение данного показателя в течении длительного временного промежутка.

Динамика валового сбора зерна представлена в следующей таблице.

Таблица 1

Валовой сбор зерна в 1913 – 1999 г. (в первоначально-оприходованном весе) (в хозяйствах всех категорий)

Значительные колебания анализируемого временного ряда были вызваны социально-экономическими и природными факторами.

Для прогнозирования валового сбора зерна была проведена экспертная оценка по методу “Дельфи”. В экспертизе приняло участие 14 человек. Экспертиза проводилась в письменном виде, в форме рассылки анкет. Условия проведения экспертизы были соблюдены: эксперты работали анонимно и  автономно. В вопросниках был поставлен следующий вопрос: ”Назовите объем валового сбора зерна в 2000 году в первоначально-оприходованном весе в хозяйствах всех категорий”. В качестве дополнительной информации экспертам предлагалась статистическая информация - таблица 1.

Экспертиза проводилась в два тура.

Первый тур опроса.

 Результаты ,а также  ранжированный ряд представлены  в таблице 2.

Таблица 2

Результаты первого тура экспертизы

 Где n – число экспертов, участвующих в экспертизе.

Q0,25=1950  Q0,75=2050

=181,3

Рис 1. Графики экспертных оценок  валового сбора зерна

2 тур опроса