Методы коллективных экспертных оценок. 2

Содержание:

Введение

1. Метод комиссии

2. Метод «Дельфи»

3. Метод коллективной  генерации идей

4. Методика проведения экспертных  опросов

5. Метод «круглого стола»

Заключение

Список литературы

Введение

К числу групповых экспертных опросов относятся:

• открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

• закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;

• свободные высказывания без обсуждения и голосования.

Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.

1. Метод комиссии

Этот метод состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии.

Преимущество метода комиссии состоит в росте информативности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, под воздействием которых некоторые участники комиссии могут изменить первоначальную точку зрения. К недостаткам относится отсутствие анонимности. Оно может приводить к достаточно сильным проявлениям конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов, в которой часто берет не обоснованность, а количество приводимых доводов “за” и “против”. Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения. Главным же недостатком является то, что эксперты заранее ориентированы на компромиссное решение проблемы, а это, в свою очередь, допускает достаточное искажение результатов прогноза.

2. Метод «Дельфи»

Для прогнозов развития науки и техники, будущих открытий и изобретений, для которых не имеется достаточной теоретической базы в момент составления прогноза, составления картины будущего мира широко применяется один из методов, связанный с обобщением и статистической обработкой мнений группы экспертов, получивший название метода "Дельфи". Этот метод относится к классу методов групповых экспертных оценок. Он был разработан и применен в США впервые в 1964 году сотрудниками научно-исследовательской корпорации РЭНД О.Хелмером и Т.Гордоном.

Происхождение названия этого метода связывают с понятиями "дельфийский оракул". Дельфийский оракул – наиболее известное в Древней Греции место религиозных пророчеств. Дельфийский оракул находился в городе Дельфы при храме Аполлона, считавшегося покровителем и прорицателем.

Метод "Дельфи" наиболее целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для решения существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора необходимых данных; процесс получения и анализа необходимых данных слишком дорогостоящий.

В методе "Дельфи" предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается равномерностью процедуры, возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших "крайние" точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертизы по методу "Дельфи" проводятся, чаще всего, в 4 тура при помощи анкетирования.

На первом туре экспертам сообщается цель экспертизы, и формируются вопросы, на которых составляют основное содержание экспертизы. Вопросы предъявляются каждому эксперту персонально в виде анкеты, иногда сопровождаемой пояснительной запиской.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших “крайние” точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативе, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилиями характеризует разброс экспертных оценок, и тем самым характеризует согласованность точек зрения экспертов.

На втором туре “Дельфийской” процедуры экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших “крайние” точки зрения. Обоснования принимаются анонимно, без указания давших их экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу.

На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение.

На четвертом туре каждому эксперту предоставляется распределение оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку в свете полученной информации. Как показывает практика, желаемое согласие наступает к четвертому туру.

В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

При прогнозировании, в целях минимизации расходов, на прогноз стараются привлекать минимальное число экспертов при условии обеспечения ошибки результата прогнозирования не более b, где 0<b<1. Рекомендуют определять минимальное число экспертов по формуле: Nmin=0,5(3/b+5) [3, с.227]. При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на b.

Следует также отметить, что использование меридианы и квартилей в методе “Дельфи” имеет помимо положительной стороны и отрицательную. В частности при рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, не смотря на то, что она может оказаться более верной, чем остальные, т.е. большинство экспертов могут сойтись в ошибочной оценке.

Правда, подобные отклонения, по мнения авторов метода “Дельфи”, компенсируются автором до некоторой степени тем, что по данному методу эксперта, несогласного с большинством, просят высказать причины несогласия. Все эксперты имеют возможность не согласиться с этими причинами и могут принять во внимание или отвергнуть их, переоценивать свое мнение или остаться при нем.

Так что оценка, далеко отстающая от других, отбрасывается фактически лишь в том случае, если эксперту не удается достаточно веско аргументировать свою точку зрения.

Имеется и другая трудность. Это трудность четкой формулировки вопросников. Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анкету. Здесь также надо найти оптимум между четкостью и лаконичностью поставленных вопросов, дабы все участники одинаково их интерпретировали. Другим недостатком дельфийского прогноза является то, что ответы высококомпетентных экспертов как бы разбавляются оценками менее информированных специалистов, кроме того, в ряде случаев, одни и те же специалисты включены в разные группы (чего допускать нельзя).

Метод “Дельфи” имеет ряд недостатков. Известно, что организаторы опроса стремятся избежать принятия групповых решений. Вместе с тем в группе экспертов невольно появляются лидеры («уважаемые люди»), которых другие эксперты имеют склонность поддерживать («эффект золы»). К другим недостаткам относятся больший цикл многотуровой экспертизы: опасность поверхностного, несистемного анализа экономического явления; отсутствие открытой дискуссии.

В заключение можно сказать, что, несмотря на указанные недостатки, метод “Дельфи” является достаточно надежным инструментом получения экспертной информации. Пересмотр и возможность изменения прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулирует опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

3. Метод коллективной  генерации идей

Метод коллективной генерации идей (по американской терминологии, метод «мозговой атаки») относится к третьему типу групповых экспертных оценок и направлен на получение большого количества идей, в том числе и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

При проведении экспертного опроса с помощью метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения вероятности полезных предложений с увеличением общего их количества, и, наконец, поощрение различных комбинаций идей и путей их усовершенствования.

При генерации идей эксперты должны выступать многократно, но не подряд. Их выступления должны быть четкими, сжатыми, без критики предыдущих экспертов. Не разрешается иметь «домашние заготовки» по спискам идей. При использовании данного метода продолжительность работы экспертов от 20 минут до 1 часа.

Задача ведущего — всячески стимулировать рабочий процесс, создавать непринужденную обстановку, записывать высказывания на магнитофон для последующего их анализа и систематизации.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других. Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10 — 15 человек, хотя имеются примеры использования и более многочисленных групп — до 200 человек.

Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы.

С помощью метода коллективной генерации идей можно успешно решать многие задачи маркетинговых исследований, например:

• определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный;
• определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
• выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения задачи.

Коллективная генерация идей приводит к получению избытка информации, включающей как чрезвычайно ценные, так и общеизвестные и даже ошибочные предложения. Важнейшим элементом метода является квалифицированный анализ стенограмм и других материалов «мозговых штурмов». Работа по методу коллективной генерации идей может включать несколько туров и продолжаться несколько дней. Неквалифицированные попытки применения метода, подобные организации дискуссий на оперативных совещаниях, не могут приводить к результатам, получаемым методом «мозгового штурма».

К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

В целом методы коллективных экспертных оценок основаны на том, что при коллективном мышлении, во-первых, выше точность результата, во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, могут возникнуть продуктивные идеи.

4. Методика проведения  экспертных опросов

Проведение экспертных опросов обычно включает несколько этапов.

1. Подбор экспертов и формирование  экспертных групп. Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количество. По каждому направлению выделяются подгруппы экспертов, устанавливается количество экспертов в каждой подгруппе, которое должно обеспечивать полноту оценок по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливается исходя из накопленного опыта. Для повышения статистической значимости оценок используют ранговые или балльные оценки. Например, вместо оценок длительности выполнения проекта оценивают в баллах возможность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе не должно быть менее 3-6 экспертов, причем каждое направление должно быть представлено равным числом экспертов.

2. Подготовка анкет для опроса экспертов. Правила опроса экспертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

• предоставление экспертам требуемой информации;
• простота и удобство работы с предлагаемыми анкетами, обеспечиваемая прежде всего однозначностью вопросов;
• соответствие вопросов структуре объекта опроса;
• независимость формирования экспертами собственного мнения;
• приемлемые затраты времени, удобное время получения вопросов и выдачи ответов;
• сохранение анонимности ответов для членов экспертной группы;
• коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для работы на основе специальных методов, таких как «мозговая атака», «Дельфи», и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

3. Определение групповых оценок на основе оценок отдельных экспертов. Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Степень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. Точность оценки может быть определена по величине ее стандартного отклонения.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Выбор определяется удобством получения и обработки оценок.

Для учета различий в компетентности экспертов их оценкам могут быть приписаны различные «веса», которые учитываются весовыми коэффициентами. Значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропорционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оценивается с помощью регламентированной самооценки экспертов. Показатель самооценки получают на основе группы вопросов. Например, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов:

10 - эксперт специализируется по  данному вопросу, имеет по нему успешно завершенные и используемые на практике теоретические разработки и практический опыт;

8 - в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 - вопрос входит в сферу, тесно  связанную с узкой специализацией эксперта, но в работе, связанной с данным вопросом, он не участвует;

3 - вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта.

По полученной в десятибалльной шкале оценке определяется весовой коэффициент путем деления ее на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднеарифметическая. При каждом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

4. Организация работы с экспертами. Работа с экспертами может проводиться в три этапа.

На первом этапе эксперты участвуют в уточнении объекта экспертизы (процесс работы экспертов обычно называют экспертизой), показателей, подлежащих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экспертов.

На втором этапе экспертам передаются анкеты с пояснительной запиской, в которой описываются цель экспертизы, структура и порядок заполнения анкет с примерами.

Третий этап работы с экспертами, выполненный после завершения опроса, то есть в процессе обработки и анализа полученных результатов, включает консультации, необходимые для получения недостающей информации, необходимой для уточнения полученных данных и их анализа.

5. Анализ экспертных оценок. При проведении экспертных оценок в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа. При проведении анализа в качестве первого фактора рассматриваются эксперты, в качестве второго фактора - объекты, оцениваемые экспертами. Уровни первого фактора — это разные эксперты, а уровни второго фактора — разные объекты.

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных статистических пакетах для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, - критерий Пейдже (Page). Обычно тестируется гипотеза «есть различия между средними значениями оценкой некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов согласованны и достоверны.

5. Метод «круглого стола»

Эта группа методов включает в себя: различные виды семинаров и дискуссий. В основе этого метода лежит принцип коллективного обсуждения проблем, изучаемых в системе образования. Главная цель таких занятий состоит в том, чтобы обеспечить учащимся возможность практического использования теоретических знаний в условиях, моделирующих форм деятельности научных работников.

Такие занятия, по мнению А.М.Матюшкина, призваны обеспечить развитие творческого мышления, познавательной мотивации и профессионального использования знаний в учебных условия. Профессиональное использование знаний – это свободное владение языком соответствующей науки, научная точность оперирования формулировками, понятиями, определениями. Учащиеся должны научиться выступать в роли докладчиков и оппонентов, владеть умениями и навыками постановки и решения интеллектуальных проблем и задач, доказательства и опровержения, отстаивать свою точку зрения, демонстрировать достигнутый уровень теоретической подготовки.

В этом и проявляется единство теории и практики в научной работе, условия которой создаются на занятиях получивших название метода «круглого стола», где ученики используют знания полученные на лекционных или самостоятельных занятиях.

На занятия «круглого стола» выносятся основные темы курса, усвоение которых определяет качество подготовки; вопросы, наиболее трудные для понимания и усвоения. Такие темы обсуждаются коллективно, что обеспечивает активное участие каждого ученика.

Большое значение имеет расположение учащихся на таких занятиях. Поэтому лучше всего, чтобы учащиеся сидели в круговом расположении, что позволяет участника чувствовать себя равноправными. Отсюда и название данного метода «круглого стола».

Учитель также должен находиться в кругу с учащимися, если он будет сидеть отдельно, то участники дискуссии обращают свои высказывания только ему, но не друг другу. Замечено, что такое расположение участников лицом друг к другу, приводит к возрастанию активности, увеличению количества высказываний. Расположение учителя в круге помогает ему управлять группой и создает менее формальную обстановку, возможность для личного включения каждого в общение, повышает мотивацию учащихся, включает невербальные средства общения.

Как уже отмечалось выше метод «круглого стола» включает в себя различные семинары и дискуссии, рассмотрим некоторые из них:

Учебные семинары.

Междисциплинарные. На занятия выносится тема, которую необходимо рассмотреть в различных аспектах: политическом, экономическом, научно-техническом, юридическом, нравственном и психологическом. На наго также могут быть приглашены специалисты соответствующих профессии и педагоги данных дисциплин. Между учащимися распределяются задания для подготовки сообщений по теме. Метод междисциплинарного семинара позволяет расширить кругозор учащихся, приучает к комплексной оценке проблем, видеть межпредметные связи.

Проблемный семинар. Перед изучением раздела курса учитель предлагает обсудить проблемы, связанные с содержанием данного раздела, темы. Накануне учащиеся получают задание отобрать, сформулировать и объяснить проблемы. Во время семинара в условиях групповой дискуссии проводится обсуждение проблем. Метод проблемного семинара позволяет выявить уровень знаний учащихся в данной области и сформировать стойкий интерес к изучаемому разделу учебного курса.

Тематические. Этот вид семинара готовится и проводится с целью акцентирования внимания учащихся на какой-либо актуальной теме или на наиболее важных и существенных ее аспектах. Перед началом семинара учащимся дается задание – выделить существенные стороны темы, или же учитель может это сделать сам в том случае, когда учащиеся затрудняются, проследить их связь с практикой общественной или трудовой деятельности. Тематический семинар углубляет знания учащихся, ориентирует их на активный поиск путей и способов решения затрагиваемой проблемы.

Ориентационные. Предметом этих семинаров становятся новые аспекты известных тем или способов решения уже поставленных и изученных проблем, опубликованные официально материалы, указы, директивы и т.п. Например, закон об образовании РФ, учащимся предлагается высказать свои соображения, свое мнение, свою точку зрения по данной теме, возможные варианты исполнения данного закона. Метод ориентированных семинаров помогает подготовить к активному и продуктивному изучению нового материала, аспекта или проблемы.

Системные. Проводятся для более глубокого знакомства с разными проблемами, к которым имеет прямое или косвенное отношение изучаемой темы. Метод системных семинаров раздвигает границы знаний учащихся, не позволяет замкнуться в узком кругу темы или учебного курса, помогает обнаружить причинно-следственные связи явлений, вызывает интерес к изучению различных сторон общественно-экономической жизни.

Учебные дискуссии. Они могут проводиться:

по материалам лекций;

по итогам практических занятий;

по проблемам, предложным самими учащимися, или учителем, если ученики затрудняются;

по событиям и фактам из практики изучаемой сферы деятельности;

по публикациям в печати.

Метод учебной дискуссии улучшает и закрепляет знания, увеличивает объем новой информации, вырабатывает умения спорить, доказывать свое мнение, точку зрения и прислушиваться к мнению других.

Учебные встречи за «круглым столом».

При использовании данного метода можно приглашать различных специалистов, занимающихся изучением или работающих по изучаемой учащимися теме. Это могут быть ученые, экономисты, деятели искусства, представители общественных организаций, государственных органов и т.п.

Перед такой встречей учитель предлагает учащимся выдвинуть интересующую их по данной теме проблему и сформулировать вопросы для их обсуждения. Если учащиеся затрудняются, то учитель может предложить ряд проблем и вместе с учащимися выбрать более интересную для них. Выбранные вопросы передаются приглашенному специалисту «круглого стола» для подготовки к выступлению и ответам. Одновременно на «круглый стол» могут быть приглашены несколько специалистов, занимающихся исследованием данной проблемы. Чтобы заседание «круглого стола» проходило активно и заинтересованно, необходимо настроить слушателей на обмен мнениями и поддерживать атмосферу свободного обсуждения.

Для повышения активности учащихся можно также предложить для обсуждения две разные точки зрения по одной проблеме.