Экспертные оценки

5. Экспертные оценки

5.1. Общая характеристика

Несмотря на все большую роль математических методов при решении экономических  задач, нельзя считать, что формальные методы современной математики окажутся универсальным средством решения  всех проблем, возникающих в сферах деятельности общества. Методы, использующие результаты опыта и интуицию, т.е. эвристические (неформальные), безусловно сохранят свое значение и в дальнейшем. Особенно это касается вопросов проведения маркетинговых исследований.

Процедуры формирования целей маркетинговых исследований, вариантов их реализации, моделей, критериев  и т.п. не могут быть формализированы. Многие оценки в этой области основываются на видении, интуиции, воображении и опыте того, кто их формируют.

Примерами традиционных, эвристических процедур являются различные  экспертизы, консилиумы, совещания  и т. д. Порядок их проведения часто  регламентируется традицией, т.е. в  конечном счете снова опытом, и во многих отношениях представляет собой искусство. Однако постепенно и в эту область начинают проникать разнообразные математические методы обработки исходного материала эвристического происхождения, и в первую очередь статистические методы.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне (определение возможных  направлений развития рыночной деятельности, выбор мероприятий по продвижению  продукта и т.п.) не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают неумение квалифицированно оценивать  те или иные действия, явления, перспективы  развития.

Кроме того, наиболее часто применяемый метод получения  интегральных экспертных оценок на основе взвешенных сумм имеет ряд серьезных  недостатков [15].

Однако в связи  с ограниченными возможностями  применения в управлении и маркетинге экономико-математических методов, отсутствием  во многих случаях статистической и  другой информации, а также надежных методов определения соответствия экономико-математических моделей  реальным объектам экспертные оценки являются единственным средством решения  многих задач. Для повышения достоверности  и надежности получаемых с помощью экспертных оценок результатов надо владеть теоретическими и методическими основами использования данных методов, избегать иллюзии простоты их применения.

Методы экспертных оценок используются для прогнозирования  событий будущего, если отсутствуют  статистические данные или их недостаточно. Они также применяются для  количественного измерения таких  событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения. Иными словами, методы экспертных оценок применяются как для количественного  измерения событий в настоящем, так и для целей прогнозирования.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих  в рамках определенного сценария, оценивая вероятность их реализации и их вероятное влияние на изучаемый  показатель, например уровень спроса.

При этом данная казуальная структура неразрывно связана  с личностью эксперта, так что  другой эксперт, поставленный перед  той же проблемой, может, используя  ту же информацию, прийти к другим выводам.

При проведении маркетинговых исследований широко применяются экспертные оценки, основанные на суждениях менеджеров фирм, для  которых проводится данное маркетинговое  исследование, торговых и иных посредников  и потребителей (покупателей). Менеджера  просят дать по возможности точную оценку исходя из имеющейся у него информации, с указанием, например в  форме вероятностных показателей, степени точности или его уверенности  в своих оценках.

В качестве экспертов  на фирме чаще всего используют менеджеров и сотрудников сбытовых служб.

Данный вариант  в той или иной степени применяется  фирмой всегда. Он особенно заметен  в организациях, где доминирует лидер, реализующий свое собственное видение. Ценность полученных оценок, очевидно, зависит от опыта и интуиции лица, формулирующего оценку. Путь к уменьшению риска субъективности индивидуального  суждения заключается в обращении  к группе менеджеров, которые обсуждают  свои точки зрения и стремятся  прийти к консенсусу. Хорошую возможность  достижения консенсуса представляет метод  Дельфи (см. ниже).

Обычно персонал посреднических организаций имеет  достаточно точное представление о  потенциале продаж, который могут  обеспечить их клиенты, и, кроме того, имеет возможность дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслуживает. Проще всего попросить торговых работников дать оценки по каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях в вопросах цен, рекламной поддержки и т.п. После этого менеджеры службы сбыта формулируют итоговые оценки, суммируя оценки всех экспертов.

Включить торговых работников в процесс прогнозирования  полезно прежде всего для того, чтобы создать у них соответствующую мотивацию и способствовать принятию назначаемых им квот по продажам. Кроме того, они незаменимы при построении прогнозов продаж в очень малых сегментах, на уровне отдельной территории или отдельного клиента.

Очевидно, что  зачастую трудно из-за отсутствия статистической и отчетной информации (особенно касающейся деятельности фирм-конкурентов) получить количественные оценки таких показателей, например, как показатели рыночной доли и динамики изменения объема продаж. В этом случае также могут  использоваться экспертные оценки, формирующие  чисто качественные значения этих показателей (в терминах «выше», «на том же уровне», «ниже» и т.п.).

В то же время  экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются  определенные трудности в проведении опроса экспертов и обработке  полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения  достоверности экспертных оценок основаны на предположении, что в случае согласованности  действий экспертов достоверность  оценок гарантируется. Это на самом  деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Следовательно, единодушие большинства экспертов  не всегда является критерием достоверности  оценок. Отсюда вытекает необходимость  тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например связанных с прогнозированием рыночной ситуации в нестабильных политико-экономических  условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных  оценках, тогда как высококвалифицированные  специалисты обнаружат и оценят скрытые факторы.

Используя экспертные оценки, предполагают, что при решении  проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем  два эксперта. Предполагается также, что совокупность индивидуальных ответов  экспертов должна включать «истинный» ответ.

Зачастую оценки экспертов не обладают достаточной  устойчивостью, т.е. эксперт может  одни и те же события при нескольких повторных экспертизах оценить  по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных и финансовых трудностей применяется крайне редко.

Достоверность оценок можно повысить следующим  образом. Нужно проанализировать данные о расхождениях экспертных оценок и  их действительных значений, найденных  в процессе реализации событий, и  сделать соответствующие переоценки компетентности экспертов. В частности, поставив оплату труда экспертов  в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.

Наличие способа  точного определения достоверности  априорных оценок по существу предполагает знание истинных оценок, что одновременно исключает необходимость их определения.

При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о  событиях и недостаточной компетентностью  экспертов, возможна и погрешность  совсем иного рода, обусловленная  заинтересованностью экспертов  в результатах оценки, что обязательно  скажется на их достоверности. Наличие  такого рода погрешности может значительно  искажать оценки, вследствие чего необходимо предусмотреть соответствующие  меры для устранения погрешности.

Например, всегда существует опасность систематического занижения оценок, потенциального спроса со стороны сбытовиков, которые заинтересованы иметь легко выполнимый план по продажам, а в конце планового периода  добиться значительного превышения плановых показателей. Отметим следующие  варианты коррекции таких оценок, снижающие риск систематической  погрешности:

• попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза;
• далее возможно скорректировать оценки торговых работников с помощью регионального менеджера по продажам, который может иметь более широкий взгляд;
• возможно ввести корректирующий коэффициент, основанный на учете погрешностей в прошлых прогнозах каждого торгового работника.

Одним из показателей, характеризующих пригодность эксперта, является степень его надежности. Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую  вероятность тем событиям, которые  впоследствии реализовывались. На этом основании считается, что чем  чаще эксперт оказывался прав, тем  выше его авторитет. Однако необходимо иметь в виду, что могут существовать обстоятельства, когда эксперт, несведущий в данном вопросе, дает правильный ответ  с высокой степенью вероятности. Например, на стабильных рынках можно  успешно прогнозировать ситуацию на ближайшее будущее, принимая ее такой  же, как и сегодня.

Применяются как  индивидуальные, так и групповые (коллективные) экспертные опросы.

Основными целями использования индивидуальных экспертных оценок являются:

• прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем (количественная и качественная оценка вероятности реализации определенного события в будущем, прогнозирование характеристик рынка и направлений их развития, определение целей и стратегий маркетинговой деятельности, ранжирование различных объектов и т.д.);
• анализ и обобщение результатов, представленных другими экспертами;
• составление сценариев;
• выдача заключений на работу других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).

Отдельный эксперт  в раде случаев может быть очень  полезен как источник информации и как советник для руководителей, принимающих решения.

Даже в том  случае, если работа выполнена одним  экспертом, она может по существу обобщить мнения многих людей и дать крайне полезные исходные данные для  анализа.

К числу групповых  экспертных опросов относятся:

• открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
• закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;
• свободные высказывания без обсуждения и голосования. Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов  вопросов, относящиеся к первому  типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции  не являются наилучшими методами использования  группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов  и нежелание участников обсуждения отказываться от точек зрения, ранее  высказанных публично. Поэтому на практике при подготовке решений  по широкому кругу вопросов находят  все большее распространение  второй и третий типы групповых экспертных оценок.

Второй тип  групповых экспертных оценок можно  подразделить на две категории: экспертный опрос, проводимый в один тур путем  одноразового заполнения анкет, и проводимый в несколько туров путем многократного  заполнения анкет экспертами с целью  последовательного уточнения оценок.

5.2. Экспертные опросы, проводимые в несколько  туров

Одним из наилучших  методов использования суждений экспертов является метод «Дельфи», предусматривающий проведение экспертного опроса в несколько туров.

Создатели этого  метода назвали его «Дельфи» по имени древнегреческого города Дельфы, который заслужил свою известность оракулами, занимавшимися предсказанием будущего. Эти предсказания не были обычными для того времени пророчествами отдельных прорицателей. Это были предсказания, которые обнародовались лишь после тщательного обсуждения на совете дельфийских мудрецов и досконального ознакомления всех членов совета с обстоятельствами дела.

Первоначально рассматривалось применение метода «Дельфи» только для целей повышения качества прогнозирования. Первый эксперимент, выполненный в конце 40-х годов нашего века, относился к попытке определить лучший выигрыш на бегах по результатам ежедневных сообщений о заездах.

Метод «Дельфи» можно назвать «кибернетическим арбитражем» — кибернетическим потому, что процесс выработки суждений экспертами здесь управляется рабочей группой через обратную связь.

В методе «Дельфи» делается попытка усовершенствовать групповой подход к решению задачи разработки прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений.

В одном из вариантов  этого метода прямое обсуждение заменяется обменом информацией и мнениями с помощью тщательно разработанных  вопросников. К участникам обращаются с просьбой не только высказать свои мнения, но и привести их обоснование, а в каждом из последующих туров  опроса им выдается новая и уточненная информация по высказанным мнениям, которая образуется в результате расчета совпадения точек по ранее  выполненным этапам работы. Этот процесс  продолжается до тех пор, пока продвижение  в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Для уяснения сущности метода «Дельфи» рассмотрим пример оценки стоимости какого-либо сложного проекта, при проведении которой могут существовать различные точки зрения и суждения. Будем решать эту задачу в следующей последовательности. Во-первых, попросим отдельно каждого эксперта дать свою оценку стоимости С, затем расположим ответы в порядке возрастания предлагаемых значений и определим квартили Q 1 , М и Q з таким образом, чтобы каждый из четырех интервалов, образованных этими тремя точками на линии значений С, содержал примерно одну четвертую часть оценок. Для 11 участников это будет выглядеть следующим образом:

Во-вторых, значения Q 1 М и Q 3 (мнение экспертной группы) сообщаем участникам опроса и в том  случае, если первоначальная оценка выходит  за междуквартальное значение ( Q 1 — Q 3 ), просим пересмотреть ее, а также высказать свои соображения, почему ответ должен быть ниже (или выше) значений, определенных 75% участников первого тура.

В-третьих, передаем результаты второго тура (которые, как  правило, имеют меньшее расхождение, чем в первом туре) в обобщенной форме всем участникам опроса, включая  сюда новые квартили и медиану. Кроме  того, фиксируются обоснования уменьшения или увеличения значений, предложенных участникам опроса во втором туре (конечно, при их обобщении и редактировании сохраняется анонимность авторов). После этого экспертов просят рассмотреть новые оценки и их обоснования, высказать свое сомнение об их весомости и пересмотреть свою предыдущую оценку. В том случае, если пересмотренные оценки выпадают из междуквартальных значений, то автора просят кратко изложить причины его  несогласия с аргументами, которые  привели бы его оценку ближе к  значению медианы.

Наконец, в четвертом  туре участникам опроса сообщают квартили третьего распределения ответов  и контраргументы, высказанные в  третьем туре, и просят еще раз  пересмотреть оценки. Медиана, получаемая в результате четвертого тура, принимается  в качестве значения групповой экспертной оценки. Зачастую требуемый уровень  консенсуса экспертов достигается  за два тура. Метод «Дельфи» успешно применяется в маркетинге, например, при решении таких задач, как экспертное определение сметной стоимости необычных проектов, выявление множества важнейших факторов, путей решения маркетинговых проблем (например, увеличение сбыта).

5.3. Метод коллективной  генерации идей

Метод коллективной генерации идей (по американской терминологии, метод «мозговой атаки») относится  к третьему типу групповых экспертных оценок и направлен на получение  большого количества идей, в том  числе и от лиц, которые, обладая  достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

При проведении экспертного опроса с помощью  метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются  отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация  идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения  вероятности полезных предложений  с увеличением общего их количества и, наконец, поощрение различных  комбинаций идей и путей их усовершенствования.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним  из членов группы идея порождает творческую реакцию у других. Исследования эффективности  метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых  идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10—15 человек, хотя имеются примеры  использования и более многочисленных групп — до 200 человек.

Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему  идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы. Это вполне закономерно. Ведь любая  идея, высказанная в данный момент одним из участников опроса, могла  уже ранее «мысленно принадлежать»  его коллеге, ожидающему слова. Кроме  того, конкретное предложение может  быть прямо подсказано идеей, поданной кем-то несколькими минутами раньше. Принимая во внимание указанный аспект, на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-либо приоритет  в рассматриваемой области.

С помощью метода коллективной генерации идей можно  успешно решать многие задачи маркетинговых  исследований, например:

• определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный; при решении подобных задач данный метод применяется с целью определения полного набора возможных путей развития;
• определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
• выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения задачи.

К числу важнейших  недостатков метода коллективной генерации  идей относятся значительный уровень  информационного шума, создаваемого тривиальными идеями, спонтанный и  стихийный характер генерации идей.

Принципы метода коллективной генерации идей явно просматриваются  в «пятиминутках» и «оперативках».

5.4. Порядок проведения  экспертных опросов  и содержание их  отдельных этапов

Можно выделить следующие основные этапы экспертных опросов:

• А . Подбор экспертов и формирование экспертных групп.
• Б . Формирование вопросов и составление анкет.
• В . Формирование правил определения суммарных оценок на основе оценок отдельных экспертов.
• Г . Работа с экспертами.
• Д . Анализ и обработка экспертных оценок.

Кратко рассмотрим содержание отдельных этапов экспертных опросов.

А. Подбор экспертов  и формирование экспертных групп

На первом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры  экспертной группы, количества экспертов  и их индивидуальных качеств, иными  словами, определяются направления (разработка нового продукта, ценообразование, сбыт и т.п.), по которым необходимо или  желательно привлечь экспертов (устанавливается  специализация экспертов). Далее  по каждому направлению выделяются подгруппы экспертов и устанавливается количество экспертов в каждой подгруппе, которое зависит от конкретной постановки задачи и должно обеспечивать необходимый охват и полноту аспектов по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области опроса и общему стажу.

Определение численности  экспертной группы можно осуществлять на основе использования рассмотренных  выше (разд. 4.11.3) показателей математической статистики или на основе «прагматического»  подхода.

Зачастую расчеты  по формулам математической статистики дают слишком высокие значения численности  экспертной группы (порой больше 100 экспертов), поэтому на практике можно  рекомендовать использовать «прагматический» подход, который не является столь  теоретически обоснованным, как первый подход, но зато легко реализуемым.

Оценки численности  группы экспертов в этом случае можно  произвести, руководствуясь следующими соображениями. Ясно, что численность  группы не должна быть малой, так как  в этом случае был бы потерян смысл  формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в  значительной степени влияла бы оценка каждого эксперта. При увеличении группы экспертов хотя и устраняются  эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом числе  экспертов оценка каждого из них  в отдельности почти не влияет на групповую оценку. Причем рост численности  экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов  возможно лишь за счет привлечения  малоквалифицированных специалистов, что в свою очередь может привести лишь к уменьшению достоверности  групповых оценок. Одновременно с  ростом числа экспертов увеличиваются  трудности, связанные с обработкой результатов опроса и координацией работы группы. Следовательно, существуют некоторые граничные оценки численности  группы экспертов Nmin и Nmax , которые определяются следующим образом.

Нижняя оценка численности N min должна зависеть от числа оцениваемых событий. Данное предположение основано на существовани» правила, которое обычно соблюдается при работе ученых советов, комиссий специалистов и т.д., а именно — требований представительности группы, состоящей из N экспертов, для принятия решений по множеству m событий, которое можно представить как N ? m . Поэтому принимаем N min ? m .

Верхней границей численности экспертной группы является потенциально возможное число экспертов:

откуда действительное значение численности группы N находится  в пределах

После того как  найдена численность группы, определяется ее структура и состав, т.е. подбираются  в группу эксперты требуемой специализации  и квалификации. Для того чтобы  экспертная группа могла всесторонне  произвести оценку событий, число экспертов N l каждого l -го направления желательно выбрать одинаковым:

r – число направлений

Далее должно быть учтено одно ограничение, касающееся соответствия целей экспертов целям экспертного  опроса, т.е. необходимо установить, имеется  ли тенденция у отдельных экспертов  необъективно оценивать рассматриваемые  события. Для этого желательно выявить  потенциальные возможные цели экспертов, противоречащие целям получения  объективных результатов. Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые в желательном для себя либо для других лиц направлении.

На основе сформулированных выше условий последовательность формирования группы экспертов может быть следующей. Сначала определяется потенциально возможное число экспертов N n , а также минимально допустимая численность группы N min . После этого среди потенциально возможных экспертов выделяют группу специалистов N k ( N k ? N n ) требуемой квалификации для оцениваемого класса событий. Затем из N k исключают тех экспертов, чьи потенциально возможные цели могут противоречить целям получения объективных результатов. Из оставшихся экспертов N ц ( N ц ? N k ) формируют группу так, чтобы в ней обеспечивалось равночисленное представительство разных направлений. Для этого вначале определяют максимально возможное число представителей каждого направления как связано с важностью принимаемых решении на основе экспертных оценок.