Оглавление

Введение.

Какова  будет реакция потребителей на рекламную  компанию? Как изменится социальная, технологическая, экологическая, экономическая, политическая ситуация через десять лет? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг будет простираться рукотворная пустыня? Достаточно вдуматься в эту постановку вопроса, проанализировать, как десять лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, необходимо принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и более лет.

Естественно, что в таких случаях необходимо опираться на опыт, знания и интуицию специалистов, иначе говоря, использовать экспертные методы идентификации и оценки риска. Однако здесь существуют определенные трудности. Люди не мыслят числами, а значит требовать от эксперта ответа в форме числа зачастую практически невозможно. Эксперт может сравнить два объекта, сказать какой из двух лучше, другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений, но не числами. Таким образом, для их анализа следует использовать методы статистики объектов нечисловой природы, о которых и пойдет речь ниже.

Глава 1. Экспертные методы.

Экспертные  методы идентификации риска нашли  широкое применение при решении  задач идентификации рисков в  связи с тем, что в некоторых  случая еще не собрана статистическая база о частоте негативных событий, возможных ущербах от них, в других – затруднительно системное представление процессов формирования риска. В этих условиях использование статистических и аналитических методов для его идентификации не представляется возможным и приходится призывать на помощь опыт и интуицию специалистов (экспертов).

Экспертные  методы обычно сочетаются с математическими  методами обработки результатов  экспертиз, позволяющими отсеять случайные  решения (выводы), выявить оригинальные мнения экспертов, свободные от влияния устаревших «традиций», установить группы экспертов, придерживающихся сходных или противоположных взглядов на проблему риска и выявить причины такого сходства или различий.

Экспертные  методы по сути своей субъективны. Но поскольку в основе каждого из экспертных суждений лежит некоторая информация о предмете, накопленный опыт и тому подобное, то предполагают, что субъективность мнений может быть устранена путем  их взаимной коррекции, производимой с учетом дополнительных сведений, полученных от других экспертов.

Сущность  экспертного метода оценки показателей  риска заключается в том, что  экспертам предлагают ответить на вопросы  о состоянии или будущем поведении  объектов, характеризующихся неопределенными  параметрами или неизученными свойствами. Мнения экспертов обычно выражены частично в количественной, частично в качественной форме. Важное значение, при оформлении ответов придают формированию оценочной шкалы, используемой экспертами. Оптимальная шкала должна иметь сравнительно небольшое число градаций (от 3 до 8), каждая градация должна сопровождаться краткой текстовой качественной характеристикой.

Экспертные  оценки делят на индивидуальные и коллективные. Как следует из названия, индивидуальные оценки – это оценки одного специалиста, они предполагают независимую работу каждого эксперта. К ним можно отнести такие методы как, например «интервью», аналитические докладные записки. В качестве «примера из жизни» можно привести выставление оценки преподавателем. Остановимся на индивидуальных методах немного подробнее.

Рассмотрим  три метода: метод «интервью», аналитические  докладные записки и написание  сценария.

Метод «интервью» предполагает беседу организатора прогнозной деятельности с экспертом. Целью вопросов является выявление потенциальных источников опасности, факторы безопасности и т.п. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключения по разным вопросам.

Метод аналитических докладных  записок означает самостоятельную работу эксперта над ситуацией. При этом эксперт может использовать всю необходимую ему информацию об объекте. Результатом такой работы является записка с обоснованием возможности проявления неблагоприятного события и нанесения им ущерба. Такой метод мало пригоден для сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста в смежных областях.

Написание сценария, по сути, является модификацией аналитической докладной записки. Он заключается в определении пути развития процесса или явления во времени при разных условиях. Сценарий – это картина последовательного, детально решения задачи, выявление возможных препятствий, недостатков, что предрешит вопрос о прекращении начатых или завершении проводимых работ по анализируемому объекту. Сценарий должен содержать всю исходную информацию, на основе которой строится работа по развитию объекта, он также должен отражать генеральную цель развития объекта, приоритеты проблем и ресурсы для достижения основных целей. Таким образом, сценарий необходим для определения генеральной линии развития объекта. Сценарии, как правило, носят многовариантный характер и освещают три линии поведения: оптимистическую – развитие системы в наиболее благоприятной ситуации; пессимистическую – развитие системы в наименее благоприятной ситуации; рабочую – развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

Следует сказать, что метод написания  сценария относят как к индивидуальным, так и к коллективным экспертным оценкам.

Коллективные  экспертные методы имеют определенные преимущества по сравнению с индивидуальными. Они являются более достоверными, т.к. возможно более глубокое проникновение экспертов в суть проблемы на основе взаимного обогащения друг друга информацией без утраты таких важных качеств, как анонимность и независимость работы экспертов. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Методы  коллективных экспертных оценок включают в себя метод «комиссий», «коллективной  генерации идей» («мозговая атака»), метод «Делфи», матричный метод.

Метод комиссий заключается в том, что группы экспертов обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

«Мозговая атака» («мозговой  штурм») обычно применяют при решении очень сложных, малоизученных проблем, с которыми не под силу справиться каждому из экспертов в одиночку. Этот метод был разработан американцем А.Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Мозговой штурм предполагает реализацию нескольких этапов:

1. Формирование группы экспертов. Наиболее продуктивными являются группы, состоящие из 10 – 15 человек.
2. Составляется проблемная записка, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.
3. Генерация идей. Каждый из участников имеет право выступать много раз. Критика и скептические замечания не допускаются. Продолжительность «штурма» от 20 минут до часа.
4. Систематизация идей, высказанных на предыдущем этапе.
5. Деструктурирование систематизированных идей. Каждая из идей подвергается всесторонней критике со стороны группы высококвалифицированных специалистов.
6. Оценка критических замечаний и составление списка практически реализуемых идей.

Метод «Делфи» - одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т.Гордоном и О.Хелмером – сотрудниками одной из корпораций США, которые в 1964 опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Свое название метод получил по древнегреческому городу, который славился своими предсказателями.

Прогнозирование, как правило, проходит в несколько  туров (чаще всего в 4). На первом из них  эксперты пытаются решить поставленную задачу индивидуально. Полученные ответы подвергаются обработке, рассчитываются обобщенные характеристики экспертизы (крайние мнения, среднее, средние квадратические отклонения между предлагаемыми решениями). Обычно после первого тура наблюдается значительный разброс мнений, поэтому процедура и проводится в несколько этапов. В преддверии следующего тура экспертам сообщаются усредненная оценка экспертной комиссии обоснования экспертов, высказавших крайние оценки, причем обоснования представляются анонимно. После получения этой информации эксперты, как правило, корректируют свои оценки. Во втором туре эксперты заново решают поставленную задачу (как правило, после получения информации о первом туре, они корректируют свои оценки). Кроме того, они объясняют, почему они изменили (или оставили без изменения) предыдущее решение.

Результаты обработки ответов экспертов во втором туре вместе с их анонимной аргументацией снова передаются экспертам, и проводится третий тур экспертизы. Все последующие туры проводятся по такой же схеме. Идеально опрос повторяется до совпадения мнений экспертов, реально – до получения наиболее узкого диапазона мнений. Так же по итогам экспертизы мнения экспертов могут разделиться на несколько групп (обычно на две), характеризующихся принципиально разными предлагаемыми решениями.

Описанные выше методы являются основными, но и кроме них есть методы, как индивидуальные, так и коллективные. 

Этапы подготовки и проведения экспертизы 

Качество  получаемых экспертных оценок в значительной степени определяется подготовкой  экспертизы, а также применяемыми методами обработки информации, получаемой от экспертов.

Единых  правил подготовки и  проведения экспертизы нет.

Однако  можно выделить основные этапы ее подготовки и проведения. К ним  относятся:

• формулировка цели экспертного анализа;
• формирование группы организаторов экспертизы (выбор научного руководителя и секретаря). Научный руководитель отвечает за организацию и проведение экспертного исследования в целом. Дело секретаря – ведение документации, решение организационных задач;
• разработка процедур проведения экспертной оценки;
• подбор экспертов;
• получение экспертных оценок;
• обработка результатов опроса и анализ полученных данных;
• установление степени достижения цели экспертизы.

Наибольший  интерес представляют два этапа: получение экспертных оценок, обработка  результатов опроса и анализ полученных данных.

   
Глава 2. Математические методы анализа экспертных оценок

2.1 Проверка согласованности.

Люди  не мыслят числами. В мышлении используются образы, слова, но не числа. Поэтому  требовать от эксперта ответ в  форме числа проблематично. Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Поэтому для их анализа используют методы статистики объектов нечисловой природы.

Важно уметь понять насколько велико различие между мнениями экспертов по одному вопросу. Если различие не велико, то просто усреднение мнений может позволить  выделить общее, что есть у всех, отбросив при этом случайные отклонения в ту или иную сторону. Если же различия велики, то усреднение может не только не помочь, но и привести к ошибочным выводам. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Поэтому обработка результатов опроса в этом случае должна базироваться не на методах, использующих принципы усреднения, а на методах качественного анализа. Таким образом, очень важна проблема проверки согласованности мнений экспертов.

Определение согласованности мнений экспертов  производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Существует  ряд методов проверки согласованности. Статистические методы проверки зависят  от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений.

Оценить согласованность мнений экспертов  можно, например, по величине дисперсионного коэффициента конкордации:

где w – число экспертов;

      n – число объектов;

     – оценка математического ожидания совокупности экспертных ранжировок 

 – сумма рангов, данных  одним экспертом по всем объектам;

Коэффициент конкордации варьируется от нуля до единицы. При этом, чем выше степень  согласованности экспертных мнений, тем больше значение S, т.е. 0 – полная несогласованность, 1 – полное единодушие.

Рассмотрим  пример использования данного коэффициента.

Необходимо  определить степень согласованности  мнений пяти экспертов, результаты ранжирования которыми семи объектов приведены в  таблице: 

 
Таблица 1. Данные для оценки согласованности мнений пяти экспертов

Оценка  математического ожидание в данном случае равна 20, а сумма квадратов  отклонений от среднего значение – 630.

Определим величину коэффициента конкордации: 

Для того, чтобы проверить значим ли полученный коэффициент, используют критерий . Расчетная статистика для проверки имеет вид: , ее сравнивают с критическим значением (его можно найти при помощи соответствующих таблиц или MS Excel). Итак, проверим значимость полученного выше коэффициента S=0,9 . 

Следовательно, коэффициент S=0,9 является значимым, т.е. можно сделать вывод, что экспертные мнения согласованы.

Необходимо  учесть, что наличие связных рангов приводит к смещению коэффициента, в этом случае коэффициент конкордации модифицируется с учетом коэффициентов связности:

где коэффициенты связности  рассчитываются по формуле  

где t – номер группы связных рангов;

      – число групп связных рангов в ранжировке ;

      – число элементов (рангов), входящих в t-ю группы связных рангов ранжировки .   

Другим  множественным измерителем связи  является энтропийный коэффициент конкордации (коэффициент согласия), который вычисляется по формуле:

где Н – энтропия, определяемая как:

где – вероятность присвоения экспертом i-му объекту j-го ранга.

 – максимальное значение  энтропии. Оно достигается при  равновероятном распределении рангов, т.е.  , подставляя это соотношение в формулу расчета энтропии, получаем:

Энтропийный коэффициент согласия W изменяется от 0 до 1. При этом нулевое значение наблюдается при полной рассогласованности мнений, а единица – при полной согласованности экспертных ранжировок.  

Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают схожие оценки согласованности мнений. Однако если группа экспертов разделяется  на две группы с противоположными мнениями, то дисперсионный коэффициент конкордации будет равен нулю, а коэффициент согласия – 0,7. Таким образом, энтропийный коэффициент, в отличие от дисперсионного, позволяет зафиксировать факт разделения мнений экспертов на согласованные подгруппы. 

При отсутствии согласованности экспертов можно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластерному анализу, предварительно введя метрику в пространство мнений экспертов.

2.2. Методы средних  арифметических и медианных рангов.

После того, как каждый эксперт произвел ранжирование объектов исследования (мероприятий, вариантов, схем и пр.), необходимо дать обобщенную групповую оценку, упорядочить  оцениваемые варианты и выбрать  наиболее предпочтительный.

Часто для нахождения итогового решения  применяют обыкновенное среднее  арифметическое.  Однако специалисты  по теории измерений уже около 30 лет знают, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале. Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Поэтому представляется рациональным использовать одновременно оба метода - и метод средних арифметических рангов (баллов), и методов медианных рангов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости, рекомендующей применять различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок. 

Рассмотрим  конкретный пример применения только что сформулированного подхода.

Анализировались восемь проектов, предлагаемых для  включения в план стратегического  развития фирмы. Они обозначены следующим  образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, включенным в экспертную комиссию. В приведенной ниже таблице приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с представлением экспертов о целесообразности включения проекта в стратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект, наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь.

Как видно  из таблицы 4-й эксперт считает, что  проекты М-К и Б равноценны.

Анализируя  результаты работы экспертов (т.е. упомянутую таблицу), члены аналитического подразделения были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в таблице, следует подвергнуть более тщательному математическому анализу.

Метод средних арифметических рангов. Сначала для получения группового мнения экспертов был применен метод средних арифметических рангов. Для этого, прежде всего, была подсчитана сумма рангов, присвоенных проектам. Затем эта сумма была разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект. Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К, - и он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в таблице ниже.

Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (1)

Здесь запись типа "А<Б" означает, что  проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол  получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках).

Метод медиан рангов.  Что это значит? Надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания. Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.