Методы экспертных оценок. 4

Содержание

 

Введение…………………………………………..……………………………....2

1. Сущность метода экспертных  оценок…………………………..……………3

2. Организация экспертиз………………………………………………...……...5

2.1. Подготовительный этап…………………………………………………..…5

2.2. Основной этап …………………………………………………..………9

3. Подбор экспертов…………………………………………………...………..11

4. Методы экспертных  оценок…………………………………………..…......14

4.1 Метод Дельфи……………………………………………………………….14

4.2. Метод мозгового  штурма…………………………………………………..18

4.3. Метод дерева целей………………………………………………………...20

4.4. Метод SWOT-анализа………………………………………………….…..22

5. Обработка данных  экспертизы………………………………………..……..24

Заключение……………………………………………………………………….30

Список использованной литературы……………………………………...……32

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Под структурой управления понимается упорядоченная совокупность устойчиво взаимосвязанных элементов, обеспечивающих функционирование и развитие организации как единого целого.

Эффективность деятельности организаций в значительной степени  зависит от исследования систем управления и их рационального построения.

Существует ряд методов  исследования и оценки эффективности  систем управления. В данном реферате будет рассмотрен метод экспертных оценок.

Экспертные методы представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях - экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.

Экспертные методы широко используются при синтезе процессов  управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного вида оценок.

Целью данной работы является изучение метода экспертных оценок.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Сущность  метода экспертных оценок

 

В исследовании управления широкое распространение имеет  метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из «человеческого фактора», отсутствием надежных экспериментальных или нормативных инструментов.

Экспертиза — это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа. Экспертиза бывает индивидуальная и групповая. При групповой экспертизе большое значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы.

Эксперты (от латинского «expertus» - опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению. Эксперты выполняют две функции: анализ проблемы и разработка решений, а также сравнение альтернатив и выбор наилучшей, которая обеспечит достижение запланированного результата.

Метод экспертных оценок – метод анализам обобщения суждений и предположений с помощью экспертов¹. Сущность метода экспертных оценок заключается в проведении экспериментами интуитивно - логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Заключение экспертов представляет собой документ, в котором фиксируется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную («да», «нет»), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

Экспертные оценки особенно эффективны в условиях:

• большой неопределенности среды, в которой функционирует исследуемый объект;
• дефицита времени и в экстремальных ситуациях;
• отсутствия надежной теоретической основы.

Метод экспертных оценок используется для решения слабоструктурированных и неструктурированных проблем.

К первому классу относятся  проблемы, в отношении которых  имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании «хорошего измерителя». Это означает, что выполняются следующие условия:

• эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель с небольшими погрешностями»);
• групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия  выполнятся, то для построения процедур опроса и алгоритмов обработки можно  использовать теорию измерений и  математическую статистику.

Ко второму классу относятся проблемы, в отношении  которых информационный потенциал  знаний недостаточен для выполнения указанных условий. При рении  проблем этого класса экспертов уже нельзя рассматривать как «хороших измерителе». В связи с этим для проблем второго класса в основном должна применяться качественная обработка².

Таким образом, метод экспертных оценок применяются при решении следующих задач:

• распределение ресурсов организации по направлениям ее деятельности;
• проблемы в области совершенствования организационного управления;
• разработка стратегии;
• определение «узких мест» в работе;
• разработка вариантов решений в области инноваций.

Применение метода экспертной оценки нужно рассматривать как  процесс, который состоит из отдельных  этапов:

1. подготовительный этап;
2. основной этап;
3. обработка данных экспертной оценки;
4. разработка отчета

 

2.Организация  экспертиз

2.1. Подготовительный  этап

 

Для организации экспертизы издается руководящий документ,  в котором:

• определяется необходимость и цель ее проведения;
• сроки выполнения;
• формируется группа управления;
• оговаривается финансовое и материально-техническое обеспечение.

Группа управления в  свою очередь осуществляет следующие функции:

• уяснение решаемой проблемы;
• определение количества экспертов, которых необходимо привлечь к работе;
• составление предварительного списка;
• разработка методики;
• решение вопросов информационного обеспечения, определение методов обработки;
• определение этапности проведения работ;
• распределение обязанностей между специалистами группы управления;
• решение вопросов контроля.

Большое значение имеет  четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описании предыстории и  текущего состояния проблемы. Выбор  целей и характер экспертизы в  значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления³.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность  и разнообразие задач, возлагаемых  на группу аналитиков, требует включения  в ее состав высококвалифицированных  специалистов, как в области анализируемой  проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам - математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий  и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей  экспертизы и может быть выполнено  на разном уровне детализации. Можно  наметить следующие уровни:

• качественное описание всего множества оцениваемых событий;
• перечень событий;
• описание устойчивых факторов для каждого из событий;
• выделение числа различимых уровней для каждого события;
• выделение числа различимых уровней для каждого фактора;
• писание набора устойчивых знаний факторов для каждого уровня событий и т.д.

От уровня детализации  в существенной степени зависит  достоверность результатов экспертизы, причем с увеличением степени  детализации согласованность экспертных оценок, как правило, увеличивается.

В организации работы экспертов необходимо придерживаться следующих принципов (схема 1)⁴:

1. Идеи, мнения и оценки  должны укладываться в заранее  подготовленную схему. Это позволяет делать их обобщение, сравнение, выделение существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

2. Обработку экспертных  заключений необходимо осуществлять  не только в количественном  обобщении, но и посредством  качественного анализа, выделяя  главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны  быть независимыми, т.е. освобождены  от каких-либо организационных  или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной  группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

5. Существуют различные  формы организации работы экспертной  группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная  и многоэтапная работа нескольких  экспертных групп. Сопоставление экспертиз дает важную информацию.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Схема 1. Принципы организации работы экспертов

 

 

 

2.2. Основной  этап

 

Опрос экспертов проводится методами, определенными на подготовительном этапе. Опросом руководит ведущий.

Задачи ведущего:

• четко поставить цели, проблему;
• обеспечение экспертов информацией;
• объяснить время и методы;
• зафиксировать предложения экспертов;
• отдать на обработку полученные данные.

Проведение анкетирования  экспертов является самым распространенным видом опроса. Анкетирование заключается  в заполнении экспертами опросных листов - анкет⁵.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

• вопросы, ответы на которые содержат количественную оценку;

• вопросы, требующие содержательного ответа в сжатой форме;

• вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки  вопросов приведен в табл.1.

 

Таблица 1. Виды и типы вопросов

Вид вопроса	Тип вопроса	Пример
Вопрос, ответ на который  содержит количественную оценку	Оценивающий: время наступления некоторого события вероятность осуществления  события количественное значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале	Какова вероятность  того, что к 2012г. будет создан объект с заданными характеристиками? Оцените по десятибалльной шкале вклад каждой из рассматриваемых  теорий в решении проблемы
Вопрос, требующий содержательного  ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какие из перечисленных  ниже изменений в структуре объекта  произойдут, если будет осуществлен принцип А, или В, или С, или …?
Вопрос, требующий содержательного  ответа в развернутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, которые  подтверждают тезис, содержащийся в  вопросе	Каковы ваши доводы в пользу целесообразности развития объекта?

 

Анкетирование может  быть очным и заочным. Недостаток очного анкетирования - возможность  влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения⁶.

3. Подбор экспертов

 

Достоверность и эффективность  экспертизы определяется процедурой подбора  экспертов:

1. составляется список экспертов;
2. составляются письма-приглашения (место, время, мотивация);
3. определяются качества, которыми должны обладать эксперты:

• креативность;
• компетентность;
• отношение к экспертизе;
• конформизм;
• аналитичность, широта мышления;
• конструктивность мышления

Сложной проблемой процедуры  отбора является формирование системы  характеристик эксперта, существенно  влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k. Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле:

k = 1/2 (k_а + k_и), где:

k_а - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);

k_и - коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.

Таблица 2. Эталонная таблица коэффициентов аргументации

Источники аргументации	Степень влияния источника  на мнение эксперта
	В (высокая)	С (средняя)	Н (низкая)
Проведенный теоретический  анализ	0,3	0,2	0,1
Производственный опыт	0,5	0,4	0,2
Обобщение работ отечественных  авторов	0,05	0,05	0,05
Обобщение работ зарубежных авторов	0,05	0,05	0,05
Личное знакомство с  состоянием дел за рубежом	0,05	0,05	0,05
Интуиция эксперта	0,05	0,05	0,05

 

Эксперту дается таблица  без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_а = 1,0, то степень влияния всех источников высокая; если k_а = 0,8, то - средняя и, если k_а = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 k 1.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта.

Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность  экспертизы и затраты на нее. Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

 

 

 

 

 

 

Рис.1. Зависимость достоверности  от количества экспертов

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов⁷.

 

4.Методы экспертных оценок

4.1 Метод Дельфи

 

Сущность метода Дельфи состоит в последовательном анкетировании  экспертов различных областей науки, техники и формировании массива  информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты⁸.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

• вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
• опрос экспертов проводится в нескольких этапов, на каждом последующем этапе вопросы и ответы все более уточняются;
• после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;
• эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;
• статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в два месяца. Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Выдается анкета (лично, по почте, с помощью ЭВМ и др.), собираются ответы, обрабатываются, каждый эксперт знакомится с результатами.

Второй этап. Результаты опроса наносятся на шкалу, определяется медианное значение, квартили и экспертам предлагается скорректировать свою оценку, чтобы вписаться в интервал между квартилями. При изменении мнения или отказе от изменения требуется объяснить свое решение⁹.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака.

Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ¼ всего ряда (нижний квартиль) и ¾ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов  получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов  медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае - нечетное число экспертов 11, медиана будет совпадать с оценкой N₆ (рис.2). Затем определяются верхний и нижний квартили, т.е. интервалы Q₁M_e и Q₃M_e. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Рис.2. Медиана и квартили в методе Дельфи

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возрождения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями  знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура  позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Всем экспертам представляются все экспертные оценки и вся аргументация (с сохранением анонимности). Участники экспертизы рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения. Оценки суммируются, рассчитываются новые медианы и новые квартили, составляются новые прогнозы.

Если ответы экспертов  перестают изменяться, это является сигналом к прекращению опроса.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз. Организатор рассчитывает медианы и квартили дат каждого события. На этом заканчивается работа экспертов¹⁰.

С помощью статических методов группового ответа уменьшается статический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

Разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается.

Особенности метода:

• полный отказ от личных контактов экспертов и коллективных обсуждений;

• многотуровая процедура опроса экспертов (обычно четыре этапа);

• обеспечение экспертов информацией, обмен информацией при сохранении анонимности, аргументации и критики;

• обоснование ответов экспертов по запросу организаторов.

Плюсом данного метода является достаточно точное решение, а минусом – дороговизна метода

 

4.2 Метод мозгового штурма

 

Метод мозгового штурма разработан американским предпринимателем и изобретателем А.Осборном в 1953 г. и применяется для получения новых идей в науке, технике, административной и торговой деятельности.

Задачу последовательно решают две группы людей по 4 — 15 человек в каждой от 6 до 12 человек (оптимальный состав).

Первая группа только выдвигает  различные идеи — это группа «генераторов идей». В эту группу желательно включать людей, склонных к бурной фантазии, склонных к абстрагированию. Вторая группа — «эксперты» — по окончании штурма выносит суждение о ценности выдвинутых идей. В ее составе лучше работают люди с аналитическим, критическим складом ума. Условия задачи перед ее штурмом формулируются только в общих понятиях.

Основная задача группы «генераторов» — выдать за отведенное время как можно больше идей (в том числе фантастических, явно ошибочных и т.д.), чем нереальнее идеи, тем сильнее сказывается их действие на последующем процессе их генерации. При окончательном разборе многие предложения окажутся бесполезными. Однако сам процесс должен вызвать бурный поток идей, которые следуют непрерывно, дополняя и взаимно обогащая друг друга. Коллективный разум помогает генерировать последовательность предложений. Все они высказываются без доказательств и записываются в протокол или фиксируются на магнитной ленте.