Использование экспертных оценок

    Содержание

Введение 3

Методы экспертных оценок в социальной работе 5

Заключение 24

Список использованной литературы 25 

Введение

    В процессе развития любого общества возникает  множество проблем общесоциального, группового, индивидуального характера. Они пересекаются, взаимопроникают, вызывая к жизни другие, подчас более сложные, проблемы, что чаще всего нарушает привычные жизненные  устои, сложившиеся жизненные стандарты  и правила поведения, приводит к  новым формам социального взаимодействия и порождает потребность в  их целенаправленном разрешении.

    В настоящее время для целенаправленного  разрешения социальных проблем созданы  специальные организационные структуры  как государственного, так и негосударственного подчинения, в деятельности которых  применяется широкий спектр методов.

    Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в  рамках теории управления (менеджмента) стала развиваться самостоятельная  дисциплина - экспертные оценки.

    Экспертом (лат. expertus – опытный) признается респондент, компетентный в проблемах, непосредственно связанных с предметом исследования. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления – экспертными оценками.

    Методы  экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

    В настоящее время метод экспертных оценок широко применяется при подготовке на государственном уровне важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. В данной работе мы постараемся раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.

Методы  экспертных оценок в  социальной работе

    В современной методологической литературе указывают, как правило, на существование трех основных методов сбора первичной социологической информации. К ним относят метод наблюдения, метод анализа документов и метод опроса.

    В комплексе перечисленных социологических  методов в настоящее время  наиболее популярен опрос. Его специфика состоит прежде всего в том, что источником первичной социологической информации является человек (респондент) - непосредственный участник исследуемых социальных процессов и явлений. В основе опросного метода лежит совокупность предлагаемых опрашиваемым вопросов, ответы на которые и образуют первичную информацию.

    Обычно  выделяют два больших класса опросных методов - анкетирование и интервьюирование, связанные с письменной или устной формой общения с респондентами. Существует, однако, еще одно специфическое подразделение опросов, которое далеко не всегда учитывается при проведении социологического исследования, но настолько важное, что его следует рассматривать особо как превосходящее по значимости все прочие подразделения. Речь идет об обособлении массового и экспертного опросов.

    Опросы  этих двух видов, как правило, включаются в исследование для решения различных  задач. Целью массового опроса является получение информации о знаниях, мнениях, ценностных ориентациях и  установках респондентов, отражающих их отношение к определенным событиям, явлениям действительности. Цель экспертного опроса заключается в получении информации о самих событиях и явлениях действительности, отраженной в знаниях, мнениях и оценках респондентов. Подобная информация может исходить только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования.

    Наиболее  наглядно проявляется отличие экспертного  опроса от массового в прогнозировании.

    Так, например, программа опроса экспертов  не столь детализирована и носит  преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода.

    Основной  инструментарий экспертных опросов - анкета или бланк-интервью, разработанные  по специальной программе. При его  составлении некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Так, например, нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить "скрытые" позиции респондента. Более того, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова - активный участник научного исследования, и попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревато потерей его доверия к организаторам исследования.

    Выявление экспертных оценок необходимо при анализе  наиболее существенных аспектов исследуемой  проблемы, особенно в ситуациях дискуссионности  их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях он выступает  в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную  роль, добавляя информацию к полученной иными методами, то исследователи  обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие:

    а) проблемную (дискуссионную, не решенную наукой) ситуацию,

    б) терминологию экспертных оценок (путем  операционализации общих понятий),

    в) гипотезы, выносимые на экспертизу,

    г) комплекс требований, на основе которых  будет производиться подбор экспертов (критерии их компетентности),

    д) индикаторы, позволяющие измерять суждения экспертов,

    е) инструментарий этих замеров и первичной  обработки данных,

    ж)правила  проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов ( Причем это не те общие правила, которые используются социологами при количественном анализе данных исследования, не приемы математического и статистического  анализа информации, а специальные процедуры).

    Выделяют  следующие стадии проведения экспертного  опроса:

    1) формулировка цели экспертного  опроса;

    2) подбор основного состава рабочей  группы;

    3) разработка и утверждение технического  задания на проведение экспертного  опроса;

    4) разработка подробного сценария  проведения сбора и анализа  экспертных мнений (оценок), включая  как конкретный вид экспертной  информации (слова, условные градации, числа, ранжировки, разбиения или  иные виды объектов нечисловой  природы) и конкретные методы  анализа этой информации;

    5) подбор экспертов в соответствии с их компетентностью;

    6) формирование экспертной комиссии;

    7) проведение сбора экспертной  информации;

    8) анализ экспертной информации;

    9) при наличии нескольких туров  - повторение двух предыдущих  этапов;

    10) интерпретация полученных результатов  и подготовка заключения.

    Проблема  подбора экспертов является одной  из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать  таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех  экспертизы.

    Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше  может знать возможности эксперта, чем он сам? С другой стороны, при  самооценке компетентности скорее оценивается  степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено.

    Наиболее  простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями  “высокий”, “средний” и “низкий”. При этом первой позиции присваивается  числовое значение “1”, второй – “0,5”, третий – “0”. Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято  включать тех, у кого индекс компетентности не менее среднего 0,5 и выше 1.

    Метод коллективной оценки применяется для  формирования группы экспертов в  том случае, когда они имеют  представление друг о друге как  специалисты. Такая ситуация характерна для учёных, творческих деятелей, политиков, экономистов.

    При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов  о возможностях друг друга. В современных  условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар  специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

    Использование формальных показателей (должность, ученые степень и звание, стаж, число  публикаций), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных  сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны  уникальные экспертизы больших проектов, не имеющих аналогов.

    В случае, если процедура экспертного  опроса предполагает совместную работу экспертов, большое значение имеют  их личностные качества. Ряд этих обстоятельств  имеет психологическое свойство. Один "говорун" может парализовать деятельность всей комиссии. Эксперт  с задатками лидера стремится  к доминированию своих оценок, настаивая на них даже тогда, когда  внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным  образом, а конфликтогенный - склонен  к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще  смещать свои оценки в стороны  нейтральной середины, а часть  экспертов заинтересована в преднамеренном искажении информации. Все это, конечно, должно учитываться монитором. В  подобных случаях важно соблюдение разработанного регламента работы.

    Есть  полезный метод "снежного кома", при  котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой  тематике. Процесс расширения списка останавливается, когда новые фамилии  перестают встречаться. В результате получается достаточно обширный список возможных экспертов.

    Необходимо  подчеркнуть, что подбор экспертов  в конечном счете - функция Рабочей  группы, и никакие методики подбора  не снимают с нее ответственности. Другими словами, именно на Рабочей  группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу

1. Понятийная строгость, однозначность используемых категорий, подготовка в сложных случаях специальных словарей, растолковывающих значение некоторых понятий, использование ими всеми экспертами в ходе экспертизы.
2. Четкое определение цели, всех аспектов экспертизы и каждого из них в отдельности, их соответствие исследовательским задачам и гипотезам.
3. Тщательный подбор экспертов на основе продуманно сконструированной модели идеального эксперта и критериев, вытекающих из этой модели.
4. Соблюдение правила оптимума численности экспертов, т.е. учет того, что ограничение состава экспертов ведет к росту веса оценки каждого эксперта, и расширение их состава затрудняет интегрирование экспертных оценок, (то и другое увеличивает риск принятия монитором ошибочных выводов).
5. Апробация всего инструментария как экспертного опроса, так и последующих процедур сопоставления и согласования оценок экспертов.
6. Информационная изоляция экспертов друг от друга на первом этапе (туре) экспертного опроса.
7. Налаживание теснейшего творческого взаимодействия экспертов на последующих этапах экспертизы (после установления меры валидности полученных оценок).
8. Безупречное знание монитором и практическое применение им конкретных методик интенсивного группового взаимодействия экспертов на завершающем этапе экспертизы.

    Существует  масса методов получения экспертных оценок. В одних с каждым экспертом  работают отдельно, он даже не знает, кто  ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

    Основные  проблемы экспертных оценок

    Что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии.

    Если  целью является сбор информации для  принятия решения, то Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается , когда иссякает поток новых соображений.

    Отметим, что эксперты в рассматриваемом  методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта  решения. Нет никакой необходимости  стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся  от массового, поскольку именно от них  следует ожидать наиболее оригинальных аргументов.

    Если  целью является подготовка проекта решения, то обычно применяются математические методы в экспертных оценках. При этом зачастую некритически принимают догмы согласованности и одномерности.

• Догма согласованности.

    Считается, что решение может быть принято  лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются  как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению  или по соображениям, не имеющим  отношения к их профессиональному  уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность  для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

• Догма одномерности.

    Распространен довольно примитивный подход так  называемой "квалиметрии", согласно которому объект всегда можно оценить  одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают  книгу или картину как эквивалент её "рыночной стоимости".

    Каждый  объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким  показателям:

- расход бензина на 100 км пути (в среднем);

- надежность (средняя стоимость ремонта за год);

- быстрота набора скорости 100 км/час после начала движения;

- максимальная достигаемая скорость;

- длительность сохранения в салоне положительной температуры при наружной температуре ( - 50 градусов) при выключенном двигателе;

- вес, и т.д.

    Можно ли свести оценки по этим показателям  вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая  скорость важна для гонщика, но, как  нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и  надежность. Для машин различных  служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для  районов Крайнего Севера важна теплоизоляция  салона, а для южных районов  страны - нет.

    Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой  постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества не имеют объективного характера. В недавние времена они использовались для создания впечатления о высоком  качестве отечественной продукции. Ведь западные машины не морозоустойчивые, не так ли? Значит, занижая те характеристики, по которым западные машины лучше  и завышая те, по которым лучше  отечественные, можно добиться поставленной цели. Альтернативой единственному  обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето.

    Основные  функции экспертного опроса в  социологии связаны с оцениванием  социального качества общественных систем и их элементов, вариантов  социально значимых решений, достоверности данных (в том числе полученных в ходе массового опроса), социальных последствий реализации проектов и рекомендаций; прогнозированием общественных процессов, аттестацией коллектива и его членов.

    Однако  социологические функции экспертного  опроса не сводятся лишь к решению перечисленных задач. В.В. Чередниченко справедливо указывает на потенциальные возможности использования экспертов практически на всех этапах социологического исследования. Данное предположение подтверждается анализом накопленного в это области практического опыта.

    Законченное социологическое исследование состоит, как известно, из четырех основных этапов: разработки программы исследования, полевого этапа – обора информации, ее обработки и анализа результатов. Каждый из этих этапов в свою очередь распадается на более мелкие части. Так, в программе должны быть представлены теоретический и процедурный разделы, а также обоснование выборки.

    При подготовке теоретического раздела  программы, как правило, применяются  очные методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследования требуют возможно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. Рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез. Поскольку при подготовке теоретического раздела программы помощь специалистов состоит прежде всего в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.

    Процедурный раздел программы - наиболее сложная  и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их проверки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

    При эмпирической операционализации понятий  основная задача состоит в достижении согласованного мнения по поводу явлений реальной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как мы можем установить степень общественной активности респондента? Наиболее эффективным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями ("отнесенной оценки"). Так, в исследования социальных потребностей молодежи этот метод использовался для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов позволил установить эмпирические референты, по которым можно судить, проявляются ли у респондентов изучаемые потребности. Полученное операциональное определение эстетической потребности, явилось в дальнейшем основой для разработки измерительной шкалы.

    Выдвижение  рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических  положений концептуальной модели к  эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой  экспертов. Наибольший эффект достигается  применением методов обмена мнениями и стимулированного наблюдения, например, путем «мозгового штурма».

    Разработка  методики сбора информации, предназначенной  для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в упоминавшемся исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

    Различные процедуры с использованием экспертных оценок все чаще применяются при разработке методике групповой оценки личности.

    После того, как методические документы  подготовлены, они должны пройти стадию логической проверки и практического  апробирования - пилотажа. Перед социологом встает задача определить, насколько методика соответствует целям исследования, позволяет ли она проверить выдвинутые рабочие гипотезы, направлена ли именно на тот аспект предмета исследования, которого касаются гипотезы, например, измеряет ли шкала потребностей в общественно-политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьеристских целей и т.п. Проверка готовой методики на надежность, устойчивость и обоснованность выполняется параллельно двумя способами: с помощью логического анализа и пробного использования ее на микровыборке – пилотажа. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу подготовленных методик (свободное интервью, реже - "мозговая атака" и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов.

    В процессе пилотажа методик применение экспертных методов ограничено, поскольку здесь подготовленные и логически проверенные документы проходят практическую апробацию. Однако и тут возможно привлечение экспертов, во-первых, для определения численности и состава пилотажных групп, во-вторых, для обсуждения, итогов пилотажа, внесения исправлений и дополнений в документы. Но наиболее эффективен здесь обмен мнениями.

    Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике наших социологических исследований.

    Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и сбора информации. Процесс отбора проходит без участия  экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь  вновь открываются широкие возможности  применения экспертных методов. Очень  часто оказывается: ту информацию, которая  собирается в ходе массового анкетного  опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, общественно-политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.

    Экспертный  опрос наряду с традиционными  методами сбора информации может широко применяться и в других областях социологических исследований. Использование данного приема весьма эффективно при изучении общественного мнения.

    Чем обусловлено обращение к экспертам? Заключения специалистов, связанных  в силу своей повседневной профессиональной деятельности с изучением состояния  и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.