Развитие оценки программ и политик с США

Правительство Российской Федерации

федеральное государственное  автономное

образовательное учреждение высшего профессионального  образования

Национальный исследовательский  университет

«Высшая школа экономики»

Факультет государственного и

муниципального  управления

Реферат по учебной дисциплине

«Анализ и оценивание программ и политик»

Тема:

«Развитие оценки программ и политик в США»

Выполнила: Свиридова Е.П.

3 курс бакалавриата, группа 391

Москва, 2012/13 уч. год

«Настоящей подписью удостоверяю, что данный реферат выполнен мной самостоятельно, не содержит «раскавыченного» переложения чужих текстов, «сплошного» перевода иностранных источников, а все цитаты приведены корректно и с указанием источников (печатных и/или электронных).

Мне известно, что  в случае обнаружении при проверке  нарушений (любого объема) академических норм в написании письменных учебных работ за реферат выставляется нулевая оценка».

«____» ____________ 2013 г.                 _________________________________

                                                                             (собственноручная подпись)

Оглавление

Введение

В течение последних  лет оценка программ и политик  претерпевает постоянные изменения. Развивается методология оценивания, что в первую обусловлено изменениями, происходящими в государственном секторе, в том числе с его реформированием. На Западе оценивание уже давно является неотъемлемой составной частью процесса функционирования государственных учреждений.

Оценивание  способствуют более экономному планированию государственного бюджета, так как помогает определить приоритетные или заранее неудачные программы. Оно позволяет выявить слабые и сильные стороны программы, а соответственно разрешить имеющиеся проблемы и перенести удачный опыт на другие программы.

Соединенные Штаты  Америки были одними из первых, кто активно стал заниматься оцениванием программ и политик, поэтому особенно интересно рассмотреть этапы развития оценивания и опыт именно этого государства.

История развития оценки программ и политик в США

В научной литературе традиционно выделяется три «волны» развития оценивания – первая (60-е – середина 70-х гг.), вторая (середина 70-х – конец 80-х гг.) и третья (с конца 80-х по настоящее время).

 «Первая волна», также ее называют периодом планирования, характеризуется увеличением числа, разнонаправленности, серьезности и социальной важности вопросов, которые возникают в ходе разработки и проведения различных государственных политик. Как следствие, и требования к квалифицированности государственных служащих также претерпевают изменения. Причина в том, что появляющиеся теперь вопросы, разительно отличаются от тех, которые вставали на повестке дня ранее, соответственно, квалификация государственных служащих уже не позволяет им быть компетентными в их решении. При этом не стоит забывать о том, что ожидания населения от действий государственных служащих остались прежними, то есть требования к ответственности и своевременности принятия тех или иных решений остались на том же уровне. Эта ситуация побудило государственных служащих к получению недостающих знаний и опыта из разнообразных исследований, проводимых в этой области, соответственно, стали востребованы те кадры, которые могли с помощью своих аналитических способностей производить оценку полученных ими данных.

Подразумевалось, что оценка политик и программ должно было представлять собой исследование, которое четко обосновывается научным путем, и целью которого было проанализировать цели и задачи той или иной программы или политики, а также оценить ее результативность и последствия ее реализации. В США самым известным примером может послужить программа борьбы с бедностью «Social Action Program» (1964 г.) Ссылаясь на речь Д.Б. Цыганкова, в этой программе «Конгресс предписал провести оценивание социальных результатов программ. Впоследствии именно из этого постановления выросла индустрия оценивания вокруг Главного Контрольного управления США (GAO)»¹.

 «Вторая волна» также имеет другое название, а именно - период сокращений. В этот период состояние мировой экономики претерпевало серьезные изменения, что являлось последствием экономического и финансового кризиса. Естественным образом, результатом стало вполне понятное изменение политик государств, с целью сокращения бюджетных расходов. Соответственно, на этом этапе целью оценивания становится максимизация эффективности экономики и политических механизмов. Большое внимания стало уделяться соотношению затрат на проведение программ и ее реальными результатами, то есть определяется, насколько выгодно/невыгодно проводить программу в будущем. Стоит упомянуть, что на данном этапе оценивание в США институционализируется в качестве составной части государственного аппарата. Таким образом, даже те государственные служащие, которые во время «первой волны» не восприняли эффективность процедуры оценивания всерьез, были вынуждены примкнуть к тех, кто уже работал с данными и информацией, полученной в результате проведения оценки.

«Третья волна» вплотную связана с проведением административных реформ в мировом сообществе. На данный момент это получило название New Public Management (пер. Новое Государственное Управление). Главную гипотезу, которая выдвигается в этот период, можно сформулировать как «государство, ориентированное на рыночную экономику, способствует росту эффективности и самого государства, и частного сектора, сокращая отрицательные побочные эффекты до минимума. В этот период государственное управление строится на, так называемом, «управленческом цикле»², при этом применяются различные инструменты и практики, которые используются в частном секторе. Что касается отличий «третьей волны» от «второй», то здесь можно говорить о том, что период сокращений в основном характеризовался внешним оцениванием, целью было проанализировать программу и по возможности сократить ее в виду нерезультативности. «Третья волна» наоборот предполагает проведение внутреннего оценивания, в некоторых случаях даже самооценивания. В данный момент официально считается, что мировое сообщество находится на «третьей волне» развития оценивания.

Далее рассмотрим существовавшие в США в течение «третьей волны» системы оценивания, а также современное состояние оценки программ и политик в данном государстве.

Government Performance and Results Act

Начнем с  Федерального закона США «О результативности и продуктивности деятельности правительства» (GRPA), который был принят в 1993 году³. Это один из ряда законов, направленных на улучшение государственного управления различными программами. GPRA предусматривает, что государственные учреждения должны участвовать в постановке таких программных задач, как определение целей, результатов измерения и отчетности о результатах проведения программ. Для того чтобы соответствовать GPRA, государственные учреждения разрабатывали стратегические и производственные планы, а также проводили анализ недостатков программы. В основу GPRA легли три следующих элемента:

1. Государственные учреждения должны разработать пятилетние стратегические планы программ, в которых должна содержаться цель программы;
2. Государственные учреждения должны готовить ежегодные планы деятельности, которые устанавливают целевые показатели производительности для соответствующего финансового года, краткое описание того, как эти цели должны быть выполнены, а также описание того, как эти показатели производительности могут быть проверены;
3. Государственные учреждения должны готовить ежегодные отчеты о деятельности, которые рассматривают успешность проведения программы или, наоборот, невыполнение поставленных задач.

Program Rating Assessment Tool (PART)

Далее обратим  внимание на систему Program Rating Assessment Tool (пер. Рейтинговое Оценивание Программ).  PART – это известная система рейтинговой оценки программ и политик, просуществовавший в США в течение девяти лет (2001-2009 гг). PART использовалась в качестве механизма, направленного на повышение эффективности государственных программ, проводимых в США. Данная система основывается на профессиональном подходе к оцениванию, а также на большом количестве факторов, по которым оценивается программа. PART был разработан Административно–бюджетным управлением при президенте США (на тот момент – Джорджа Буша мл.)  Администрация президента пересмотрела предыдущую систему оценивания эффективности и результативности, и ввела тем самым новый механизм, отличный GRPA. PART прежде всего был создан для того, чтобы бюджетные средства направлялись на выгодные программы, эффективность которых определялась с помощью рейтингового механизма. Начиная с 2004 года, система PART была полностью внедрена в процесс работы Административно-бюджетного управления.

Рассмотрим, как функционирует данная система. PART разделена на четыре тематических блока, каждый из которых состоит из тридцати вопросов. Первый блок вопросов относится к целям программы, ее структуре, прозрачности поставленных задач. Второй блок содержит вопросы касательно стратегии программы, т.е. степень обоснованности выбранного направления программы, необходимость проведения программы в дальнейшем будущем, а также приоритетность развития именно этого направления в долгосрочном периоде. Третий блок относится к финансированию программы, т.е. поясняется необходимость обеспечения программы бюджетными средствами и насколько эффективно эти средства используются в ходе проведения программы. И, наконец, четвертый блок вопросов отвечает за результативность программы, оцениваются показатели конечного результата.

Для ответа на вопросы  система PART использует шкалу от 0 до 100, в которой 100 – самый лучший ответ, а 0, соответственно, худший. Впоследствии, данные оценивания обрабатываются и формируются в общую оценку, которая и является основой для составления конечного рейтинга. После этого программа получает один из четырех статусов: «Эффективная», «Достаточно эффективная», «Формально приемлемая» или «Неэффективная».

Стоит упомянуть, что даже если программа получает статус «неэффективной», то это вовсе не будет означать сокращение ее финансирования. Аналогичная ситуация с «эффективными» программами – это не означает, что такие программы будут финансироваться государственным бюджетом усиленно и в первую очередь. В качестве примера можно привести Программу Коммуникационных Инфраструктур Министерства обороны США, которая не показала значительных результатов. Однако, в виду необходимости развития данного направления, было решено оставить данную программу, а также обеспечить ее надлежащим финансированием для ее успешного функционирования. По результатам использования PART на 2004 год, почти половина всех имеющихся на тот момент программ получила статус «неэффективных», огромное количество программ имели нулевой эффект по отношению к поставленным целям. Благодаря использованию PART и тому, что он позволял быстро выявлять слабые стороны программы, к 2005 году количество «неэффективных» программ снизилось до 30%. Это означает, что при помощи PART программы стали ставить перед собой более четкие задачи и имели стимулы на достижение конечных результатов. Также возрос процент «эффективных/достаточно эффективных» программ (30% по итогам 2004 года и 40.3% по итогам 2005 года)⁴.

Однако, несмотря на все свои очевидные преимущества, PART все же имела повод для критики, хотя бы из-за неточностей, возникающих в ходе оценивания программы. Также считалось, что PART крайне похожа на существовавшую уже на тот момент Систему Управления Производительностью, основанной на GRPA. Этот конфликт явно ощущался, когда обе системы брались за оценку одной и той же программы, и агентствам по оцениванию было крайне трудно функционировать в таких условиях, так как каждая система предполагала свои правила, метода и так далее. Разумеется, в результате страдало качество оценки, она могла быть неточной.

Говоря о  наследии PART, стоит упомянуть, что ее успех быстро стал известен мировому сообществу, и многие страны, например Шотландия⁵, ввели ее в работу государственного управления. Однако в настоящий момент, с приходом к власти президента Барака Обамы, система PART перестала использовать в США, но ее принципы и идеи рассматривались, например, в России, при разработке «Программы повышения эффективности бюджетных расходов» Министерством финансов.

На данный момент подобной общей системы оценивания в США нет. Большинство оценок проходят при поддержке различных университетов или по специальному госзаказу. То есть можно говорить о том, что подход к оцениванию стал более индивидуальным, гибким. Учитывается специфика той или иной программы и разрабатывается такая оценка, которая смогла бы быть наиболее подходящей.

Наличием единой системы оценивания могут похвастаться, разве что, самые крупномасштабные американские проекты. В этих случаях  будет использоваться система Program (Project) Evaluation and Review Technique (далее PERT). PERT — это, в первую очередь, метод анализа постановки задач, которые необходимы для проведения программы или проекта. Особенное внимание уделяется временному критерию, то есть сколько потребуется времени для выполнения поставленных задач или каков самые короткий срок выполнения программы/проекта целиком.

По большому счету PERT разрабатывалась для того, чтобы упростить процесс планирования больших проектов,  эта техника делала допущение, что в проекте могут быть некоторые неточные или неизвестные детали, которые не должны мешать разработке проекта.

Система PERT была разработана в 1958 году консалтинговой компанией «Booz Allen Hamilton» по заказу Подразделения специальных проектов ВМС США при Министерстве Обороны США. В тот момент имелась необходимость для создания проекта запуска ракетной системы «Polaris», который должен быть стать ответом на кризис, наступивший после запуска Советским Союзом своего первого космического спутника.

Далее перейдем к оцениванию существующих программ в США. В свете большого количества обсуждений вокруг защиты детей в Америке, была выбрана программа Healthy Families America, которая позволяет рассмотреть проблему более близко.

Healthy Families America Program

Так называемые home visiting programs⁶, в которых подготовленные работники здравоохранения встречаются с родителями и детьми в первые годы жизни ребенка, чтобы предоставить необходимую информацию по развитию и обучению была оплотом международной социальной политики уже более половины столетия. Однако в США подобная практика появилась довольно-таки недавно, и, как следствие, многие вопросы, касающиеся эффективности программ в этой сфере остаются неразрешенными. В статье Evaluation of a Healthy Families America (HFA) Programme: A Deeper Understanding by Ellen Elizabeth Whipple and John Douglass Whyte авторы оценивают одну из подобных программ (так называемых «программ раннего вмешательства»)⁷, Healthy Families America, и делают выводы относительно ее результативности.

HFA была создана по инициативе американской некоммерческой организации Prevent Child Abuse America. Опираясь на десятилетия исследований, в которых были определены факторы риска, связанные с жестоким обращением с детьми и безнадзорности и задержкой развития детей раннего возраста, Healthy Families America (HFA) представляет собой общенациональную программу с добровольным участием. HFA ставит перед собой четыре основных цели:

• улучшение функционирования семьи путем установления доверительных, воспитательных отношений;
• улучшение системы поддержки семьи и обучения эффективным навыкам решения проблем;
• поддержка здорового роста и развития ребенка;
• поощрение положительных отношений родитель-ребенок⁸.

Мета-оценивание, приведенное в вышеупомянутой статье, включает в себя все семьи, отобранные из Списка семей, подверженных стрессу, предоставляемого госпиталями, в которые эти семьи обращались. Авторы поставили следующие вопросы в своем исследовании:

1. Могут ли неквалифицированные работники (добровольцы) наладить успешный процесс взаимодействия со «сложными семьями?
2. Является ли модель HFA эффективной при достижении поставленных программой целей?
3. Являются ли существующие критерии оценивания эффективности программы наиболее показательными?

Оценка проходила  в 2008 году, и большинство показателей сравнивались с таковыми от 2006 года.

Оценка осуществлялась при финансовой поддержке Мичиганского Детского Трастового Фонда.

Методология оценки представляет собой ряд критериев, которые учитываются при проведении программы, а именно: социально-демографический профиль и степень участия в программе; взаимодействие родитель-ребенок на разных стадиях развития ребенка; учет продуктивности совместной работы родителя и Family Support Worker (FSW) – доброволец, представляющий компанию; степень развития ребенка.

Социально-демографический профиль и степень участия в программе. Этот критерий относится к таким показателям, как возраст ребенка, возраст его родителей, их семейное положение, раса, уровень образования, доход семьи и текущее положение на рынке труда⁹. Также авторы ввели две переменные, связанные со степенью участия в программе, а именно: как часто семью посещал представитель программы HFA (интенсивность), и сколько месяцев семья участвовала в программе (продолжительность). По результатам можно сделать выводы, что в программе участвуют преимущественно семьи с высоким фактором риска, так, например, 93% семей живут ниже уровня бедности по заявленным государственным стандартам. Чуть меньше половины матерей имеют образование «ниже среднего» и большинство из них (61%) воспитывают ребенка в одиночестве. Что касается расовой принадлежности, среди матерей лидируют кавказские женщины (48%), а среди отцов афроамериканцы (24%). Большинство семей вступили в программу после рождения ребенка (75%), а причины выхода из программы варьировались от завершения поставленных задач (19%), до невозможности продолжения по причине выезда из страны (6%). Что касается продолжительности, семьи в среднем участвовали в программе на протяжении 18 месяцев, а интенсивность посещений была равна примерно 33 посещениям.

Говоря о  заботе о здоровье семьи, то здесь  во время участия в программе  семьи в целом показывали высокие  результаты. Приведем некоторые числовые показатели. Например, только 35% населения  были вынуждены обращаться в службу неотложной помощи, что является довольно малым процентом на такое количество населения. Также 78% семей показывали стабильно положительные результаты при плановых проверках здоровья ребенка. К тому же, несмотря на то, что 23% семей имели направления в Службу Защиты Детей, оказалось, что только 5 семей имели на это основания, из которых только в одной родителей лишили родительских прав. Кроме того, уровень жестокого обращения с детьми снизился до 1.1% на 1000 детей по сравнению с 15.6% в 2006 году.

Взаимодействие  родителей и ребенка. Здесь речь идет о наблюдении за средой обучения, которую родители создают для своего ребенка, особенно за теми областями, которые касаются социально-эмоционального роста ребенка. Учет данных проводит FSW каждые три месяца во время очередного своего визита. При описи используются две версии, основанные на возрасте ребенка: младенчество (от 0 до 3 лет) и раннее детство (от 3 до 6 лет). В период младенчества, качество среды, в которой развивается ребенок, определяется следующими параметрами, которые должен обеспечивать родитель: отзывчивость, одобрение, организация (процесса обучения), учебные материалы, участие и разнообразие. В свою очередь, в период раннего детства параметры следующие: учебные материалы, стимулирование к четкому формулированию мыслей, развитие физической культуры, стимулирование к аналитическому образу мышления, отзывчивость, моделирование социальной зрелости, разнообразие опыта и одобрение.

Взаимодействие FSW и родителя. Оценивание этого параметра проводится через месяц после начала участия в программе, а после каждые три месяца. При этом измеряются три составляющих взаимодействия: Задачи, Связь и Цели. Представляет собой специальную форму для каждой из сторон, которая состоит из 36 пунктов, на которые родитель и FSW должны ответить в соответствующие сроки.

По результатам  оценивания можно утверждать, что FSW способны создать прочное взаимодействие с родителями, что является ключевым элементом успеха программы. В течение первых десяти месяцев, родители стабильно оценивают работу FSW выше, но так или иначе, с течением времени количество положительных отзывов увеличивается с обеих сторон. Самые низкие показатели, естественно, по результатам оценки первого месяца взаимодействия, что означает необходимость определенного промежутка времени, для того, чтобы родители и FSW определились с Задачами, наладили Связь и поставили перед собой Цель.

Определение степени развития ребенка. Представляет собой серию из 11 опросов, направленных на выявление детей с потенциальной задержкой в развитии. Опросы проводились с 4 месяцев до 4 лет, и потенциальных задержек выявлено не было, либо они были быстро замечены и исправлены благодаря налаживанию среды обучения ребенка.

Данное оценивание имеет ряд методологических ограничений, которые должны учитываться при формулировании выводов. Размер выборки мал, что не дает возможности проводить более сложный статистический анализ. Отсутствие контрольной группы не позволяет оценить, насколько программа действительно помогает участвующим в ней семьям по сравнению с не участвующими. Также всегда остается вероятность выборочной предвзятости, так как, напомним, в качестве представителей программы выступали добровольцы, а не профессионалы. Если учитывать эти ограничения, не забывать о них, то, безусловно, данную оценку можно использовать в разрешении вопросов в данной области.

Отвечая на вопросы, поставленные авторами оценки, нужно сделать следующие выводы.

Во-первых, оценка показала, что непрофессиональные люди, добровольно работающие в программе, действительно преуспевают в создании крепкого союза с семьями. Совместной работой довольны обе стороны, и это подтверждается данных письменных опросов, регулярно проводимых в течение всего взаимодействия. В целом, родители оценивают союз выше, чем сами добровольцы, это может быть обусловлено тем, что они имеют наибольшие расхождения в постановке Цели. FSW может ставить абстрактную цель, например «налаживание взаимоотношений родитель-ребенок», тогда как сами родители понимают свои проблемы и ставят более четкие цели. Тем не менее, с течением времени даже этот разрыв постепенно сгладился, что дает возможность авторам полностью поддержать такую инициативу HFA, как привлечение в свои ряды добровольцев.

Во-вторых, модель проведения этой программы также можно назвать успешной, так как она позволяет достигать целей, поставленных программой. Так, повысился процент здоровых семей, что означает, что программа способствовала регулярному посещению поликлиник родителями с ребенком. Программа преуспела в привлечении семей, то есть добилась того, что проблемные семьи осознали необходимость изменений. Уровень развития детей в целом перестал вызывать опасения, это означает, что родители стали больше заниматься со своим ребенком.

В-третьих, используемые критерии оценки эффективности можно назвать эффективными. Единственное, что ставится под сомнение, это выборка семей. Учитывая то, что выбираются только те семьи, которые попали в список наиболее подверженных риску, то стоит уделить особое внимание надежности и достоверности такого отбора, так как есть риск не затронуть те семьи, которые действительно нуждаются в помощи.

Заключение

Развитие оценивания программ и политик является важнейшим  механизмом функционирования государственного аппарата, призванным улучшить качество его работы, оптимизировать бюджет и повысить квалификацию государственных служащих. История развития оценивания в США разнообразна: в этом государстве использовались и системы оценивания и индивидуальный подход к каждой программе. Америка может предложить мировому сообществу множество интересных идей в области оценивания.

Превентивные  программы – это крайне сложное явление, именно поэтому было интересно рассмотреть программу Healthy Families America, целью которой является предотвращение жестокого или халатного обращения с детьми. Стоит упомянуть, что HFA является уникальной в своем роде программой, так как она позволяет своим отделениям (всего 400 отделений на территории США) использовать индивидуальные методы работы с семьями, подстраиваясь под традиции штата или особенности семьи¹⁰.

По результатам  рассмотренного в реферате оценивания, можно сделать вывод, что программа HFA проявляет себя как эффективная, опыт полученных в ходе нее результатов стоит рассматривать в контексте общемировой задачи по защите прав ребенка.

Список использованной литературы

1. Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. I // под ред. Д.Б. Цыганкова. – М. 2006. – 216 с.
2. Whipple, Ellen Elizabeth; Whyte, John Douglass. Evaluation of a Healthy Families America (HFA) Programme: A Deeper Understanding. British Journal of Social Work, 2010, 40 – pp. 407-425.
3. Using the Program Assessment Rating Tool as a Management Control Process // U.S. Environmental Protection Agency Office of Inspector General, September 12, 2007.

4. Kessler, Stacey R; Nixon, Ashley; Nelson, Carnot. Don't Throw Out the Baby With the Bath Water : A Novel Way of Evaluating Outcomes in the Healthy Families America Programs. American Journal of Evaluation, 2008.

5. http://www.innovations.harvard.edu/awards.html

6. http://www.whitehouse.gov/omb/mgmt-gpra/index-gpra

¹ Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып.I // под ред. Д.Б. Цыганкова. – М. 2006. – 216 с.

² Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып.I // под ред. Д.Б. Цыганкова. – М. 2006. – 216 с.

³ http://www.whitehouse.gov/omb/mgmt-gpra/index-gpra

⁴ http://www.innovations.harvard.edu/awards.html

⁵ Using the Program Assessment Rating Tool as a Management Control Process // U.S. Environmental Protection Agency Office of Inspector General, September 12, 2007.

⁶ Whipple, Ellen Elizabeth; Whyte, John Douglass. Evaluation of a Healthy Families America (HFA) Programme: A Deeper Understanding. British Journal of Social Work, 2010, 40 – pp. 407-425.

⁷ Там же.

⁸ Там же.

⁹ Whipple, Ellen Elizabeth; Whyte, John Douglass. Evaluation of a Healthy Families America (HFA) Programme: A Deeper Understanding. British Journal of Social Work, 2010, 40 – pp. 407-425.

¹⁰