Мониторинг и оценка государственных и муниципальных программ. 2

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ

ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО

ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

КАЗАНСКИЙ (ПРИВОЛЖСКИЙ) ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ

ИНСТИТУТ УПРАВЛЕНИЯ И ТЕРРИТОРИАЛЬНОГО РАЗВИТИЯ

КАФЕДРА ГОСУДАРСТВЕННОГО И МУНИЦИПАЛЬНОГО УПРАВЛЕНИЯ

 

 

 

КУРСОВАЯ РАБОТА

Тема:

МОНИТОРИНГ И ОЦЕНКА ГОСУДАРСТВЕННЫХ И МУНИЦИПАЛЬНЫХ ПРОГРАММ

 

 

 

                                           

 

Работу выполнил:

Студент группы 14-125

Хисматова Тансылу Рафиковна

Научный руководитель:

Кораблев Максим Михайлович

 

 

 

 

Казань

2014

Оглавление

 

 

 

 

 

 

 

 

 

 

 

 

 

ВВЕДЕНИЕ

 

Актуальность исследования. В последние десятилетия мониторинг и оценка получили широкое признание и сегодня являются традиционным инструментом управленческой деятельности во многих странах мира. Методики мониторинга впервые стали применять в практике естественных наук (почвоведение, биология, зоология, экология, метеорология, медицина и т.п.). Позже сфера использования технологий мониторинга чрезвычайно расширилась, и наработанные подходы плавно перешли к другим наукам: социологии, экономики, политологии, теории управления. В зависимости от сферы применения мониторинг приобретает различные толкования и в разной степени применяется. В частности, например, считается, что в сфере экологии мониторинг в развитых странах достиг уровня зрелости. Экологический мониторинг четко определен, его воспринимают большинство ученых и практиков, глубоко проработан методологический аппарат, созданы средства отслеживания, измерения, сбора, хранения и обработки данных, способы распространения информации, законодательно закреплен статус.

Сегодня мониторинг и оценка используется для определения результативности и эффективности стратегий, государственных программ и проектов, официальными разработчиками и исполнителями которых являются органы государственной власти и местного самоуправления различных уровней.

 В Западных странах  обнародуют отчеты и все данные  о результатах выполнения программ  и проектов, которые основаны  на анализе и обработке  значительного  перечня количественных и качественных  данных. Их цель: продемонстрировать  уровень эффективности и соответствия  потребностям общества. Данный процесс  дает возможность руководителям  соответствующих организаций в  срок и адекватно принимать  меры по корректировке стратегий, программ и проектов. А также  соответствующей государственной или местной политики. Обнародование и публикации  данных мониторинга и оценки способствует формированию «обратной связи» бизнеса и общественности, которые тем самым получают возможность представить собственную позицию и высказать свое мнение по результативности программной деятельности правительственных структур разных уровней.

В Российской Федерации внедрение современных подходов к мониторингу и оценке государственных и муниципальных  программ в настоящее время  еще новая и не распространенная управленческая практика. Но данные подходы активно разрабатываются.

Целью курсовой работы стало обобщение теоретических основ и выделение практических аспектов проведения мониторинга и оценки государственных и муниципальных программ.

Поставленная цель обусловила решение ряда задач:

- раскрыть сущность мониторинга  и оценки государственных и  муниципальных программ;

-  выделить основные  методы сбора, анализа и обработки  данных;

- охарактеризовать этапы  процесса мониторинга и оценки  программ;

- изучить планирование  оценки государственных и муниципальных  программ;

- рассмотреть предложения по организации мониторинга и оценки государственных и муниципальных программ в Российской Федерации.

Объектом исследования стали мониторинг и оценка государственных и муниципальных программ.

Предметом работы являются социально-экономические отношения в процессе мониторинга и оценки  государственных и муниципальных программ.

Структурно курсовая работа состоит из введения, двух глав с параграфами, заключения и списка литературы. Первая глава посвящена теоретическим основам мониторинга и оценки государственных и муниципальных программ. Вторая глава рассматривает практические аспекты проведения оценки. В заключении приведены результаты исследования.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Глава 1. Теоретические основы мониторинга и оценки государственных и муниципальных программ

 

1.1. Сущность мониторинга и оценки  государственных и муниципальных  программ.

 

Термины «мониторинг» и «оценка» иногда употребляются как синонимы или взаимозаменяемые понятия, что часто приводит к замешательству. Но данные понятия значительно отличаются.

Мониторинг -  это процесс, который включает регулярный сбор и фиксацию данных для отслеживания ключевых элементов реализации проекта на протяжении его деятельности. Цель мониторинга - корректировка, обеспечение эффективного использования ресурсов, достижение запланированных задач, минимизация отрицательных последствий, определение возможностей развития и/или повторения проекта. Для мониторинга характерны простые вопросы: имело место какое-либо мероприятие или нет, скольким клиентам была предоставлена услуга, сколько предметов было роздано и т.д. Как правило, эту информацию получить достаточно просто, и нужно лишь аккуратно ее зафиксировать после оказания услуги.1

Мониторинг государственных и муниципальных программ и проектов базируется на комплексности, системности и регулярности использования одних и тех же принципов и одного и того же набора инструментария. Это дает возможность осуществлять текущий контроль динамики изменений в отношении к проблеме на всем протяжении реализации проекта и в срок корректировать и направлять деятельность, при использовании соответствующих методов и средств.

Оценка - это систематизированное исследование ситуации, процесса реализации программы или ее результатов с целью разработки проекта деятельности, создания рекомендаций по улучшению работы, оценки ее эффективности и результативности. Существует несколько типов оценки. Среди них можно выделить три основных: оценка ситуации, оценка процесса и оценка влияния. Оценка ситуации, как правило, проводится перед началом вмешательства. Ее цель - разработка проекта, адекватного потребностям целевой группы. Оценку процесса проводят в ходе реализации программы. Она призвана откорректировать программу во время реализации для повышения эффективности ее воздействия. Оценка влияния проводится после окончания программы (или ее компонента) или некоторое время спустя. Она показывает, насколько программа достигла поставленных целей.2

Оценка - это управленческая функция, которую применяют периодически и селективно при необходимости осуществить независимую, системную и объективную проверку состояния прогресса в достижении или отклонение от достижения ожидаемых результатов.

Оценка - не одноразовое мероприятие. Она осуществляется по мере необходимости в ответ на потребность подробного и масштабного анализа взаимосвязи между проблемами и запросами целевой группы (или групп), на удовлетворение которой (которых) направлена деятельность организации  и состоянием внедрения программы (цель, ожидаемые результаты, план мероприятий, результативность и эффективность использования имеющихся ресурсов и т.п.).

Теоретическая основа оценки государственных и муниципальных программ  выходит  за  рамки   анализа лишь затрат,    необходимых     для   их реализации. На сегодняшний день, помимо    проверки результативности, эффективности     и    устойчивости    государственных    и муниципальных программ,     их    оценки       используется         также        для     определения   ее     соответствия     приоритетам   государственной политики. Такой подход способствует лучшей подотчетности правительственных структур перед общественностью.

При проведении оценки рассматриваются более глубокие вопросы. Например: почему какое-либо мероприятие имело или не имело желаемого эффекта, какие факторы оказались благоприятными, а какие лишь мешали, какие изменения можно внести для улучшения  работы в дальнейшем. Обычно это требует углубленного анализа и изучения большего объема различных видов информации. В зависимости от планируемого использования результатов оценки можно также различить формирующую (оценка, проводимая с целью сформировать или откорректировать проектную деятельность; к формирующим относятся оценка процесса и оценка ситуации) и суммирующую (оценка-итог проведенной деятельности с целью определения эффективности и результативности этой деятельности, таковой является оценка влияния) оценки.3

Наиболее часто мониторинг и оценка выступают взаимодополняющими компонентами при реализации проектов. Для проведения оценки требуется меньше средств и времени, если при этом используются данные постоянного мониторинга, и если оценка основывается на данных, которые собраны во время мониторинга. Мониторинг и оценка могут идти параллельно , а могут быть разнесены во времени. Очень часто, когда люди говорят «оценка», они подразумевают и мониторинг, и оценку, которые проводятся для одной единой цели.

Можно выделить целый ряд различных подходов к проведению мониторинга и оценки. Выбор стратегии и методик определяется особенностями проекта и видами деятельности, а характер и содержание оценки -  ее целью.

 Масштабные экспериментальные  оценки, проведенные одновременно  в нескольких местах, дают возможность увидеть,   какие программы наиболее эффективны, но при этом не подскажут, как улучшить работу органа власти. Небольшие практические оценки не укажут, насколько эффективна работа по сравнению с другими программами, но подскажут, как можно ее улучшить.

Мониторинг и оценка проекта могут быть как внутренними, так и внешними. Внутренний мониторинг и внутренняя оценка означают, что они исполняются силами самого проекта либо силами организации - основного исполнителя.  Внешний мониторинг и внешняя оценка могут быть осуществлены  вышестоящей организацией, которая финансирует стороны, либо независимой структурой,  специально приглашенной для их проведения.

Мониторинг выполнения программы способствует обучению и улучшению работы руководства органа власти, что способствует совершенствованию государственной или муниципальной программы в краткосрочной перспективе. Оценка госпрограммы способствует не только ее улучшению реализации, но и может привести к ее изменению  в целом. Оценка способствует обучению через изучение  процесса и результатов (кратко-, средне- и долгосрочных).

Мониторинг и оценка обеспечивают открытость и отчетность. Мониторинг внедрения государственной или муниципальной программы - это  процесс налаживания высокого уровня отчетности для обеспечения реализации программы. Оценка же, в свою очередь, обеспечивает необходимый уровень открытости и отчетности при достижении ожидаемых результатов.

В практическом плане оценка программ содействует:

1) обеспечению стабильности  при предоставлении органами  власти в центре и на местах  и органами местного самоуправления  услуг в соответствии с требованиями законодательства и приоритетов государственной политики;

2) постоянному совершенствованию  качества услуг и повышению  степени удовлетворенности ими  потребителей;

3) ограничению расходов  и достижению эффективности в  оказании услуг;

4) оптимизации информационного  обеспечения процесса принятия  решений по государственной политике  и программ, эффективному управлению  рисками;

5) решению вопросов о  выделении бюджетных ресурсов.4

 

 

1.2. Основные  методы сбора, анализа и обработки  данных

 

Данные по вопросам оценки собираются при помощи использования различных методов, которые можно разделить на два типа:

1) Сбор существующих (вторичных) данных (анализ документов), в ходе  которого изучаются: отчеты по  результатам ранее проведенных  исследований; данные статистики; другие  документы (документы планирования  организаций, включая финансовую  документацию и годовые отчеты; данные из форм оценки услуг, рабочих заметок и листков  учета контактов с клиентами; публикации в прессе; письма, заявления, автобиографии, фотографии, видео-, аудиозаписи  и т.д.).

2) Сбор новых данных  при помощи следующих методов:

2.1) Опрос: анкетирование (каждому  лицу из группы, выбранной для  анкетирования, предлагается ответить  письменно на вопросы, представленные  в  форме опросного  листа-анкеты);  интервью  (метод сбора данных посредством индивидуальной беседы или разговора по телефону, где

интервьюер  задает  вопросы,  выслушивает  и  фиксирует  или  записывает ответы).

2.2) Фокус-группа (групповая  дискуссия под руководством специалиста, в ходе которой внимание участников  фокусируется на исследуемой  проблеме, с целью собрать спектр  мнений, отношений к поставленной  проблеме, выяснить мотивации совершения  тех или иных действий).

2.3) Наблюдение (непосредственная  регистрация фактов, событий, действий, условий, видов поведения, спонтанно  высказанных суждений, которая может  осуществляться открытым или  скрытым образом).5

Любая оценка должна начинаться со сбора и анализа уже существующей информации. Это позволяет:

- уточнить представления  об исследуемом объекте;

- определить пробелы и  недочеты в существующей информации, недостающие данные;

- уточнить план проведения  оценки, существующие гипотезы исследования;

- разработать инструментарий  других методов сбора информации, таких как анкеты, планы интервью, протоколы наблюдений;

- получить ту информацию, которую ранее исследователи  не смогли собрать по каким-либо  причинам (нехватка времени, денег  или физических ресурсов);

- перепроверить информацию, полученную при помощи других  методов.

Существующая информация часто используется при проведении оценки. Однако следует обратить внимание на тот факт, что иногда она может содержать неточности, предубеждения или быть результатом некомпетентности. Довольно часто причины подобных проблем кроются в типе источника, который содержит информацию. Основные из них – это отчеты по исследованиям.

Может быть, что по темам, близким к теме исследования, уже проводились оценки. При изучении существующих данных нужно обратить внимание на следующее:

- Есть ли тут информация, которая может быть полезной  для вашего исследования?

- Как давно было проведено  исследование? Не устарели ли  его результаты?

- Где проводилось исследование? Можно  ли применить его выводы  к географическому региону вашего  исследования?

- Не упущены ли в  этом исследовании аспекты, важные  для вашего проекта?

- Содержатся ли в исследовании  рекомендации относительно дальнейшего  изучения данной темы? 6

Также активно используются данные статистики. Статистика представляет собой информацию в концентрированной форме, которой часто пользуются государственные учреждения, экономисты.

Статистика часто используется для иллюстрации конкретных утверждений или решений, поэтому всегда нужно осуществлять перекрестную проверку данных статистики.

Другие документы - это могут быть, например, годовые отчеты организаций, статьи в газетах и журналах, записи дебатов, протоколы встреч. При использовании таких материалов нужно помнить, что они были разработаны определенными людьми или организациями с определенной целью и поэтому не всегда правдиво отражают реальную суть вещей.

Основные преимущества и недостатки разных методов сбора данных приведены в приложении.7 Исходя из этих данных, можно сделать вывод о том, что выбор метода должен происходить в зависимости от обстоятельств, целей и задач оценки.

Методы сбора данных будут составлять основу деятельности в ходе реализации оценки.

После того, как исследователь определится с  методами проведения оценки, нужно составить график работ в рамках данного процесса. При этом нужно учитывать, что анализ информации, полученной при помощи методов сбора данных, занимает гораздо больше времени, чем применение самих методов, поэтому необходимо зарезервировать на эту деятельность достаточно времени.

Анализ информации, полученной при помощи качественных методов -неструктурированных наблюдений, фокус-групп и интервью, должен происходить на протяжении всей оценки, а не откладываться только на ее завершающие этапы. Только таким образом можно достаточно оперативно и эффективно  реагировать на новую информацию и перекрестно проводить  проверку данных. Процесс анализа качественных данных состоит из двух этапов: 

1) Анализ предварительных  результатов - должен проходить непосредственно  после начала оценки (например, после  проведения первых наблюдений, первой  фокус-группы, нескольких неструктурированных  интервью). Анализ на данном  этапе  состоит в: формировании ключевых  идей; выяснении слабых мест и  упущений  программы проведения  качественной оценки; выяснении, не  появились ли какие-либо вопросы  или темы, которые ранее не поднимались; соотнесении первых полученных результатов с задачами оценки.

По итогам реализации первого этапа анализа могут быть внесены изменения в план проведения оценки.

2) Анализ основных результатов - анализируются отчеты наблюдателей, расшифровки фокус-групп, неструктурированных  интервью, различных документов.8

Во-первых исследователь должен систематизировать всю полученную информацию по основным вопросам исследования, поскольку ответы на один и тот же вопрос могут находиться в различных частях интервью или наблюдений. Затем исследователь осуществляет сортировку полученных высказываний. Высказывания похожие по направленности и содержанию объединяются в типы, которые интерпретируются исследователем. Таким образом, результатом интерпретации является перечень выявленных типов мнений, отношений, поведений и ситуаций. Исследователь получает возможность провести сравнение между различными исследованными группами людей.

Количественный анализ информации в современных условиях проводится, как правило, с привлечением компьютерной техники и специализированных компьютерных программ. Существуют различные программы обработки и анализа данных. Среди них можно выделить:

- неспециализированные программы  обработки числовых данных - Excel, Access и т.п.;

- специализированные, многофункциональные  пакеты, в которых реализованы  основные способы обработки данных  и математико-статистические методы  анализа, которые повсеместно используются  для анализа данных исследований - SPSS, Statistics, ОСА и т.п.

- специализированные программы  обработки и анализа данных, создаваемые  отдельными организациями для  внутренних нужд.

Таким образом, существует большое количество различных методов сбора, анализа и обработки данных. Выбор определенного метода зависит от обстоятельств  проведения оценки,  от располагаемых средств и от многих других факторов.

 

 

 

1.3.Этапы  процесса мониторинга и оценки  программ

 

Этапы организации процесса оценки той или иной государственной или муниципальной программы:

1) подготовительная работа,

2) проведение оценки,

3) составление отчета,

4) использование результатов  оценки.

Рассмотрим их поподробнее.

Этап №1. Подготовительная работа. Цель оценки ситуации - разработать эффективную программу вмешательства или отдельный ее компонент. Задачи оценки могут быть более конкретно определены в каждом определенном случае, но можно выделить общие задачи оценки ситуации:

1) сбор, анализ и обработка  информации относительно той  или иной проблемы, на решение  которой направлена государственная  или муниципальная программа, с  целью разработки только эффективных  программ;

2) привлечение членов  целевой группы будущей программы  вмешательства и других заинтересованных  лиц к оценке ситуации по  интересующему вопросу и разработке  оптимальных вариантов воздействия;

3) обеспечение поддержки  программы со стороны местных  органов власти, государственных  структур и других частных  заинтересованных лиц;

4) сбор базовой информации, которая может быть использована  для мониторинга и оценки этой  программы в дальнейшем.9

Формирование команды по оценке программы осуществляется также по определенным правилам. Работа по оценке может осуществляться командой, состоящей из 3-10 человек. При подборе кандидатов в команду желательно отдавать предпочтение авторитетным, компетентным людям с различными навыками и опытом работы в данной сфере.

Этап №2 - «проведение оценки». Здесь очень важно использовать основные принципы управления данным процессом - это принципы этики оценки и текущего отчета.

Этические вопросы могут возникать на всех этапах оценки, так как результаты влияют на дальнейшую судьбу программ, а следовательно, и  конкретных людей, которые непосредственно связаны с ними. Именно поэтому все профессиональные ассоциации по оценке разработали перечень этических принципов, которых придерживаются их члены. В частности, Американская ассоциация по оценке10  использует следующие:

- системность в проведении  оценки, которая означает, что оценщики  исследуют данные всех доступных  источников, с целью обеспечить  объективность, беспристрастность  и всесторонность оценки;

- оценки на основе профессиональных  знаний, то есть оценщики должны  владеть теорией и практическими  навыками оценки;

- честность и беспристрастность, что требует равного отношения  ко всем участникам процесса  оценки - представителей заинтересованных  групп оцениваемой программы;

- уважение к лицам, участвующим  в процессе оценки, т.е. соблюдение  тона вежливости, уважения к людям, которые являются источником  информации для оценщиков.

Текущая отчетность о ходе работ представляет собой совокупность следующих элементов:

- уведомление об отклонении  от графика проведения оценки  и утвержденного бюджета;

- информирование о связи  с заинтересованными группами, реагирования  на их предложения по поводу  мер оценки;

- определение новых аспектов  оценки, политических проблем, которые  возникают в процессе работ.11

Факторы, которые необходимо учитывать при проведении оценки:

- отслеживание выполнения  плана оценки необходимо не  только для соблюдения определенного  графика работ, но также и базовых  принципов оценки;

- для управления внешними  консультантами необходимо требовать  от них каждые две недели  информацию о ходе оценки и  проблемы, возникающие в ходе  этой деятельности;

- необходимо обеспечить  постоянную коммуникацию между  органом координации оценки и  всеми заинтересованными сторонами. Реакцию заинтересованных сторон  на предварительные результаты  оценки можно использовать как  ориентир относительно ее достоверности.

Этап №3. Составление отчета по результатам оценки. Отчет по результатам оценки - это обобщающий документ, в котором предоставляют следующую информацию:

- характеристику программы;

- методологию проведения  оценки, данные, полученные в ходе  оценки (содержащие их описание  и конкретные показатели);

- выводы (синтез и анализ  полученных данных);

- рекомендации относительно  будущего оцененной программы;

- выводы, которые могут  быть обобщены и использованы  вне конкретной программы и  касаться вопросов жизнедеятельности  конкретной местности, региона, страны  и т.п..12

Отчет должен быть достаточно детализирован и подробен, чтобы можно было определить уровень качества и тщательности оценки.  Должностные лица и органы власти должны получить достаточно обоснованные данные для принятия конкретных решений о будущем программы.

Полученные в ходе оценки данные - это основа для выработки рекомендаций и, соответственно, дальнейших решений относительно того, нужно ли оставить программу без изменений, внести изменения в ее приоритетные направления, механизмы реализации или прекратить даже ее.

Как правило, структура отчета следующая: содержание, резюме, введение и предварительная информация о программе, управление процессом оценки, методология оценки, полученные данные и их анализ, выводы относительно текущего состояния программы, рекомендованные меры, приложения.13

В резюме отчета содержится краткий обзор основных его элементов, в частности: краткое описание программы; конспект основных данных, полученных в результате оценки, основные рекомендации относительно мер, которые необходимо принять.

Описание программы должно содержать основную информацию о программе, в частности: название программы, государственный приоритет, которому соответствует программа, основные задачи программы, финансовое обеспечение программы, основные бенефициары программы; ключевые заинтересованные стороны.

Объем резюме небольшой, поэтому его тексте можно привести лишь основные (3-5) результаты оценки, а также предоставить лишь ключевые рекомендации относительно будущего программы.

Введение и предварительная информация. В этом разделе нужно предоставить всю необходимую информацию об оцениваемой программе, а также другие данные, необходимые для понимания цели оценки, а именно:

- анализ государственных  приоритетов,  на удовлетворение  которых направлена программа;

- общественное мнение (или  ожидания) по программе;

- подробное описание финансового  обеспечения программы;

- описание бенефициаров  программы.

Управление процессом оценивания. В этой структурной части отчета необходимо описать определенную структуру управления процессом оценки, любые изменения, внесенные в этот механизм в ходе оценки. В частности, необходимо предоставить следующую информацию:

- масштаб, сроки и финансовое  обеспечение процесса оценки;

- организационные единицы, участвующие в процессе оценки;

- внешние ресурсы (данные  о внешних консультантах, их функции, документы, которые они должны  предоставить, оплата труда);

- участие заинтересованных  сторон.

Методология оценки – раздел, в котором необходимо дать описание таких элементов, как инструменты сбора данных, методы анализа и источники данных, характер применяемой выборки.

Полученные данные и их анализ. В этом разделе необходимо дать описание основных данных (результатов), которые были получены в ходе оценки, а также их анализ с подробным толкованием результатов оценки и последствий для программы.

Результативность программы, т.е. представление данных о том:

- насколько достигаются  ожидаемые кратко-, средне- и долгосрочные  результаты программы;

- насколько достигаются  плановые показатели выполнения  программы;

- насколько бенефициары  удовлетворены результатами программы;

- насколько существующая  система отчетности о реализации  программы способствует обмену  информацией внутри органов власти  и с бенефициарами и общественностью.

Эффективность программы, то есть анализ данных, демонстрирует:

1) динамику изменения  себестоимости единицы продукции  программы за прошлый, текущий  и согласно плану на предстоящий  бюджетный год и определения  причин этой динамики,

2) насколько программа  достигает определенных показателей  в установленные сроки и  соответствует  утвержденному бюджету,

3) насколько программе  присуще дублирование организационных  и человеческих ресурсов и  средств, принимаются ли меры  для снижения уровня дублирования,

4) используются ли меры  для увеличения степени интеграции  между целевой программой и  другими связанными программами, какие существуют возможности  для того, чтобы увеличить степень  интеграции.

Общие выводы относительно текущего состояния программы являются общей оценкой текущего состояния программы, опирающиеся на полученные данные и их анализ. В заключении необходимо отметить степень соответствия программы государственным интересам, ее результативности и устойчивости.