Моніторинг та оцінка виконання програм розвитку сільської місцевості

В  С  Т  У  П

Неформальні оцінки щодо різних питань щоденного життя здійснюються кожним з нас постійно. Оцінка може бути попередньою (наприклад чи варто займатись тією чи іншою справою) або підсумкова, тобто така, яка передбачає оцінювання того, що уже відбулось. Завжди існує вибір і щоб його зробити через Відповідне рішення та дію перед цим потрібно оцінити ситуацію. Це загальний закон нашого життя та діяльності. І ми постійно цим займаємось, свідомо чи не свідомо, в письмовій чи в усній формі.

Таким же шляхом, тобто з використанням оцінки перед прийняттям певного рішення працюють спеціалісти дорадчої служби. В даному випадку використовується термін "оцінка" замість здавалося б доречного в даному випадку терміну "аналіз". Це пояснюється тим, що між даними двома поняттями існує невелика різниця, на яку звичайно не звертають уваги, але в нашому випадку вона має певне значення. Оцінка є більш загальним поняттям, порівняно з аналізові і процес аналізу є складовою процесу оцінки. Так аналіз базується переважно на цифрових показниках, результати його проведення підсумовують фактичні процеси і зовсім не обов'язково приймаються до уваги для прийняття певних рішень на майбутнє. Також аналіз часто є формальним процесом, складовою частиною адміністративної та управлінської діяльності.

На відміну  від аналізу, оцінка базується переважно на інформації нецифрового формату, саме така інформація характеризує результати процесу неформальної освіти та діяльність дорадчої служби в цілому. Так, наприклад, оцінка факту проведення курсів через кількість занять або слухачів аж ніяк не дозволяє оцінити ефективність даної роботи. Наприклад, 25 слухачів прослухали певний курс, - це не результат роботи. Результатом роботи є зміна поглядів слухачів та практичне адаптування ними нових ідей та методів. І тому в процесі оцінки кількісні показники мають вторинне значення, оскільки пріоритетом роботи дорадчої служби є якісні зміни в суспільстві, як відображають різні аспекти покращення життя людей. Тому головне значення в даному випадку мають якісні показники, кількісні відіграють підпорядковану роль.

Крім того, обов'язковою метою проведення оцінки є прийняття рішень та внесення коректив стосовно майбутньої діяльності. Оцінка, як і аналіз, може бути формальним процесом, але такий підхід не є завжди обов'язковим і її потрібно розуміти як процес самооцінки дорадчою службою своєї діяльності. Це не виключає, звичайно, можливого надання іншим організаціям, при потребі, інформації щодо проведеної оцінки. Тобто оцінка є цілковито добровільним процесом, складовою частиною наукового підходу дорадчої служби до вдосконалення організації своєї внутрішньої роботи.

Оцінка програм  дорадчої служби проводиться, як зазначалось, в неформальній формі, наприклад спеціалісти можуть узагальнювати коментарії, висловлені клієнтами випадково і в неформальній атмосфері щодо процесу організації та користі результатів навчання, або спеціалісти при проведенні зборів просять клієнтів висловити їх побажання та поради стосовно покращення роботи дорадчої служби. Крім наведених неформальних підходів до збору інформації для оцінки І в зв'язку з тим, що адміністратори дорадчої служби вимагають регулярного проведення оцінки, оцінка також проводиться через чітко визначену і науково обґрунтовану процедуру з відповідним оформленням її результатів у вигляді звітів та рекомендацій.

Формальне проведення оцінки також є важливим з тієї точки зору, що громадськість уважно слідкує за освітніми програмами дорадчої служби, фінансує їх через виділення коштів з центрального та місцевих бюджетів, тому цілком закономірним є бажання громадськості та органів влади ознайомитись з отриманими результатами діяльності служби у вигляді письмового звіту.

1.Методологічні основи оцінки

Визначення оцінки. Для оцінки існує таке просте визначення: оцінка - це систематичний та послідовний процес визначення цінності певної особи, продукту або програми. Оцінка корисності програм дорадчої служби є постійним процесом що критично важливих для усіх трьох головних компонентів кожної програми, якими є планування, оформлення та виконання, оцінка. Проміжні оцінки процесу виконання програми часто означають через термін "моніторинг". Оцінка, що здійснюється як етап процесу програмування, повинна давати відповідь на питання "Яку проблему сільської громади програма вирішить?" Моніторинг, що проводиться на проміжному етапі виконання програми повинен дати відповідь на питання “Які заплановані процеси та дії виконуються, що відбувається?". По завершенню виконання програми, під час оформлення оцінки в документальному ії огляді дуже доречним є питання "Чи варто нам спробувати виконувати таку ж програму в майбутньому (або продовжити виконання існуючої)?"

Попередні питання. В процесі процедури проведення оцінки приймається багато різних рішень. Приступаючи до оцінки, перш за все потрібно визначитись стосовно того, що саме буде оцінюватись, тобто визначитись з об'єктом оцінки. Це не таке просте питання, як здається на перший погляд. Дуже важливим першим кроком проведення оцінки є детальний та точний опис того, що буде оцінюватись, і якщо це уже зроблено, тобто детальний опис об'єкту оцінки уже існує, то після цього потрібно дати відповіді на наступні питання.

• Чому це має оцінюватись ?
• Кому потрібно про це знати ?
• Які ресурси часу, людей та коштів потрібні та наявні для проведення оцінки?

• Який метод оцінки найкраще використати в даному випадку ?
• Коли, як, кому і в якому форматі повинні бути подані звіти ?

Компоненти оцінки. Існує багато шляхів проведення оцінки, але усі вони містять два елементи: перший - отримання та накопичення фактів, показників і доказів, другий - порівняння отриманих фактів з певними критеріями (рис. 1)

     Першим компонентом процесу оцінки є збір фактичної інформації стосовно програми, продукту або певної людини. Факти можуть бути в цифровому вигляді або в описовому, їх сукупність є базою даних. Порівняльний аналіз фактів дозволяє зробити висновки щодо їх значення та важливості. Важливо підходити до даного процесу системно, у відповідності до сукупності визначених критеріїв порівняння. Якщо в процесі планування програми завдання були визначені грамотно та чітко, то вони і слугують критеріями для оцінки фактичних даних. Тобто через фактичну інформацію можна зробити висновок, виконані чи ні поставлені завдання. [1.ст.140]

2.Етапи проведення оцінки

Існує п'ять основних етапів або кроків в процесі проведення оцінки. Перші два етапи є плануванням процесу оцінки, останній етап - здійснення оцінки, що є наслідком проведених в процесі оцінки робіт.

Першим етапом в проведенні оцінки є вибір об'єкту оцінки, тобто чітко визначається що саме буде оцінюватись. Об'єктом оцінки є не сама програма, а її змістовне наповнення. Даний етап крім детального опису об'єкту оцінки передбачається також і визначення мети процесу оцінки, встановлюється що буде головним в роботі, -- доведення (підтвердження) чогось чи його вдосконалення. Тобто визначається домінуючий тип певної оцінки-підсумковий чи проміжний. Наступним, другим етапом оцінки є планування стратегії. На даному етапі визначається процедура оцінки,тобто як саме вона буде проведена. Часто зміст оцінки полягає в тому,щоб можна було визначитись з тим,и є зміст в продовженні виконання програми, тобто чи поставлені програмою завдання зберігають своє значення на майбутнє. Після формування плану оцінки переходять до виконання останніх трьох етапів її проведення:

1. Збір фактичних даних;
2. Аналіз бази даних;
3. Звітування результатів.

Тут слід зробити наступне застереження. Іноді трапляється так,що на час проведення оцінки складаються наступні обставини:

• Поставлені перед програмою завдання виявляються невідповідними умовам, що склались;
• Непередбачені раніше завдання стають важливими;
• Ситуація змінилась.

Тому,з метою недопущення помилкових і поспішних кроків, перед початком оцінки корисно перш за все зробити загальний огляд програми і лише після цього приступати до вироблення відповідних критеріїв виміру значення та особливостей програми.

Необхідно також мати на увазі, що залучення представників зацікавлених груп та організацій до усіх видів робіт по проведенню оцінки, де це тільки можливо, є дуже важливим та корисним.

Оцінки, що ґрунтуються на завданнях програми. В процесі планування та проведення оцінки, що базується на завданнях навчальної програми, працівники дорадчої служби використовують ті ж принципи, що використовуються в системі формальної освіти. Більшість засновників дорадчої служби, та науковців, що розглядають систему неформальної освіти через дорадчу службу як науку погоджуються в тому, що оцінка програми повинна базуватись на попередньо визначених завданнях цієї програми.

Значення завдань оцінки. Головним значенням завдань є вироблення процедури проведення робіт в процесі оцінки, другим за важливістю аспектом є використання завдань програми як критеріїв оцінки. Завдання програми також допомагають організувати продуктивне спілкування в процесі обговорення очікуваних результатів оцінки, крім того вони забезпечують схему для оформлення звітів.

Ієрархія Фактичних даних. Фактичні дані можуть мати різну форму та значення. Спільним для них є лише те, що усі вони характеризують результати виконання програми. Тому важливо організувати процес їх збору, опрацювання та використання з використанням системного підходу. Для цього розробляють спеціальні форми документації. [1.ст. 143]

3.Підстави для проведення оцінок.

Підстави для проведення оцінки можна поділити на дві основні групи:

1. Щось довести, підтвердити, виправдати (звітність);
2. Щось вдосконалити.

Очевидно, що більшість оцінок мають подвійне завдання, водночас проведення кожної конкретної оцінки за пріоритетами оцінки можна віднести до першої або до другої групи. Так, наприклад, в процесі проведення оцінок, що мають завданням лише написання звіту, знаходиться інформація, що є корисною для покращення процесу програмування процесу роботи на майбутнє.

Ті оцінки, що головною метою мають забезпечення звітності процесу роботи називають підсумковими. Оцінки, що в головному орієнтовані на покращення організації роботи в майбутньому називають проміжними. Проміжні оцінки забезпечують результат (проведення оцінки), що корисний для вдосконалення програм освітньої діяльності дорадчої служби, тоді як підсумкові оцінки забезпечують такий результат, який важливий з точки зору прийняття рішення щодо продовження або припинення певної програми на майбутнє.

Підстави для проведення підсумкових оцінок:

- збір фактичних даних для написання звітів;

• документування факту досягнення поставлених планових завдань;
• підтвердження (виправдання) понесених витрат;
• оцінити внесок програми та віддачу від неї;
• документування факту використання клієнтами нових методів господарювання;
• підвищення рівня знань партнерів та/або громадськості про програму;
• стимулювання розвитку суспільних відносин дорадчої служби;
• навести докази досягнень програми для таких категорій населення як: виборці, приватні спонсори, представники органів влади, молодь, сім'ї, волонтери та персонал дорадчої служби;
• переконатись, що виправдались найкращі очікування клієнтів;
• визначити економічний ефект від програми для її учасників, для громад та для суспільства в цілому.

Підстави для проведення моніторингу (проміжних оцінок):

- з'ясувати, що працює або що не працює при 
роботі з конкретною аудиторією та в конкретних умовах;

- допомогти підвищити спеціалістам-викладачам дорадчої служби рівень професійної майстерності;

- підвищити рівень ефективності роботи;

- задовольнити особисті побажання. 
Спільні підстави для проведення підсумкових  та проміжних оцінок:

• створити основу для прийняття рішень стосовно початку програм, внесення змін до них та їх припинення;
• обґрунтувати необхідність кадрових змін;
• визначити пріоритети;
• обґрунтувати напрямки виконання програм;
• сформувати погляди;
• розмістити та перерозподілити ресурси. [1.ст.140]

4. Моніторинг 

Проміжні оцінки (моніторинг) проводяться в процесі виконання програми. Викладачі зацікавлені в їх проведенні з метою демонстрації досягнутого прогресу та внесення в процес роботи обґрунтованих змін Такі оцінки проводяться як правило викладачами на неформальній основі. Підсумкові оцінки, відповідно до їх термінологічного означення, проводяться після завершення виконання програми. До проведення таких оцінок залучають зовнішніх по відношенню до дорадчої служби людей, представників певних зацікавлених груп та організацій (клієнти, партнери і т.п.). Проміжна оцінка насправді "є раннім передбаченням результатів підсумкової оцінки" (Скрівен, 1993). Тобто вона проводиться тоді, коли ще є час для покращень та для визначення того, що потрібно змінити. [1, ст..141]

Система моніторингу ефективності повинна забезпечувати коригувальні впливи там і тоді, де і коли вони необхідні. Наприклад, якщо відбувається затримка виконання окремих заходів програми, то необхідні конкретні плани щодо виправлення ситуації. З іншого боку, якщо плани оновлюються занадто часто і без застосування процедур контролю за змінами, контроль над програмою може бути втрачений.

У результаті аналізу зібраних даних керівництво  програмою повинно визначити, чи відповідає поточна ситуація запланованій, а якщо ні, розрахувати розмір ї серйозність наслідків відхилень. Основними показниками для аналізу є час та вартість. Для аналізу тенденцій у вартісних і часових оцінках заходів програми необхідно використовувати спеціальні звіти. Прогноз, наприклад, може показати збільшення вартості заходів. При цьому часто відхилення в часових та вартісних показниках справляють також вплив на зміст майбутніх робіт і якість результатів.

Завершальним  кроком процесу моніторингу є дії, що здійснюються керівництвом та спрямовані на подолання відхилень у процесі виконання програми. Вони можуть бути наділені на виправлення виявлених недоліків і подолання негативних тенденцій у рамках програми. Однак у ряді випадків може знадобитись перегляд плану “що, якщо …” , який забезпечує розрахунок наслідків від запланованих дій.

У рамках функції моніторингу  ефективності програми вирішуються  задачі виміру, прогнозування та оцінки оперативної ситуації, що складається, щодо досягнення результатів, витрат часу, ресурсів і фінансів, аналізу та усунення причин відхилення від затвердженого плану.

Основні методи аналізу  стану робіт, які використовуються у моніторингу ефективності, передбачають збір фактичних даних про досягнуті  результати і оцінку фактичних витрат, обсягу робіт, що залишився, фактичного виконання етапів програми на поточну дату. [2. ст. 137-138]

Процеси контролю програми відбуваються впродовж наступних етапів:

Моніторинг програми, в розумінні контролювання процесу її виконання, є важливим, тому що, часто трапляється так, що освітні заходи не проводяться так, як це було передбачено робочим планом програми. При виконанні програми може також виявитись, що, порівняно з планами, наявних ресурсів, таких як час, кадри та матеріали, недостатньо або вони були втрачені [Вооnе, Е. J.; Реttit. J., аnd Safrit., R.D. ].

Процес  моніторингу виконує такі завдання:

• забезпечуються докази того, що програма виконується;
• визначається, використовуються чи ні для обслуговування цільової аудиторії документація та інформаційні матеріали програми;
• встановлюються труднощі та відхилення від планів, що виникли в процесі виконання програми.

Процес передбачає не лише контроль діяльності викладачів, спеціалістів або оцінку виконання робіт. Дуже важливо розуміти, що крім цього, моніторингу потребують також ті мотиваційні механізми, які стоять за діями персоналу або клієнтів [Мurрnу, J., апd Магchant., Т. J.]. Візити на місця виконання програми з метою проведення моніторингу можуть проводитись окремими особами або відповідними комісіями; останнім часом для таких візитів почали використовувати термінологічне означення "огляд програми".

5.Самомоніторинг.

Моніторинг виконання  програми звичайно проводиться зовнішніми по відношенню до програми адміністраторами та експертами. Досвід свідчить про те, що крім цього дуже ефективним є проведення само моніторингу програми для її оцінки в процесі виконання. Само-моніторинг дає можливість персоналу та іншим людям, залученим до виконання програми, постійно вдосконалювати процес своєї роботи.

Самомоніторинг дозволяє дорадчій службі вдосконалити свою роботу в критично важливій ланці процесу освітньої діяльності - при передачі інформації від викладачів до клієнтів [Dube, М. А., апd Маг-tin, R. А.].

Самомоніторинг програми покращує процес управління програмою з таких причин:

- самоуправління процесу діяльності через самомоніторинг посилюється, що дозволяє активізувати та вдосконалити процес виконання програми;

-особиста  оцінка виконавцями самої програми та процесу її виконання дозволяє їм оперативно здійснити заходи корегуючого характеру;

• покращення процесу самоуправління програми через регулярний її самомоніторинг дозволяє зменшити затрати часу управлінського персоналу по контролю за діяльністю і використати даний час для інших видів діяльності дорадчої служби;
• виконавці програми отримують можливість подивитись на неї з критичної точки зору без пресингу з сторони керівництва, що покращує результати роботи в цілому.

Іноді самомоніторинг виконується як частина системного процесу управління діяльністю дорадчої служби на науковій основі. Дослідження вченого Демінга [Deming, W. Е.] свідчать, що лише 15 % з того, що окрема людина може досягти залежить особисто від неї; 85 % результату виконання програми залежить від організації (установи) в цілому та від впливу зовнішніх факторів. Висновок з цього можна зробити наступний: моніторинг програми повинен більше приділяти уваги організації діяльності дорадчої служби в цілому ніж оцінці якостей окремих працівників. [1.ст. 152]

6.Звітування про результати оцінки.

Оцінка не завершена до того часу, поки отримані результати оцінки не оформлені у вигляді звітів та звіти не подані за призначенням або/та не оприлюднені. Найпоширенішою помилкою звітування є "один звіт для усіх", тобто коли припускається, що копії одного і того ж звіту будуть задовільними для усіх зацікавлених сторін. Наступною помилкою є відволікання з початком написання звіту до того часу, поки усі роботи по проведенню оцінки будуть виконані. Проміжні звіти можуть бути у вигляді телефонних та електронних повідомлень або у вигляді коротких письмових заміток. Особливо у випадку про ведення об'ємних оцінок проміжні звіти забезпечують ситуацію, коли остаточний результат не є великим сюрпризом (приємним чи неприємним).

Певне значення мають також усні звіти у вигляді презентацій. Така форма звітування відіграє допоміжну роль, як додаток до, або форма оприлюднення документального звіту. На різних етапах виконаннях програми усні звіти в формі презентацій відповідним комітетам та Радам можуть надаватись волонтерами або членами молодіжних клубів Ці презентації можуть мати формальний або неформальний характер, з графіками та діаграмами або без них.

Зміст звіту  про проведену оцінку звичайно містить опис об'єкту оцінки, методологію, узагальнення того, що було встановлено в процесі оцінки рекомендації для подальших дій. Вищенаведений приклад структури письмового звіту дає також загальне уявлення про його змістовне наповнення . 

Оцінка крім позитивних, може мати також такі наслідки як суперечки, тривоги або формуй настрої байдужості. Результати оцінки за своїм змістом звичайно мають політичний внутрішній зміст [Patton, М. Q. ] Те, якою є реакція на звіт про оцінку, може мати своїми наслідками наступне: конкуренцію змагання, заздрощі, боротьбу за фінансування, | боротьбу за владу та пресинг зовнішніх сил. Навіть в тому випадку, коли результат оцінки є таким, яким його усі очікували, тобто немає підстав для конфліктних ситуацій, добре планування та виконання оцінки може зменшити можливість наведеної негативної реакції на результати оцінки при будь-яких обставинах [Sawer, В. J.]. [1.ст. 153]

В И С Н О В К И

З допомогою оцінки визначають значення або цінність чогось або когось. Оцінка може бути використана для підтвердження цінності програми (через підсумкову оцінку) або вона може бути засобом покращення програми (проміжна оцінка). Оцінка є постійним процесом, який має місце на протязі усього періоду існування програми Оцінка може проводитись в таких формах як вивчення потреб та проблем, моніторинг діяльності та вимір змін, що стались як результат впливу програми.

Формула оцінки наступна: фактичні дані + аналіз = оцінка. Для аналізу та наступного формулювання висновків використовуються критерії, що відображають позитивне значення програми, таю як: продуктивність, ефективність, відповідність програми очікуванням клієнтів, її якість та користь.

Як методологічну  основу для виміру окремих рівнів внеску програми в дорадчій службі використовують ієрархію завдань програми. Факти (докази), що використовуються при проведенні конкретної оцінки можуть бути якісними (описовими) або кількісними (цифри), або їх поєднанням.

Етапи (кроки) проведення оцінки наступні.

1. Концентрація уваги на об'єкті оцінки.
2. Планування стратегії проведення оцінки.
3. Збір фактичної інформації (доказів впливу програми). 
4. Аналіз та інтерпретація фактичної інформації.

5.Звітування про результати оцінки. 
       Персонал, відповідальний за проведення оцінки, повинен грамотно управляти наведеними етапами проведення оцінки та бути впевненими в тому, що усі зацікавлені сторони залучені до процесу оцінки. Багато різних стратегій може використовуватись для збору фактичних даних для їх аналізу та для формулювання висновків Серед цих стратегій групова робота формального характеру, цільові групи (фокусування групи)та анкетування. Вибір конкретної стратегії при оцінці конкретної програми залежить від мети оцінки, особливостей та внутрішнього змісту програми.

Міністерство аграрної політики

Вінницький державний  аграрний університет

Факультет                                                                                 Кафедра 

Менеджменту                                                                        Організація агробізнесу

Р Е Ф Е Р А  Т

з дисципліни «Дорадництво»

на тему :

«Моніторинг та оцінка виконання  програм розвитку сільської місцевості»

                                                                       Перевірив : старший викладач

Довгань Юрій Васильович 

м. Вінниця, 2008р.