Комплексная оценка уровня качества

Содержание

1 О комплексной оценке уровня качества бюджетных услуг

2 Оценка субъективной компоненты качества бюджетных услуг, предоставляемых в сфере высшего профессионального образования РБ в 2006 г., доля ед.

3 Оценка объективной компоненты  качества бюджетных услуг вузов  в РБ в 2000-2006 гг., доля ед.

4 Исходные показатели, характеризующие  ресурсную, процессную и результатирующую составляющие качества услуг, предоставляемых вузами

5 Относительные значения субъективных  и объективных показателей качества

6 Матрица двумерной свертки  в комплексный показатель оценок  составляющих качества услуг,  предоставляемых в сфере высшего  профессионального образования  РБ

7 Комплексная оценка уровня  качества услуг, предоставляемых  в сфере высшего профессионального  образования в РБ в 2006 г.

8 Оценка уровня качества услуг,  предоставленных высшими учебными  заведениями в РБ за период 2000-2006 гг., доля ед.

О комплексной  оценке уровня качества бюджетных услуг

Исчерпание возможностей экономического роста за счет экстенсивных факторов производства предопределяет необходимость  дальнейшего развития на основе повышения  эффективности их использования. При  этом экономический рост рассматривается  не как самоцель, а как средство повышения качества жизни населения. Важным элементом эффективного воспроизводства  человеческого капитала -одного из ключевых ресурсов экономического развития - должно стать обеспечение населения бюджетными услугами, не только в адекватном социально-ориентированной экономике объеме, но и соответствующего качества. Для осуществления государством активной социальной политики по предоставлению населению социально-значимых общественных благ (услуг в сфере здравоохранения, образования, культуры и искусства и др.) важное значение имеет достоверная оценка их качества. Эта оценка, по нашему мнению, должна иметь комплексный характер, т. е. базироваться на совместном учете объективных (количественных с позиции производителя) и субъективных (качественных с позиции потребителей) характеристик.

Анализ существующего методического  обеспечения показал, что несмотря на актуальность решения задачи повышения качества и доступности бюджетных услуг, продекларированной в рамках проводимых в России реформ (административной, государственного управления, региональных финансов), до сих пор не разработана единая методика их комплексной оценки. Так, в одних методиках оценивается качество ресурсного обеспечения бюджетных услуг (например, «Требования к оснащению образовательного процесса в соответствии с содержательным наполнением учебных предметов» Федерального агентства по образованию Минобрнауки России). Другие регламентируют оценку качества процесса предоставления услуг, т.е. эффективность работы субъектов-распорядителей бюджетных средств («О комплексной оценке деятельности образовательного учреждения дополнительного профессионального образования» Минобрнауки; «О порядке оценки потребности и соответствия качества фактически предоставляемых бюджетных услуг стандартам качества бюджетных услуг» Республики Хакасия; «Об оценке эффективности расходов, осуществляемых за счет средств бюджета Республики Карелия» и др.). Третьи содержат оценку результативности бюджетных услуг («О бюджетных услугах, стандартах результативности предоставления бюджетных услуг, методах их использования для планирования, исполнения и оценки эффективности деятельности субъектов бюджетного планирования» Ленинградской области; «Методические рекомендации по проведению оценки потребности и качества предоставляемых бюджетных услуг» Республики Хакасия и др.).

Вышеуказанные методики помимо достоинств (например, по формированию системы  показателей оценки качества на основе принципов сбалансированной системы  показателей, по выделению главных  и промежуточных целевых показателей  и т. д.), имеют общий недостаток - отсутствие алгоритма расчета показателя качества услуг, представляющего собой  комплексную оценку всех его составляющих.

Систематизация существующих теоретических  и методических подходов в этой области позволила построить их классификацию. Отличием данной классификации от существующих является использование в качестве критерия комплексной оценки составляющих (трехмерной) системы качества - качества ресурсов, качества процесса и качества результата бюджетных услуг.

Цель предпринятого исследования состоит в разработке инструментария, позволяющего наряду с объективными (количественными) характеристиками качества учитывать его субъективную компоненту. Достижение этой цели обеспечивается посредством применения трех подходов - экспертного, оценивающего качество рассматриваемых услуг с позиций  субъективных представлений потребителя; формального, базирующегося на использовании  стандартных методов оценки; комбинационного, объединяющего оценки, полученные в  рамках двух упомянутых подходов.

Комплексность и логическая увязка характеристик бюджетных услуг  в экспертном подходе достигаются  путем группировки показателей  по этапам предоставления услуги: от получения  информации о ней до ее потребления. Оценка субъективной компоненты качества услуг, согласно предложенной модели, основана на анкетном опросе потребителей. Предложенные в анкетах вопросы  определяют свойства услуг (по каждой составляющей качества) на каждом этапе  их предоставления и оцениваются  респондентами по пятибалльной системе с обеспечением возможности группировки вариантов ответов по составляющим качества: ресурсной, процессной и результирующей.

Схема поэтапной оценки качества услуг  с последующей аддитивной сверткой полученных значений в интегральный показатель показана на рис. 1. Аналогичным  образом определяется оценка качества услуг по формирующим ее составляющим: качеству ресурсов, процесса и результата.

Для учета объективной компоненты качества в рамках реализации формального  подхода на основе данных статистической отчетности выполняется оценка качества составляющих бюджетных услуг. При  этом качество ресурсной составляющей оценивается с помощью многофакторного  корреляционно-регрессионного анализа  соответствующих показателей. Качество процессной составляющей оценивается  на основе расчета темпов изменения  показателя, принятого за результирующий при построении регрессионной модели. Оценка качества составляющей результата основана на выборе и расчете логически наиболее подходящего статистического показателя, отражающего целевую направленность предоставления различных видов бюджетных услуг.

Модель оценки качества бюджетных  услуг, реализующая комбинационный подход, обеспечивает получение комплексной  оценки путем совместного учета  результатов экспертного и формального  подходов посредством решения многокритериальной задачи и использования аппарата теории нечетких множеств.

Апробация разработанного инструментария осуществлена на примере оценки качества услуг, предоставляемых государством в сфере высшего профессионального  образования Республики Башкортостан (РБ).

В рамках реализации экспертного подхода  для выявления степени обеспечения  потребителей образовательными услугами предложена анкета из 30-ти вопросов, сгруппированных  по этапам предоставления, а также  по составляющим качества бюджетных  услуг. Участниками опроса, проведенного в 2006 г., стали 180 студентов ведущих  вузов республики, что обеспечило представительность выборки (0,2% общей  численности студентов вузов  региона).

Рис. 1. Схема расчета интегрального показателя качества бюджетных услуг на основе экспертного подхода

Показатели расчета обобщающих поэтапных и интегральных оценок субъективной компоненты качества услуг  высшего образования приведены  в табл. 1.

Таблица 1

Оценка субъективной компоненты качества бюджетных услуг, предоставляемых  в сфере высшего профессионального  образования РБ в 2006 г., доля ед.

Примечание. УГАТУ — Уфимский государственный  авиационный технический университет; УГНТУ — Уфимский государственный  нефтяной технический университет; БГУ — Башкирский государственный  университет; Уфимская государственная  академия искусств им. Загира Исмагилова.

При применении экспертного метода полученная оценка качества услуги интерпретируется с использованием значений интервалов качества, или подмножеств состояний.

Согласно указанной интерпретации  интегральный показатель качества услуг  высшего образования Башкортостана, приведенный в табл. 1 (0,42), соответствует  среднему уровню качества. Наиболее высокое  значение субъективной компоненты (0,51) зафиксировано на 4-ом этапе предоставления услуг, а самое низкое (0,35) -на третьем.

Оценка субъективной компоненты составляющих качества бюджетных услуг, предоставленных  в сфере высшего профессионального  образования РБ в 2006 г., позволила  получить следующие результаты

Качество ресурсов - 0,25

Качество процесса - 0,52

Качество результата - 0,49

Интегральный показатель качества - 0,42

По данным проведенного в 2006 г. опроса, потребители услуг высшего образования  в Башкортостане более всего  не удовлетворены состоянием материально-технической  базы высших учебных заведений (65% респондентов). Это связано, прежде всего, с низкой обеспеченностью учреждений техническими средствами (в частности, компьютерной техникой), что не позволяет в  полной мере усвоить излагаемый на занятиях материал (80% опрошенных), а  также использовать новые технологии преподавания. На тот факт, что при  достаточной кадровой обеспеченности профессионализм преподавателей нельзя оценить на «отлично», указали 75% студентов  высших учебных заведений. Основные факторы, которые вызывают недовольство -неспособность заинтересовать обучающихся (65%), недостаточная ясность изложения преподаваемых дисциплин (47%), загруженность студентов изучением непрофильных предметов (39%), отсутствие современных методов проведения занятий (35%).

Поэлементная оценка объективной  компоненты качества бюджетных услуг  с позиций формального подхода  была осуществлена на основе статистических данных, характеризующих деятельность учреждений высшего образования  РБ за период 2000-2006 гг.

Для оценки качества ресурсной базы высших учебных заведений РБ на основе корреляционного анализа была построена  система из 12-ти (см. табл. 3) показателей, объективно характеризующих обеспеченность вузов кадрами, материальными и  финансовыми ресурсами. В качестве результирующего показателя (Y), выражающего  меру полезности услуг образования, способных удовлетворить установленные (или предполагаемые) потребности  пользователя принят показатель «количество  человек с высшим образованием в  общей численности населения».

В результате вычислительных процедур была сформирована эконометрическая модель:

Y = 6,58 + 0,07x₇ + 0,00032x₁₂. (1)

О достоверности полученной модели позволяют судить значения коэффициента множественной корреляции R=0,98, коэффициента Фишера F=32,2 и стандартизованного значения остатков D_ост=0,29.

По результатам моделирования  можно сделать вывод о преобладающем  влиянии фактора обеспеченности учебных заведений техническими средствами (персональными компьютерами) на значение результирующего показателя. Данный вывод подтверждают и материалы  анкетного опроса учащихся.

Качество процесса услуг в сфере  высшего образования РБ, оценивалось  по соотношению численности выпущенных специалистов и поступивших абитуриентов при допущении об отсутствии значительных изменений числа студентов. Интегральный показатель качества бюджетных услуг  в сфере высшего образования  рассчитывался как среднее арифметическое составляющих качества.

Результаты оценки качества ресурсной  базы, рассчитанные на основе сформированной модели за период 2000-2006 гг., а также  оценки качества процессной и результирующей составляющих приведены в табл. 2.

Таблица 2

Оценка объективной компоненты качества бюджетных услуг вузов  в РБ в 2000-2006 гг., доля ед.

Результаты расчетов указывают  на повышательную динамику ресурсной  и результирующей составляющих качества при четко выраженной понижательной  динамике процессной составляющей предоставления услуг. Среди основных причин отмеченных тенденций, выявленных по материалам опроса обучающихся, можно выделить отсутствие современных методов изложения  дисциплин, а также высокую загруженность  студентов непрофильными предметами.

Расчет комплексного показателя качества бюджетных услуг высшего образования, обеспечивающего совместный учет субъективной и объективной компонент качества, осуществляется в рамках комбинационного  подхода. Аддитивная свертка полученных в рамках формального и экспертного  подходов оценок качества в комплексную  оценку качества с учетом ранее проведенных  исследований [1] выполняется путем  решения многокритериальной задачи с использованием аппарата теории нечетких множеств.

На первом этапе расчета комплексной  оценки качества услуг формируется  система субъективных и объективных  показателей {x_i, i=1, 31}, структурированных по составляющим качества (ресурсов, процесса и результата) (табл. 3).

Количественные значения субъективных и объективных показателей, полученные на основе применения первых двух подходов - экспертного и формального, были преобразованы в относительные  показатели, градуированные по шкале  от 0 до 1. Преобразование субъективных оценок осуществлялось на основе использования  методики расчета интегрального  показателя качества, предложенной при  реализации экспертного подхода, объективных  оценок - путем использования стандартной  процедуры нормирования.

Таблица 3

Исходные показатели, характеризующие  ресурсную, процессную и результатирующую составляющие качества услуг, предоставляемых вузами

В процессе расчетов получены следующие  относительные значения субъективных и объективных показателей качества (табл. 4).

На втором этапе в множестве комплексного качества бюджетных услуг выделяются подмножества е (j= 1,4) характеризующие различные состояния качества бюджетньгх услуг: е¹ - нечеткое подмножество состояний «низкое качество»; е² - нечеткое подмножество состояний «среднее качество»; е³ - нечеткое подмножество состояний «высокое качество»; е⁴ - нечеткое подмножество состояний «очень высокое качество».

Таблица 4

Относительные значения субъективных и объективных показателей качества

На третьем этапе  каждому показателю x_i, i = 1, 31 подобраны соответствующие функции μ^j_i (x_i), i = 1,31, j = 1, 4, отражающие степень принадлежности показателя x_i, i = 1, 31 подмножеству e^j , j = 1, 4 и принимающие значения от 0 до 1 (далее -01-классификатор).

Авторами использована функция  принадлежности трапециевидной формы, четырехуровневый характер которой  определяется выделением в нечетком множестве четырех подмножеств (рис. 2).

Использование трапециевидной функции  принадлежности для целей комплексной  оценки качества бюджетных услуг  обусловлено тем, что она позволяет  задавать интервалы («ядра нечеткого  подмножества»), однозначно характеризующие  принадлежность рассматриваемых показателей  введенным нечетким подмножествам  e^j (j=1,4). В этих ядрах значение функции принадлежности показателя x_i к одному конкретному подмножеству e^j равно 1, а ко всем остальным подмножествам - 0. В нашем случае ядрами нечетких подмножеств являются интервалы (0,0; 0,1), (0,3; 0,4), (0,6; 0,7), (0,9; 1,0).

Подобные шкалы удовлетворяют  условиям: во-первых, взаимной компенсации  некоторых полярных свойств (чем  в большей степени проявляется  положительное, тем в меньшей  степени проявляется отрицательное  свойство, и наоборот); во-вторых, наличия  нейтральной точки, интерпретируемой как точка наибольшего противоречия, в которой оба свойства присутствуют в равной степени [2].

На четвертом этапе для проекции интерпретации интегральных показателей  качества бюджетных услуг на 01-классификатор  находим середины введенных ядер нечетких подмножеств e^j — узловые точки β^j: β¹=0,05, β²=0,35, β³=0,65, β⁴=0,95.

На пятом этапе посредством  упорядочения вычисленных на основе данных анкетного опроса коэффициентов  а_i, формируется двухуровневая система показателей {х_і, i = 1, 31 } (табл. 5). При этом первый уровень представляет собой группировку качества образовательных услуг по трем составляющим - ресурсов, процесса и результата, а второй - ранжирование показателей внутри каждой составляющей по убыванию коэффициентов а_i.