Показатели и индикаторы в оценке и качестве знаний

    СОДЕРЖАНИЕ

    Введение

    Индикаторы  и показатели играют все более  важную роль не только в качестве инструмента  анализа образовательных систем, но и как эффективное средство управления образованием на всех уровнях. В последнее время слова «индикаторы» и «показатели» применительно к управлению образованием стали одними из наиболее часто употребляемых. Без них не обходятся ни одна программа, стратегия, проект.

    Актуальность темы работы. Концепция модернизации российского образования и последние правительственные документы по вопросам образования предусматривают ряд приоритетных мер по обеспечению качества образования и созданию системы оценки качества образования, в том числе - определение комплекса критериев, процедур и технологий оценки знаний как неотъемлемых инструментов управления качеством образования. Современная педагогическая наука и практика поставлены перед необходимостью перехода от традиционных способов сбора сведений о школе - к педагогическому оцениванию качества знаний, под которым мы понимаем целенаправленное, специально организованное, непрерывное слежение за функционированием и развитием образовательного процесса и/или его отдельных элементов в целях своевременного принятия адекватных управленческих решений на основе анализа собранной информации и педагогического прогноза.

    Первые  шаги в решении этой проблемы уже  сделаны: совершенствуются государственные  образовательные стандарты как  общественно необходимый норматив, разрабатываются критерии и показатели качества разного уровня образования, накапливается эмпирический опыт организации  педагогического мониторинга в  образовательных учреждениях и  т.д.

    Вскрытые  факты свидетельствуют, прежде всего, о недостаточной научной проработанности  самого понятия "качество образования" и о необходимости его более  детального педагогического осмысления. Обострившиеся вследствие этого  противоречия - между социальной потребностью в обеспечении нового качества образования и недостаточно ясной его педагогической интерпретацией, между необходимостью постоянно отслеживать реализацию социального заказа на качественное образование и неразработанностью критериев и механизмов адекватной его оценки - позволили сформулировать проблему теоретического обоснования сущности качества школьного образования и его мониторинга как механизма, обеспечивающего эффективное управление системой образования.

    Отмеченные  обстоятельства определили выбор темы работы: «Показатели и индикаторы в системе оценки качества образования (на примере основного и общего среднего образования в России».

    Объект  исследования: управление учебно-воспитательным процессом.

    Предмет исследования: сущность, принципы, функции, критерии и способы оценки качества образования.

    Цель работы: теоретически обосновать и проверить на примере основного и общего среднего образования эффективность показателей и индикаторов для отслеживания качества образования в школе.

    Исходя из цели работы, рассмотрим следующие задачи:

    - сфера применения показателей и индикаторов в управлении образованием;

    - учебные достижения как измеряемый показатель качества в образовании

    - структура системы показателей  и индикаторов;

    - методика анализа показателей

    1 Теоретико-методологические основы организации оценки качества в системе основного и общего среднего образования

    1.1 Сфера применения показателей и индикаторов в управлении образованием

    Оценка  качества образования по выделенным критериям и показателям, как и любая оценка, осуществляется на основе сравнения оцениваемого параметра с определенным эталоном (нормативом). И хотя в педагогике проблема разработки норм находится в самом начале ее разрешения, роль нормативов в оценке качества образования могут выполнять примерные государственные образовательные стандарты, возрастные нормы психического и физического развития школьников, требования СанПиН,ов и др. Мониторинговая информация, ввиду отсутствия строгих норм по большинству показателей, может быть интерпретирована, кроме того, с учетом вскрытых тенденций формирования и развития личности школьников, степени реализации их образовательных возможностей и потребностей и т.д.

    Глубокие  исследования проблемы показателей и индикаторов оценки знаний учащихся, предпосылки становления которого формировались с начала ХХ столетия, появились в отечественной педагогике в 90-х годах (В.И.Андреев, В.П.Беспалько, В.А.Кальней, А.Н.Майоров, С.Е.Шишов и др.). Они выстраивались на теоретической базе управления образованием, разработанной Ю.В.Васильевым, Ю.А.Конаржевским, В.С.Лазаревым, А.М.Моисеевым, А.А.Орловым, В.П.Симоновым, П.И.Третьяковым, Т.И.Шамовой и др. В трудах этих ученых определены и раскрыты принципы и функции управления, содержание управленческой деятельности, создавшие основу для разработки системы мониторинга оценки качества образования. В последние несколько лет ученые активно исследуют вопросы, связанные непосредственно с качеством образования, разрабатывают технологии и механизмы управления им (С.Г.Воровщиков, С.А.Гильманов, В.И.Загвязинский, В.П.Панасюк, М.М.Поташник, Д.В.Татьянченко, Е.А.Ямбург и др.), в том числе на основе мониторинга (Д.Ш.Матрос, Д.М.Полев и Н.Н.Мельникова, Н.А.Кулемин и др.). Продуктивные модели мониторинга предложены А.С.Белкиным и Н.К.Жуковой, Т.А.Строковой, Е.И.Терзиогло, Л.В.Туркиной, В.И.Грибановым, В.К.Муратовой, Л.Д.Назаровой и др.

    Анализ  научной литературы позволяет вместе с тем заключить, что в существующих подходах качество образования оценивается  преимущественно по результатам, в  которых главное место отводится  их когнитивным аспектам; не всегда принимаются во внимание состояние  школьных условий, содержание и организация  образовательного процесса, в которых  эти результаты были получены. Практика оценки деятельности большинства школ до сих пор строится на формальных критериях, которые задаются устаревшей традиционной схемой статистической отчетности.

    Собранная на ее основе информация оказывается  преимущественно количественной, усеченной  и недостаточной для объективного анализа и оценки состояния качества образования в школах. Она не обладает необходимой прогностической силой, и поэтому на ее основе невозможно принятие адекватных управленческих решений  относительно обеспечения качественного  образования.

Индикаторы позволяют  решать три группы задач управления:

• анализ ситуации и оценка тенденций;
• оценка деятельности систем и структур;
• планирование и контроль, т.е. задание ориентиров и направлений движения и мониторинг их достижения.

  Выше  упоминалось еще одно направление  использования показателей — создание предметной основы для общественного обсуждения. Это направление здесь не рассматривается, поскольку оно, с одной стороны, методологически производно от перечисленных, а с другой — в силу своей специфики заслуживает отдельного обсуждения.

  В первом случае речь идет о количественном анализе для обеспечения принятия решений [3]. К этой группе аналитических документов относятся доклады о развитии образования в России, системы показателей для подготовки публичных докладов [1], для управления качеством образования [6]. Ключевыми условиями успеха здесь становятся выбор индикаторов, методы анализа и интерпретация результатов. Практика, как региональная, так и федеральная, говорит о том, что здесь мы находимся только в начале пути: от использования количественных показателей для «украшения» отчетных докладов к их применению в подготовке управленческих решений.

  Оценка  деятельности систем и структур —  другое важное направление использования индикаторов. Здесь можно привести довольно много примеров, начиная с Перечня показателей для оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации, введенного Указом Президента от 28 июня 2007 г. № 825 и заканчивая различными системами оценки муниципальных образовательных систем, используемыми в регионах [7]. Основная проблема здесь, помимо выбора показателей для оценки, — методика сравнения. В подавляющем большинстве случаев подобная оценка по необходимости приобретает форму рейтинга. Риски, связанные с неудачным выбором показателей, ошибочными методиками расчета или сравнения, особенно обостряются, поскольку результаты рейтингования, как правило, выражаются в раздаче наград и наказаний. Оценка в форме рейтинга наглядна и понятна, и рейтинги образовательных систем и учебных заведений приобретают все большее распространение. Рейтинги делают все кому не лень, часто «на заказ», и вместо профессионального обсуждения и попытки решения серьезнейших методических проблем расчета рейтингов мы имеем много не заслуживающих доверия, часто весьма экзотических рейтингов, на основе которых неискушенный потребитель — будь то органы управления образованием или родители — пытается принимать решения с вполне предсказуемыми последствиями.

л

    Последнее из перечисленных направлений использования  индикаторов в управлении образованием — планирование и контроль реализации проектов и программ. Как уже отмечалось выше, сегодня индикаторы стали неотъемлемой частью программ, стратегий, проектов, бюджетных докладов. В настоящей статье мы остановимся именно на этих показателях, поскольку, как представляется, они в наибольшей мере высвечивают общие проблемы использования индикаторов в управлении образованием.

1.2 Учебные достижения как измеряемый показатель качества в образовании

Для того чтобы  система контроля эффективно воздействовала на образовательный процесс, необходимо выявление роли контроля в обучении и развитии личности. Поэтому понимание  того, что мы измеряем и оцениваем, как анализируем и интерпретируем результаты педагогических измерений, является одним из важных аспектов совершенствования образовательной  системы, управления ее качеством и  развитием контрольно–оценочного  процесса.

Среди большого числа показателей качества образовательной  системы основным по–прежнему является подготовленность обучающихся, а комплексным  показателем их подготовленности в  теории педагогических измерений признаются учебные достижения в той или  иной предметной области. Однако появившиеся  в связи с развитием тестирования термины «подготовленность», «учебные достижения», «уровень учебных достижении»  и «качество учебных достижений»  иногда используются как синонимы, что вводит в заблуждение многочисленных пользователей статистической образовательной  информации. Отсутствие единого подхода  значительно затрудняет понимание  того, что мы измеряем, а также  делает неоднозначной интерпретацию  характеристик личности и результатов  учебного труда.

Структура учебных  достижений достаточно сложна. К учебным  достижениям относятся в первую очередь знания, умения, навыки и  общеучебные компетенции испытуемых. В какой–то степени по количественным оценкам учебных достижений (тестовым баллам) опосредованно можно судить и о степени личностного развития обучающихся (полнота и глубина  знаний, конкретность и обобщенность ответов, гибкость мышления, системность  и систематичность учебной работы, формирование общеучебных компетенций, опыт практической и творческой деятельности, адекватность и осознанность обучения, упорство, собранность, целеустремленность, усидчивость, целеполагание, мотивация, ценностно–смысловое отношение к обучению и контролю).

Комплекс необходимых  показателей обеспечивает целостное, качественное и количественное представление  о состоянии объекта исследований и динамике его изменений. При  всем многообразии показателей качества современного образования наиболее значимыми по–прежнему остаются качество усвоенных знаний, развитие определенных навыков и приобретение требуемых умений на каждой стадии обучения, т.е. когнитивно–практический  компонент образования. Именно поэтому  квалитати–визация оценивания качеств  личности идет в первую очередь по когнитивной составляющей – уровню учебных достижений как объекту  педагогических измерений. Подготовленность является интегральной характеристикой  состояния обучающегося (латентным  параметром) на момент контроля. Количественной мерой подготовленности по когнитивной  составляющей образования является уровень учебных достижений (измеряемый параметр) в данной предметной области, получаемый путем педагогических измерений, шкалирования (того или иного преобразования количества правильно выполненных  заданий теста) и выставления  определенного количества баллов.

Уровень учебных  достижений по совокупности учебных  дисциплин определяет степень развития обучающегося как интегрированного показателя, в котором отображена концентрация достижений всех этапов и составляющих учебного процесса, в сложной форме суммированы  качества учебной деятельности всех его субъектов и качества самой  образовательной системы. А так  как в объективной педагогической оценке отражаются не только уровень  учебных достижений и степень  развития обучающегося, но и уровень  профессионализма педагога, надежность методов и технологий обучения, интегральные показатели независимого контроля позволяют  делать в ы воды о качестве образовательного процесса и образовательных систем, осуществлять прогнозирование их дальнейшего  развития, создания новых средств  и методов управления качеством  образования.

 К таким  факторам  можно отнести образовательную  политику в стране (стандарты,  программы, учебники и др.); условия  образовательного процесса (профессиональная  компетентность, педагогическая культура  и психологические установки  педагогов); опыт учебной деятельности  и общепредметную подготовленность  учащегося на момент контроля; степень сформированности общеучебных  компетенций; навыки самообразования,  самоконтроля, самоидентификации и  умение мобилизоваться на достижение  максимально возможного результата.

Нельзя не учитывать  и такие факторы, как социально–педагогические условия развития личности и влияние  семьи, уровень физического и  психического здоровья, психологическое  состояние обучающегося на момент контроля, состояние тревожности; личностные и педагогические установки на достижение результата при тестировании, ценностно–мотивационное  отношение к обучению и приобретению профессии; стремление быть конкурентоспособным  на рынке труда и др. Важными  являются качество тестовых материалов, точность и надежность педагогических измерителей, используемых технологий, организация и условия контрольно–оценочного  процесса; методы шкалирования и оценивания; свойства генеральной выборки испытуемых и др.

Некоторые из указанных  выше факторов оказывают одинаковое влияние на результат всех участников тестирования (образовательная политика в стране, стандарты, содержание и  качество контрольного измерительного материала (КИМ) и др.), а часть  из них носят случайный характер и оказывают разное воздействие  на индивидуальный результат испытуемых. Влияние случайных факторов сказывается  на результате малых выборок. Однако при рандомизации и статистически  достаточном числе испытуемых влияние  случайных факторов на общий результат  выборки (генеральную выборку) исключается.

Отметим, что  потребность в достижениях является одной из наиболее значимых в структуре  ценностных ориентаций обучающихся, что  в первую очередь связано с  особенностями социально–психологического развития личности и возможностью реализовать  себя в различных сферах деятельности. 

2 Анализ показателей  и индикаторов программ и проектов

2.1. Структура системы  показателей и индикаторов 

Индикаторы, используемые для контроля и управления каким-либо процессом, будь то развитие национальной системы образования  или оптимизация сети учебных  заведений в рамках муниципалитета, можно разделить на три группы. Это индикаторы, характеризующие:

• затраты (input), т.е. фиксирующие сам факт некоторых управленческих действий (сюда же можно отнести и издание приказов, принятие законов и т.п.);
• непосредственные результаты этих управленческих действий (output);
• эффекты от этих действий (outcomes).

При реализации мало- мальски крупных модернизационных проектов в сфере образования эффект носит отложенный характер и проявляется только через несколько лет. Причем лаг во времени между затратами и проявлением эффекта может превышать горизонт планирования. Образование — открытая система, и к тому времени, когда эффект должен будет проявиться, на него может оказать воздействие ряд внешних факторов, причем неясно, в какую сторону. Пользуясь нашим примером с предшкольным образованием, можно предположить, что в условиях снижения численности населения школьных возрастов администрация учебных заведений, чтобы сохранить уровень финансирования, будет стремиться увеличить число учеников, в том числе и с помощью повторного обучения.

• Более того, при реализации масштабных модернизационных задач показатели системы в краткосрочной перспективе, как правило, ухудшаются. Это не особенность образования. Любые технологические нововведения сопровождаются краткосрочным ухудшением показателей, будь то производительность труда или рентабельность.
• Отсюда возникает первый риск: управление на основе индикаторов стимулирует отказ от реальных масштабных модернизационных проектов в пользу частных улучшений, поскольку эффект от последних проявляется быстро и по нему можно легко отчитаться.
• Выход из этой ситуации состоит в преимущественном использовании показателей непосредственного результата. Понятно, что с этим связан второй риск: показатели непосредственного результата не могут дать ответ на вопрос, правильный ли путь решения задачи нами выбран.

Еще одна проблема, связанная с масштабными проектами  в образовании, — несовпадение задач, которые должны быть решены, с разделением полномочий по уровням управления и бюджетной системы. Так, например, Министерство образования и науки, формируя бюджетный доклад, вполне обоснованно ставит задачу выравнивания стартовых возможностей для детей в рамках достижения цели повышения доступности качественного образования. В качестве показателя предложен «охват детей дошкольными образовательными учреждениями (удельный вес детей, посещающих дошкольные образовательные учреждения, в численности детей в возрасте 1-6 лет, скорректированной на численность детей в возрасте 6 лет, обучающихся в школе)» [4]. Однако формально министерство никак не может отвечать за этот показатель, по скольку финансирование дошкольного образования, в том числе и строительство новых учреждений, не относится к сфере полномочий федерального уровня. Министерство может утверждать программы, давать рекомендации, но реальными рычагами воздействия на региональные и муниципальные власти в этой части не располагает. И здесь возникает третий риск, пока гипотетический, но который после подведения итогов выполнения обязательств, принятых в бюджетном докладе (с соответствующими оргвыводами), может стать вполне реальным: органы управления образованием всех уровней будут ставить только те задачи, которые они могут выполнить в силу своих полномочий. Пользуясь нашим примером с предшкольным образованием, это будет означать, что если министерство не разработает и не утвердит учебные программы и другие составляющие нормативной базы, то регионы систему внедрить не смогут, даже если это было запланировано. А если регионы, в свою очередь, не найдут средств и не поставят задачу, например, переподготовки кадров, то разработанные министерством программы останутся бумагой. Комплексные задачи, требующие участия нескольких уровней, в отсутствие надежной системы вертикальной координации программ просто не будут ставиться, отчетные показатели, скорее всего, не будут достигнуты.

  То  есть опять возникает проблема невыгодности для всех органов управления постановки масштабных модернизационных задач в условиях индикативного управления.

  Основные  системы индикаторов программ и  проектов используют в основном показатели первой и второй группы, т.е. показатели затрат и непосредственных результатов. Это достаточно наглядно иллюстрирует таблице 2.1.

Таблица 2.1- Группировка показателей  Комплексного проекта  модернизации

региональных  систем образования  по типам

   Нетрудно  заметить, что все индикаторы, разработанные  для оценки реализации национального  проекта комплексной модернизации региональных систем образования, относятся к первой и второй группе, т.е. позволяют оценить наличие деятельности или затраты ресурсов, а также наличие изменений в самой системе образования (непосредственные результаты). Провести оценку достижения конечных целей национального проекта, понять, что

дали затраты  ресурсов для повышения качества, доступности и эффективности  образования, на основе предложенного  набора показателей не представляется возможным.

  Здесь будет уместно привести выдержку из Методических рекомендаций по подготовке докладов о результатах и основных направлениях деятельности субъектов бюджетного планирования на 2006-2008 г., согласованных Министерством финансов и Министерством экономического развития и торговли [5]:

  «При  разработке системы показателей (индикаторов) следует руководствоваться принципами:

  ...использования  показателей конечных общественно значимых результатов, характеризующих удовлетворение потребностей внешних потребителей за счет оказания им субъектом бюджетного планирования и подведомственными ему распорядителями и получателями бюджетных средств государственных услуг (далее — показатели конечных результатов). Использование показателей непосредственных результатов деятельности, характеризующих объем и качество государственных услуг, оказанных субъектом бюджетного планирования и подведомственными ему распорядителями и получателями бюджетных средств внешним потребителям, допускается только при обосновании невозможности применения показателей конечных результатов».

  Проблема, конечно, не в неадекватности конкретного  набора индикаторов. В начале реализации масштабных модернизацион- ных проектов, как отмечалось выше, произведенные  действия и затраты не могут проявиться в конечных эффектах. Но выход не в том, чтобы ограничиваться показателями затрат и непосредственных результатов, а в том, чтобы формировать динамичную систему показателей, меняющуюся по мере реализации проекта. В этом случае система индикаторов формируется под конкретные задачи программы и изменяется по мере ее реализации:

• на начальном этапе она включает показатели, отражающие наличие действий, затраты ресурсов на решение задач;
• на втором этапе — действенность этих мер, т.е. индикаторы должны дать возможность идентифицировать изменения в системе образования (непосредственные результаты);
• на завершающих этапах программы используются индикаторы, характеризующие решение поставленной задачи, т.е. результативность программы и эффект от ее реализации.

Попытка оценивать  результаты программы одними и теми же показателями на протяжении всего  хода реализации, как это делается, например, во всех федеральных целевых программах, в том числе и в ФЦПРО, представляется малопродуктивной и приводит либо к учету затрат на всем протяжении программы, либо к фантазиям на темы эффекта на этапах, когда только началось финансирование. Более того, в случае внедрения действительно новой технологии, улучшенных стандартов, технического переоснащения процесса, изменения системы управления или финансирования и т.п. в краткосрочной перспективе показатели эффективности системы, скорее всего, ухудшатся. Это общее правило для любой сферы деятельности. Попытки оценивать выполнение программы на основе показателей конечных результатов с первых дней ее реализации фактически стимулируют искажение отчетности или включение в программу локальных частных мер, вложение в которые дает немедленную отдачу.