ОЦЕНИВАНИЕ  РЕЗУЛЬТАТОВ УЧЕБНОЙ  ДЕЯТЕЛЬНОСТИ ПРИ  ПОМОЩИ ТЕСТОВЫХ МЕТОДИК: ПОСТАНОВКА И СПОСОБЫ  РЕШЕНИЯ ПРОБЛЕМЫ В РАМКАХ ПРОФЕССИОНАЛЬНОГО  ОБУЧЕНИЯ ПЕДАГОГОВ

КИСЕЛЕВА  НАТАЛЬЯ ЮРЬЕВНА

Томский областной институт повышения квалификации и переподготовки работников образования 

      Определение качества общеобразовательной подготовки учащихся является одной из первоочередных задач, стоящих перед органами управления на всех иерархических уровнях образовательной  системы. Первоочередность этой задачи обусловлена тем, что в процессе реформирования образования коренным образом пересматриваются подходы к оцениванию результатов обученности учащихся прежде всего на завершающих этапах обучения. Пересмотру подвергаются как само содержание оценки, так и процедуры оценивания результатов учебной деятельности. Основные требования, предъявляемые к оценке знаний и умений учащихся, заключаются в объективности, достоверности, конкретности и обоснованности. Соблюдение этих требований возможно в том случае, когда в качестве контролирующего выступает такой метод, который преимущественно отличается от других методов контроля повышенной инструментальностью. Адекватным современным требованиям к оценке результативности учебной деятельности методом является тест. Определение ведущей роли тесту обусловлено характерными его особенностями.

      Тест  является емким с точки зрения охвата проверяемого учебного материала  инструментом. Он позволяет охватить содержание учебного материала по всем изученным темам сразу. Более  того, в тесте представляется возможным разложение содержания на четко определенные структурные элементы, определяющие ключевые понятия тем и разделов учебного материала.

      Тест  является точным измерителем степени, уровня усвоения ключевых понятий, тем  и разделов учебного материала, так  как позволяет представлять материал на разных уровнях структуры знаний (узнавания, понимания, применения).

      Тест  является инструментом, предполагающим объективный способ оценивания знаний учащихся. Объективность оценивания достигается путем получения  обоснованных значений, которые адекватно определяют показатели уровней усвоения учебного материала. Значения этих показателей зафиксированы в шкале оценки выполнения теста.

      Тест  является стандартизированным инструментом с точки зрения проведения. Стандартизация процедуры тестирования достигается за счет тщательной проработки полного комплекта соответствующих инструкций, а также контроля за строгим соблюдением регламента в отношениях между учениками и проводящими тестирование со стороны независимых экспертов-наблюдателей. Контроль за соблюдением инструкций призван обеспечивать соблюдение единых требований и ставить всех участников тестирования в равные условия. При этом проведение тестирования не требует обязательного присутствия специалистов-предметников, что позволяет в полной мере говорить о возможности проведения независимых контролирующих процедур.

Перечисленные особенности теста позволяют  использовать этот метод в качестве основного в региональном мониторинге  качества образования, реализуемого в  Томской области уже на протяжении нескольких лет. Одной из основных задач мониторинговых исследований является информационно-аналитическое обеспечение процедур подготовки к итоговой аттестации выпускников. При этом важным фактором в реализации данной задачи становится обучение учителей-предметников современным технологиям оценивания результатов учебной деятельности, основанным на измерении показателей качества по определенно заданным критериям. Обучающий педагогов процесс осуществляется в рамках курсовых мероприятий, которые проводятся в ТОИПКРО. Выделяются несколько видов учебных занятий по проблемам оценивания результатов при помощи тестов. В первую очередь это занятия с педагогами-участниками тестирования, проводимого в рамках региональной системы мониторинга качества образования. Серия семинарских занятий проводится непосредственно перед началом тестирования. Целями и задачами обучения становится подготовка проводящих тестирование к процедурам тестового контроля. Определяя особенность проведения тестирования в рамках масштабных мониторинговых исследований, организаторы семинаров акцентируют внимание на обязательности соблюдения единых требований и создании равных условий для всех испытуемых. Также на занятиях называются и обосновываются подходы к структуре и содержанию тестов, определяются показатели качества и характеризуются стандартизированные контрольно-измерительные материалы, используемые в мониторинге. Во многом данная информация оказывается полезной для педагогов, она способствует повышению уровня компетентности педагогов в вопросах выбора и использования в работе такого популярного метода как тест.

      Тест  является средством, наиболее приемлемым для использования в рамках мониторинга, в силу того, что результаты тестирования легко поддаются автоматизированной обработке и тем самым способствуют получению  оперативной информации о качестве обучения. Для полноценного и своевременного информационно-аналитического обеспечения управления качеством образования на любом уровне, включая управление образовательным процессом в классе, где в качестве управленца выступает учитель, необходимо создавать и активно применять автоматизированные средства, позволяющие быстро оценить результаты обучения. Внедрение в практику управления качеством образования автоматизированных средств оценивания уровня обученности определяется как одна из ведущих проблем. Решению этой проблемы в рамках реализации региональной системы мониторинга во многом способствует организация и проведение учебных занятий с педагогами базовых школ области и специалистами муниципальных органов управления образования, непосредственно осуществляемых обработку при помощи компьютера результатов тестирования в рамках регионального мониторинга. Обучение работе с программой обработки результатов тестирования, созданной специалистами кафедры мониторинга качества образования ТОИПКРО, следующая затем установка программы на местах непосредственного проведения тестирования создают условия, при которых становится возможным оперативная статистическая обработка, анализ и интерпретация результатов тестирования.

      Особенностью  получаемой в результате аналитической  работы информации является то, что  она определяет показатели усвоения содержания учебного материала на каждом уровне: отдельного ученика, отдельного класса, параллели классов и т.д., иными словами, на каждом иерархическом уровне управления качеством фиксируется своя, специфическая информация: оценка результата усвоения учебного материала учеником, показатели усвоения учебного материала классом, параллели и т.д. При этом каждый из показателей может выступить критерием для сравнения результатов учебной деятельности. Так, показатель класса становится критерием, по отношению к которому ранжируются учебные достижения учеников, показатель параллели

классов становится критерием для сравнения показателей учебных достижений классов.

      Кроме общих показателей усвоения содержания образования, в ходе анализа-интерпретации  результатов тестирования определяются показатели усвоения отдельных учебных  тем. Представленные в виде диаграмм показатели по каждой теме позволяют произвести сравнение и выделить такие темы учебного материала, которые при самостоятельном выполнении заданий либо вызывают, либо не вызывают затруднений у учащихся. Кроме этого анализу подвергается информация о результативности выполнения каждого задания по каждой отдельной теме. В этом случае мы говорим о реализации мониторинга учебных элементов, который позволяет ранжировать учебные элементы по показателям их трудности (задания трудные для самостоятельного выполнения, задания оптимальной трудности, задания, не вызывающие затруднений при самостоятельном выполнении). Представленная таким образом анализ-интерпретация результатов тестирования выступает прогнозом результатов итоговой аттестации выпускников по классу, школе. Своевременная информация о возможных результатах итоговой аттестации позволяет организовывать планомерную подготовку педагогов к проведению итоговой аттестации. С этой целью в рамках занятий, предусмотренных инвариантной частью учебных планов курсовой подготовки педагогов, происходит обучение возможным способам -интерпретации оценки результатов учебной деятельности, определяемых при помощи тестовых методик. Одновременно на этих занятиях осуществляется распространение информации о качестве общеобразовательной подготовки учащихся по предмету. Предлагаемая на занятиях информация для изучения позволяет осуществлять целенаправленную подготовку учащихся к итоговой аттестации, при которой учитель сможет легко ориентироваться в выборе тех учебных элементов, которые требуют особого внимания при изучении, повторении и коррекции содержания учебного материала. Вместе с тем активно пропагандируются новые способы и средства оценивания уровня учебных достижений учащихся, позволяющие стандартизировать оценку качества обученности, выработать единые требования, предъявляемые оцениванию результатов промежуточных, которое осуществляет педагог в процессе обучения, и результатов итоговой аттестации, которые определяются независимыми экспертизами.

  АВТОМАТИЗИРОВАННАЯ  СИСТЕМА «UNIVERSAL» КАК ИНСТРУМЕНТАРИЙ ОБРАБОТКИ ДАННЫХ ДИАГНОСТИКИ КАЧЕСТВА ЗНАНИЙ 

СОКОЛОВА  Е.Н.

Томский областной институт повышения квалификации и переподготовки работников образования 

      Проблема  информационного обеспечения управления в различных областях деятельности существовала всегда и не теряет своей актуальности в настоящее время. Решением этой проблемы может стать метод мониторинговых исследований. На сегодняшний день мониторинг признан наиболее совершенным способом информационного обеспечения управления и с успехом применяется в сфере образования.

      Мониторинг  представляет собой научно-обоснованную и практически реализуемую систему  сбора, хранения, обработки и распространения  информации. Особенностью мониторинга  как метода исследования является необходимость  исследовать группы динамических объектов по большому количеству показателей. Эта особенность создает ряд проблем, значительно затрудняющих практическую реализацию мониторинга:

• централизованный сбор информации,
• оперативная обработка больших объёмов информации,
• достоверность результатов вычислений,
• надёжность хранения информации,
• своевременность распространения информации.

      Использование новых информационных технологий позволяет  решать перечисленные проблемы.

      В качестве примера можно привести опыт работы кафедры мониторинга качества образования, аттестации, аккредитации ТОИПКРО. В отделе разработана автоматизированная система «Universal», которая успешно используется на практике в течение последних 5 лет.

      «Universal» является частью инструментария диагностики качества знаний учащихся. Система предназначена для сбора, обработки, хранения и распространения результатов тестирования. Последняя версия «Universal» позволяет использовать в рамках мониторинга разноуровневые тесты с заданиями открытого и закрытого типов.

      Автоматизированную систему можно адаптировать для тестов любой структуры и содержания по всем общеобразовательным предметам.

      Для работы «Universal» на иерархических уровнях управления качеством образования (внутришкольном, муниципальном, региональном) в Томской области простроена система сбора информации «образовательное учреждение – муниципальный орган управления – областной орган управления образованием». Трехуровневая система значительно ускоряет циркуляцию информационных потоков по вертикали «школа – район – область» и внутри одного уровня, обеспечивая максимальную оперативность сбора, обработки и распространения данных.

      Автоматизированная  система «Universal» состоит из двух взаимодействующих частей: базы данных и обслуживающей прикладной программы.

      Перед проведением каждого этапа мониторингового исследования в базу данных  «Universal» вводится информация о предлагаемых тестах: предмет, класс, автор учебника, по которому будет проводиться тестирование, классификация заданий по учебным темам, ключи правильных ответов, шкала перевода суммарного балла в оценку. Эта информация является служебной и закрыта для редактирования.

      Обновлённую систему устанавливают во всех субъектах  иерархии ещё до проведения исследования.

      После проведения тестирования, т.е. на этапе  сбора информации, база данных «Universal» заполняется информацией о тестируемых (школа, класс, фамилия, имя, ответы на вопросы теста) и  преподавателях, чьи ученики приняли участие в тестировании (фамилия, имя, отчество, общий стаж работы, стаж работы в данном классе).

      Вся эта информация переносится в  базу данных из контрольных листов ученика и протоколов тестирования. Ввод данных осуществляется оператором вручную и является единственной трудоёмкой операцией, требующей внимания, сосредоточенности и временных затрат. Основная работа по сбору первичных данных ложится на операторов образовательных учреждений. Их задача не только собрать и обработать данные тестирования в своём учреждении, но и как можно быстрее передать заполненную базу на следующий уровень иерархии. На данном этапе возможны незначительные ошибки ввода данных, которые в масштабах области стремятся к нулю. Результаты первичной обработки на гибких магнитных дисках передаются в районы, муниципалитеты и соединяются в районную базу данных.

      Автоматизированная система «Universal» позволяет формировать районную базу данных двумя путями. Первый и самый простой путь – слияние школьных баз данных в одну. Если в школе не установлен «Universal», то первичные данные тестирования с бумажных носителей переносятся оператором в районную базу данных напрямую.

      Аналогично  происходит сбор информации на областном  уровне. Районные базы данных передаются на гибких магнитных дисках в областной  отдел мониторинга и автоматически  сливаются в одну большую базу данных. На уровне области система «Universal» позволяет вводить данные из школ представленные в бумажном виде.

      На  этапе обработки результатов  происходит автоматический перевод  ответов в баллы согласно таблице  ключей, суммирование баллов и перевод  суммарного балла в оценку.

      «Universal» на основе заполненной базы данных автоматически определяет трудность каждого тестового задания как отношение количества справившихся с заданием к количеству принявших участие в тестировании. Аналогично определяется трудность каждой учебной темы, при чём каждая тема может включать любое количество заданий разных типов и уровней сложности.

      Каждое  задание теста проверяет усвоение учащимися некоторого учебного элемента. Вычисление трудности каждого задания  позволяет проводить мониторинг учебных элементов, что в дальнейшем позволит создать банк тестовых заданий. Банк будет содержать только валидные задания по всем учебным дисциплинам и всем темам внутри дисциплины. Наличие такого банка позволит оперативно формировать тесты любого уровня сложности для каждой учебной дисциплины.

      Тематический  анализ результатов помогает определить уровень усвоения учащимися конкретной учебной темы. На основе полученной информации могут быть составлены методические указания по корректировке календарно-тематического плана изучения учебной дисциплины

      Кроме тематического анализа и анализа  учебных элементов система «Universal» проводит качественный анализ результатов тестирования  по следующим показателям: участие в тестировании, средний балл тестирования по 1 и 2 уровням (в %), средний балл тестирования по 1, 2 и 3 уровням (в %), качественная и абсолютная успеваемости.

      Участие в тестировании вычисляется как  отношение количества учащихся, принявших  участие в тестировании, к количеству учащихся по журналу выражается в процентах.

      Средний балл тестирования по 1 и 2 уровням определяется как отношение суммарного балла, набранного всеми тестируемыми за задания 1 и 2 уровня, к максимально возможному баллу и также выражается в процентах. Аналогично определяется средний балл по 1, 2 и 3 уровням.

      Данная  статистическая обработка позволяет  получить нормированные показатели усвоения содержания образовательного стандарта на уровне минимальных  требований (1, 2 уровни) и на уровне требований, превышающих минимальный (1, 2 и 3 уровни)

      Все виды статистических вычислений проводятся в рамках области, района, образовательного учреждения и отдельного класса. На всех уровнях иерархической системы  сбора информации предполагается не только обработка данных, но и их вывод на экран монитора и распечатка. Чем больше информации введено в базу данных, тем больше результатов обработки данных можно увидеть на дисплее и распечатать.

      Таким образом решается проблема своевременного распространения данных мониторинговых исследований и создаётся информационная база мониторинга на всех уровнях иерархии.

      В настоящее время обмен данными  в иерархии производится только на гибких магнитных дисках. Технология обмена данными через Интернет находится  в стадии разработки. В перспективе развития лежит также разработка информационных систем «ОУ» и «Кадры» как составных частей «Universal». Системы «ОУ» и «Кадры» обеспечат информационную поддержку экспертизы аттестации педагогических, руководящих кадров и образовательных учреждений.

ТЕСТ  КАК СРЕДСТВО ОЦЕНИВАНИЯ УЧЕБНЫХ ДОСТИЖЕНИЙ УЧАЩИХСЯ

ЧУРСИНА ИДА АРТУРОВНА

Средняя общеобразовательная школа №54 г. Томска

     В практической педагогике важное место  принадлежит проблеме контроля, учета  и оценки достижений учащихся в учебном процессе. Актуальность данной проблемы сохраняется в силу ее многогранности и сложности разрешения.

     Контроль  представляет собой реализацию принципа обратной связи, без него невозможно управление. В процессе контроля происходит постоянное сравнение заданной программы учебной деятельности с фактическим выполнением.

     Выделяются  следующие задачи контроля:

1. установить готовность учащегося к восприятию и усвоению новых знаний;
2. выявить трудности и ошибки, причины их возникновения;
3. определить эффективность организации, методов, средств обучения;
4. выявить степень правильности, объем, глубину знаний, умений учащихся.

     В современной педагогической практике контроль и оценивание достижений учащихся осуществляются несколько односторонне, т.е. достижения оцениваются только по конечному результату, а точнее по соответствию результатов деятельности учащегося по овладению определенной суммой знаний, умений и навыков учебной деятельности существующему стандарту. Собственно деятельность учащегося, его энергетические затраты, уровень его собственного развития, его усилия, характер его личностных приобретений остаются неоцененными.

     В связи с этим приобретает актуальность вопрос о целях самого процесса контроля и оценивания. Один из подходов к  решению этого вопроса, предлагаемый Томским областным институтом повышения квалификации работников образования, заслуживает внимания, и прежде всего, учителей-практиков. В качестве средства оценивания, позволяющего оценивать достижения учащихся с учетом как показателей роста, так и показателей динамики, по мнению специалистов института, (изучением проблем оценивания качества образования занимается кафедра мониторинга качества образования, аттестации, аккредитации) могут выступить элективные тесты (с выбором ответов). Определяя ведущую роль тесту в процессе оценивания результатов обучения и выявления динамики показателей уровня учебных достижений учащихся, они особое внимание уделяют качеству контрольно-измерительных материалов, определяющих показатели достижений учащихся. Создание теста предполагает работу в несколько этапов. В первую очередь – это отбор содержания и конструирование системы тестовых заданий. На этом этапе особо важную роль играет процедура целеполагания. Выделение целей различного уровня, ориентирующих на освоение учащимися содержания того или иного учебного материала, позволяет уточнить конкретные предметные области, разделы или темы, содержание которых надо усвоить. Определив цели и задачи проверки, необходимо разработать структуру и основное содержание теста. Определение содержания может быть проведено через составление спецификации теста. Основную часть спецификации теста представляет собой содержательно-деятельностная матрица.

     Рассмотрим  такую матрицу на примере теста  для 5-го класса. Целью контроля является выявление уровня освоения программного материала за I полугодие.

      Распределение заданий по темам и уровням сложности.

     Как видно из приведенной таблицы, при  составлении спецификации теста  выясняются не только структура и содержание проверки, но и процентное соотношение различных вопросов в тесте. Причем вес каждой темы в тесте определяется важностью данной темы и количеством времени, отведенном на ее изучение. Такой подход дает возможность оценить, все ли основные вопросы программы включены в тест и в каком количестве они представлены. Естественно, что невозможно охватить в одном тесте весь спектр учебных достижений школьников, но желательно чтобы банк заданий отражал основное содержание проверяемого материала на разных уровнях трудности.

     В горизонтальных строках матрицы  определяются учебные темы, разделы  учебных тем. В вертикальных столбцах – уровни овладения учебным материалом.

     Таблица спецификации теста также может  быть использована как основа для  анализа и представления результатов тестирования.

    Распределение заданий по темам и их учебным  элементам.

Вторым  этапом в процессе создания теста  становится разработка и или выборка тестовых заданий из банка заданий. Задания, отобранные в тест, имеют следующую структуру:

1. инструкция;
2. текст задания (вопроса);
3. варианты ответа;
4. правильный ответ

     Инструкция  содержит указания на то, что учащийся должен сделать, каким образом выполнить задание.

     Текст задания или вопроса представляет собой содержательное наполнение задания. Варианты ответа предполагают выбор  из числа предложенных ответа верного. Правильный ответ – обязательный атрибут любого тестового задания  – без него задание теряет смысл, поскольку не может быть точно оценено с учетом авторского замысла. Основное требование к тестовым заданиям: тестовое задание должно иметь однозначный правильный ответ.

     Каждый  тест включает в себя задания определенного  уровня сложности. Первый уровень – действия по воспроизведению учебного материала на уровне понимания (1 балл). Второй уровень – действия по применению знаний в знакомой ситуации, выполнение действий с четко обозначенными правилами (2 балла). Третий уровень -  применение знаний (умений) в незнакомой ситуации для решения нового круга задач, творческий перенос знаний (3 балла)

     В качестве примера приведем один из возможных вариантов тестовых заданий, подобранных в тест по математике 5-го класса.

ЧАСТЬ 1.

В каждом задании найдите  верный ответ из числа предложенных.

1. Запишите цифрами число:    шесть миллионов пять тысяч тридцать пять.

А.  650 035;                         Б.  600 535;                                В.  6 005 035.

2. Сравните числа  701 005 и  700 995.

      А.  701 005 > 700 995;          Б. 701 005 = 700 995;         В. 701 005 < 700 995;

3. Определите координаты точек  А и С.                                                                                      

А.   А(4)  и  С(8);               Б.   А(2)  и   С(4);                 В.   А(2)    и С(3).

4. Выполните сложение:  4708 + 50122.