Тестовый компьютерный контроль: преимущества и недостатки

Министерство  образования и  науки Республики Казахстан Карагандинский

государственный технический университет 
 
 
 
 

                                                                                                  Кафедра: ПО и НВП  
 
 
 
 
 
 

     Курсовая  работа 
 

     По  дисциплине: «Педагогика» 

     Тема: «Тестовый компьютерный контроль: преимущества и недостатки» 
 
 
 
 

     __________________

            (оценка) 
 
 
 
 

                                                                             Выполнил: студент гр. ГиК-09-2

                                                                  Мордасова А.М. 

                                                          Научный руководитель:

                                                                   Готтинг В.В. 
 
 
 
 

     Караганда 2011

СОДЕРЖАНИЕ 
 

Введение…..……………………………………………………………………….........4

Глава 1 Компьютерное тестирование…………………………………………….…...6                   

    1. Сущность понятия «Тест»…………………………………………….….…6
    2. Специфика компьютерного тестирования и его формы……………......8
    3. Преимущества и недостатки компьютерного тестирования…………..….9

Глава 2 Компьютерный контроль знаний…………………………………………...12

      2.1     Классификация видов компьютерных тестов………………………….…12

      2.2     Требования, предъявляемые к системам компьютерного тестирования……………………………………………………………………………………...15

      2.3     Формирование тестовых заданий для компьютерного контроля знаний……………………………………………………………………………………...19

      2.4     Типы вопросов компьютерного контроля…………………………….…..24

Глава 3 Методика проведения компьютерного опроса учащихся…….. …………27

      3.1     Методика проведения программированного опроса ..…. .….…….….....27

      3.2     Обработка результатов тестирования……………………………….….…28

Заключение………………………………………………………………………….....30

Список использованной литературы……………………………………….……..…32 

ВВЕДЕНИЕ

 

        Необходимость в оценке и проверке уровня и качества знаний возникает в любой деятельности человека. Проблема адекватности и валидности результатов теста становиться еще острее при дистанционном и повсеместном использовании информационных технологий для тестирования и проверки знаний студентов, школьников, преподавателей и других категорий людей для которых результаты теста имеют важное личностное значение.

     Контроль уровня знаний является важной составной частью процесса обучения. Он обеспечивает обратную связь в системе «обучаемый – педагог». Контроль знаний выполняет в учебном процессе контролирующую, обучающую, диагностическую, воспитательную, мотивирующую и другие функции. Для управления процессом обучения на различных этапах, контролирующий специалист должен постоянно иметь сведения о том, как учащиеся воспринимают и усваивают учебный материал.

     Контроль  с точки зрения преподавателя  — длительная и трудоемкая часть  работы. Облегчить и систематизировать  ее можно путем использования  так называемых инструментальных программных средств. Проблема реализации связанных с контролем функции распадается на три направления — функции подготовки к контролю, функции проведения контроля и функции обеспечения обратной связи в процессе обучения. Набор инструментальных средств, связанных с логикой и идеей, может составлять инструментальную систему. Использования компьютерной инструментальной системы контроля выступает как средство реализации системы компьютерного контроля.

     Проконтролировать деятельность учащихся можно при наличии специальных контролирующих тестов. Тесты представляют собой особого вида задания, позволяющие групповым способом оперативно проконтролировать степень усвоения знаний и приобретения умений и навыков учащимися на занятиях теоретического и производственного обучения, установить внутреннюю и внешнюю обратные связи, на основании которых учащиеся и преподаватель осуществляют функции управления процессом обучения. Тестирование давно уже появилось в педагогике как метод контроля знаний.

     В настоящее время появляется множество компьютерных программ, служащих для проведения тестирования. Существует как множество продуктов (в том числе мультимедийных), с готовыми тестовыми заданиями, так и программы-оболочки для самостоятельного создания тестов. Существует ряд инструментальных программ, созданных отечественными и зарубежными специалистами. Разработанные на их основе компьютерные тесты обладают свойствами, присущими подобным системам: адаптивностью, открытостью, стандартностью, возможностью ее расширения и наращивания, способностью осуществлять индивидуальный и групповой контроль знаний студентов и др. Тестовая система за счет своей универсальности представляет собой автоматизированную поддержку самостоятельной работы студентов, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

     Цель работы: Анализ эффективности применения в учебном процессе компьютерного тестирования контроля знаний.

     Выбор данной цели обусловил необходимость  решения следующих задач:

  1. анализ существующих классических систем тестирования;
  2. характеристика преимуществ и недостатков тестовых программных продуктов, которые уже существуют;
  3. выявление тех качеств или свойств тестовых программных продуктов, которые отсутствуют у существующих тестов;

     Объект  исследования: Учебно-воспитательный процесс в образовательных учреждениях.

     Предмет исследования: Эффективность компьютерных тестирующих программ.

     Методы  исследования: Сбор информации, изучение, синтез, анализ, отбор.

     Методологическая  база: Личностно - деятельный подход, государственная программа по информатизации общества, принципы и методики обучения с использованием современных информационных технологий, современные концепции, раскрывающие закономерности развития системы образования.

     Структура курсовой работы:

     Курсовая  работа состоит из введения, трех глав, заключения и списка использованных источников.

     Во  введение приводится обоснование актуальности тестового компьютерного контроля, поставлены цели и задачи для ее реализации, указывается объект и предмет исследования.

     В первой главе раскрывается сущность понятия «тест» в педагогике, формы  тестового компьютерного контроля. Перечислены недостатки и преимущества тестового компьютерного контроля.

     Во  второй главе представлена классификация видов компьютерных тестов и описываются требования, предъявляемые к системам компьютерного тестирования.

     В третьей главе описывается методика проведения программированного опроса и обработка результатов тестирования.

     В заключении содержатся краткие выводы и результаты курсового исследования.

     В списке использованной источников приводится весь перечень использованной литературы и других источников.

глава 1 КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ

     1.1 Сущность понятия «Тест» 

             Для понимания сущности тестов важно разобраться в системе понятий.    Понятия вообще образуют основу любой науки, и в этом смысле деятельность по разработке и эффективному применению тестов не является исключением. Начиная с 30-х годов наука о тестах называлась буржуазной, все цели которой считались "реакционными". И хотя такие суждения пролеткультовского толка теперь уже считаются неадекватными духу нашего времени, все-таки появляются публикации, где тестам по-прежнему пытаются отказать в научности.

        Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук. Зарубежные психологи называют эту науку психометрикой, а педагоги - педагогическим измерением. Поскольку общего названия на русском языке пока нет, автор называл эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия "тестология" проста и прозрачна: наука о тестах. В XXI веке название этой науки Аванэсов привёл в соответствие с её названием на Западе - Педагогические Измерения.

          Остановимся на определении понятия «тест», так как в настоящее время он применяется в широком диапазоне.

         Тест (англ. test — проба, испытание, исследование) экспериментальный метод в психологии и педагогике, стандартизированные задания, позволяющие измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

     Тесты начали применяться в 1864 году Дж. Фишером  в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном в 1883 году: применение серии одинаковых испытаний к большому числу индивидов, статистической обработке результатов, выделение эталонов оценки.

        Термин "тест" впервые ввёл американский психолог Дж. Кеттел в 1890 году. Предложенная им серия из 50 тестов фактически представляла программу определения примитивных психофизиологических характеристик: базирующихся на наиболее разработанных в то время психологических экспериментах (например, измерение силы правой и левой рук посредством динамометра, скорости реакции на звук, и т.д.)

        Слово "тест" вызывает самые  различные представления. Одни полагают, что это вопросы или задачи с одним готовым ответом, который надо угадать. Другие считают тест формой игры или забавы. Третьи пытаются истолковать это как перевод с английского слова "test", (проба, испытание, проверка). В общем, по этому вопросу нет единства мнений. Тем более что в учебниках педагогики об этом не пишут. А если где и пишут, то нередко написанное трудно понять. Не случайно размах мнений о тестах оказывается слишком широким: от суждений обыденного сознания до попыток научного истолкования сущности тестов.

         В науке приводят существенные различия между простым переводом слова и смыслом понятия. Чаще всего мы встречаемся с упрощенным восприятием понятия "тест" как простой выбор одного ответа из нескольких предложенных к заданию. Многочисленные примеры таких, казалось бы, "тестов" легко найти в газетно-журнальной периодике, в различных конкурсах и в многочисленных книжных публикациях под названием "Тесты". Но и это часто оказываются не тесты, а нечто внешне похожее на них. Обычно это сборники вопросов и задач, рассчитанных на выбор одного правильного ответа из числа предложенных. Они только по внешней видимости похожи на настоящий тест. Различия в понимании сущности тестов порождают различия в отношении к тестам.

       Прочитаем какова формулировка понятие «ТЕСТ» в словарях?

       Большой Энциклопедический  словарь
     Тест (англ. test - проба, испытание, исследование), 1) в психологии и педагогике - стандартизированного задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умении и навыках испытуемого. 2) В физиологии и медицине - пробные воздействия на организм с целью изучения различных физиологических процессов в нем, а также для определения функционального состояния отдельных органов, тканей и организма в целом. 3) В вычислительной технике - контрольная задача для проверки правильности работы ЭВМ. 4) В распознавании образов множество функционально взаимозависимых признаков, характеризующих образ (класс).      
     Современный толковый словарь русского языка Т.Ф.Ефремовой
     Тест м. 1) Задание, испытание стандартной формы, по результатам выполнения которых можно судить о способности, предрасположенности и т.п. кого-л. к чему-л., а также о знаниях, умениях испытуемого. 2) Метод исследования, диагностики, заключающийся в пробном воздействии на организм (в физиологии, медицине). 3) Вопросник, используемый при социологических исследованиях. 4) Задача с известным решением, предназначенная для проверки правильности работы ЭВМ (в вычислительной технике).
     Толковый  словарь русского языка Д.Н.Ушакова
     (тэст), теста, м. (англ. test) (псих.). Психотехническое  испытание, состоящее в том, что испытуемому предлагается решить одну или несколько задач для определения тех или иных его способностей (памяти, внимания, быстроты реакции и т.д.).  
     

        В наши дни существует много видов тестов, поэтому дать универсальное определение для всех этих видов вряд ли можно.

       Анализ литературы показал, что   существует разные формулировки  понятия «тест». Но независимо от  вида, назначения  я бы дала следующее определение теста.

       Тест – это  один из методов  контроля знаний, который позволяет  учителю установить фактические,  теоретические знания учащихся  и оценить их за достаточно короткое время. Необходимо отметить, что тест не учитывает индивидуальные особенности человека. 
 

    1. Специфика компьютерного тестирования и его формы
 

     С начала XXI века в образовании стало широко применяться компьютерное тестирование (КТ), при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК. Однако обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов: при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха и др. Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

           Компьютерное тестирование может  проводиться в различных формах, различающихся по технологии  объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.

           Первая форма - самая простая.  Готовый тест, стандартизованный  или предназначенный для текущего  контроля, вводится в специальную  оболочку, функции которой могут  различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал, чтобы каждый испытуемый получил свой балл и протокол оценок по заданиям теста.

           Вторая форма компьютерного тестирования  предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 - 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

           Третья форма - компьютерное адаптивное  тестирование - базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.[1]

     При проведении компьютерного тестирования необходимо учитывать психологические и эмоциональные реакции учащихся. Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. Учащиеся при адаптивном тестировании бывают недовольны тем, что не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

     Для снижения влияния опыта работы учащихся с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом программы, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

     Таким образом, компьютерное тестирование выступает как инструмент управления учебным процессом, как элемент обратной связи, который дает возможность анализировать учебный процесс, вносить в него коррективы, т.е. осуществлять полноценное управление процессом обучения. Постоянное использование компьютерных тестов в качестве промежуточного контроля успеваемости определяет учебный процесс как систему непрерывного контроля и самоконтроля учащихся, которая дает возможность учителю получать «обратную связь», а учащимся — возможность в течение всего обучения отслеживать уровень своей подготовленности. 
 

      1.   Преимущества и недостатки компьютерного тестирования
 

     Преимуществами  компьютерного тестирования являются: 

     •  Объективность.  Исключается фактор субъективного подхода со стороны  экзаменатора. Обработка результатов  теста проводится через компьютер. 

     •  Валидность.  Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача — большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях. 

     •  Простота.  Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие. 

     •  Демократичность.  Все тестируемые находятся в равных условиях, результаты тестирования прозрачны. 

     •  Массовость и кратковременность.  Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого. 

     •  Технологичность.  Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку.  

     •  Достоверность  информации об объеме усвоенного материала и об уровне его усвоения. 

     •  Надежность.  Тестовая оценка однозначна и воспроизводима. 

     •  Дифференцирующая  способность. За счет наличия заданий различного уровня трудности. 

     •  Реализация   индивидуального  подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.[2] 

     Наряду  с преимуществами у компьютерных методов есть и свои недостатки: 

      1) Общение человека с компьютером  имеет свою специфику, и не  все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

     Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых – эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.[2]

      2) При компьютерном тестировании  специалисты имеют дело только  с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.

     3) Тестовый контроль не способствует развитию устной и письменной речи учащихся.

     4) Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

     5)В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе. 

глава 2  компьютерный  контроль знаний

    1.   Классификация видов компьютерных тестов
 

     Очевидно, что первоочередной задачей при  проведении проверки полученных знаний должно быть определение целей контроля. Так в Вузах в большей степени необходимо проверять у обучающихся глубину знаний учебных дисциплин, умение будущих специалистов логически мыслить, сопоставлять различные предметы и явления, делать правильные выводы и принимать оптимальные решения. Значит набор (база данных) контрольных заданий должен максимально полно охватывать учебную дисциплину, а тематическое их разделение - позволять осуществлять в процессе изучения предмета этапный контроль, выявлять индивидуальные пробелы знаний обучаемых, корректировать учебные программы и т.п.

     Важное  место при формировании базы заданий  занимает их формулировка. Как и  любое предложение, задания подразделяются на явные и неявные, вопросительные и утвердительные, суждения, мнения и другие вопросы. От искусства преподавателя зависит многообразие их форм, несущее в себе богатство языка, обилие специальных терминов. Использование подобных заданий способствует повышению у обучающихся умения логически мыслить, а также уровня их общей культуры.

     Другим  важным моментом является определение  правильности ответа обучаемого на предложенные вопросы. Существуют различные варианты ответов, закладываемые в программу. Предпочтительно, чтобы студент "отвечал" компьютеру как бы в устной форме, как преподавателю (открытая форма ответа). Возможно, такие экспертные системы на основе специально разработанных баз знаний появятся в недалеком будущем с внедрением ЭВМ пятого поколения. Пока же некоторые специалисты приступили к созданию баз знаний. Эта достаточно интересная и сложная проблема имеет основной недостаток, изначально присутствующий в ней - субъективность системы, базирующейся на оценках событий и явлений отдельными, хотя и порой весьма авторитетными, специалистами. Пожалуй, наиболее правильно будет в настоящее время осваивать компьютерные системы контроля на основе баз данных. В этом случае обычно прибегают к различным готовым формам ответов – шаблонам.[3]

     Широкое распространение получила такая  форма ответов, когда отвечающему предлагается заранее сформированный набор ответов для выбора одного или нескольких, являющихся, по его мнению, правильными (форма закрытых ответов). Программа автоматически оценивает правильность сделанного выбора. В другом случае, контролируемый вводит с клавиатуры некоторые формулировки или отдельные слова, являющиеся ответом на поставленный вопрос (форма полуоткрытых ответов). На экране ЭВМ нет этих вариантов ответов, но программа содержит максимально возможный, по мнению ее авторов, набор ответов. Считается, что в большинстве случаев в программе имеются необходимые модификации и она сможет, осуществив сравнение, дать свое заключение о правильности ответа. Имеются и другие варианты. Каждый способ формирования ответа контролируемым имеет свои достоинства и недостатки. Здесь следует придерживаться поставленной цели и выбирать наиболее подходящий для ее реализации.

     В этой связи можно предложить использовать единый набор вариантов ответов  для всех контрольных заданий  по теме. Формулировки должны носить общий характер и способствовать выявлению умения контролируемого логически мыслить, что более важно и ценно, чем запоминание отдельных фактографических данных. При достаточном искусстве преподавателя с помощью таким образом сформулированных вариантов ответов возможно определение знания и отдельных фактов, событий.

     В школах развитых стран внедрение  и совершенствование тестов шло  быстрыми темпами. Широкое распространение  получили диагностические тесты  школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на компьютерных дискетах.