Контролирующие программы, их классификация по видам контроля и по методу формулирования ответов. Вероятность угадывания ответов

Федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования

«Российский государственный профессионально-педагогический университет» Институт информатики

Кафедра информационных технологий

Контрольная работа

по дисциплине «Технические и аудиовизуальные средства обучения»

Вариант № 6

Тема: Контролирующие программы, их классификация по видам контроля и по методу формулирования ответов. Вероятность угадывания ответов

Екатеринбург 2014 
СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Последние годы в педагогической практике все большее распространение получают компьютерные обучающие программы, разработанные для совершенствования и поддержки учебного процесса. Компьютерные обучающие программы служат учебным пособием преподавателю и студенту, могут не только обучать, но и контролировать знания, выдавать справочную информацию и т.д.

Обучение – многогранный процесс, и контроль знаний – лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование играет ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля – устные и письменные экзамены и собеседования.

Такие факторы как: увеличение быстродействия компьютеров, снижение цен на технику, разработка качественных компьютерных программ, привели к тому, что повсеместно стало возможным быстро, надежно и объективно оценивать знания учащихся.

В настоящее время повсеместно в сфере образования наблюдается усиленный интерес к автоматизации контроля результатов обучения учащихся. При этом автоматизируется как промежуточный, так и финальный контроль во всех учебных заведениях, начиная от школ и заканчивая коммерческими курсами. Самым популярным видом такого контроля является тестирование, которое основано на диалоге компьютерной программы с учащимся.

Возможность автоматизации проверки и уменьшения времени выполнения учащимися самих операций контроля приводит к снижению времени контрольной деятельности учащихся, что дает возможность увеличить частоту и регулярность контроля.

Применение компьютерного тестирования знаний обучающихся является технологической основой получения объективной, независимой оценки уровня учебных достижений (знаний, интеллектуальных умений и практических навыков).

Цель реферата: изучить работу контролирующих компьютерных программ.

Для этого необходимо решить такие задачи:

1. дать понятие контроля, определить его виды и функции;
2. изучить типы тестовых заданий, принципы составления тестов и требования к программам тестирования;
3. классифицировать формы вопросов и ответов для составления программ компьютерного контроля;
4. определить возможность угадывания ответов;
5. рассмотреть достоинства и недостатки контролирующих программ.

ПОНЯТИЕ И ВИДЫ КОНТРОЛЯ

Первые концепции компьютеризации обучения возникли несколько десятков лет назад и предполагали техническое перевооружение педагога, механизацию его труда, создание процессов, которые бы имитировали индивидуальную работу преподавателя с обучаемым. Со временем стало понятно, что такой подход сильно ограничивает процесс обучения.

Дело в том, что применение традиционных методов компьютерного обучения и контроля, при прямом тестировании, использовании бальной системы и т.п., не всегда приемлемо. При оценке знаний преподаватель перерабатывает информацию, поступающую от ученика, не следуя строгой формализации, учитывая его особенности, а компьютерные программы не могут в полной мере учесть эту специфику. То есть осуществление автоматизированного контроля знаний, умений обучаемых, в первую очередь, включает решение проблемы определения совокупности требуемых качеств знаний, без которых критерии оценки знаний и способы определения уровня их усвоения выявить нельзя.

Определенное распространение получили попытки использовать в учебном процессе системы искусственного интеллекта. Именно применение методов искусственного интеллекта и инженерии знаний поможет преодолеть такие недостатки как субъективность и прямолинейность процесса тестирования, которые не учитывают индивидуальных особенностей обучаемого, что позволит поднять уровень оценивания знаний машинными системами. Но на данный момент алгоритмы, использующие искусственный интеллект применяются крайне редко из-за их высокой цены и недостатка квалифицированных разработчиков.

В традиционных системах обучения контроль знаний на экзамене (зачете) проводится с помощью нескольких вопросов при непосредственном общении учащегося и преподавателя. При этом полученные обучаемым оценки за ответы на эти вопросы распространяются и на не проконтролированные разделы учебного материала. Использование же тестового контроля приводит к минимизации затрат рабочего времени экзаменатора и, хотя и поверхностный, но полный охват всего учебного материала.

Основная задача контроля – выявление уровня правильности, объема, глубины усвоенных учениками знаний, получение информации о характере познавательной деятельности, об уровне самостоятельности и активности учащихся в учебном процессе, определение эффективности методов, форм и способов их учения.

В настоящее время в учебных заведениях, помимо традиционных методов контроля знаний, умений, навыков учащихся, используется тестовый контроль на основе контролирующих программ, так как он является наиболее объективной формой оценки качества знаний.

Контролирующие программы это программные средства, предназначенные для проверки (оценки) качества знаний. При разумной организации контролирующие (тестирующие) программы являются весьма эффективным средством контроля, так как большая часть учебного материала легко поддается машинному контролю.

Эффективность компьютерного контроля зависит от гибкости и разнообразия созданных контролирующих материалов, способов их использования и степени адаптивности созданной системы к особенностям и уровню подготовленности обучающегося, а также от возможности системы распознавать ответы или действия обучающегося при выполнении тестовых заданий.

Система программно-технических средств, обеспечивающая проведение процедуры компьютерного контроля знаний, может быть рекомендована в качестве самостоятельной или встроенной в другие системы обучения, использующие интерактивный режим работы субъектов образовательного процесса. Проводить такой контроль целесообразнее всего с помощью компьютерного тестирования.

Компьютерное тестирование – аттестационная процедура, позволяющая максимально объективно оценивать соответствие личностной и экспертной модели знаний с использованием компьютера и специально организованных тестов, состоящих из заданного набора тестовых заданий, в равных для всех испытуемых условиях.

Тест – это инструмент, состоящий из статистически выверенной системы заданий, стандартизированной процедуры тестирования и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности, изменение которых возможно в результате систематического обучения.

Тестирование широко используется в учебных заведениях для тренировочного, промежуточного и итогового контроля знаний, а также для обучения и самоподготовки учащихся.

Существуют следующие виды контроля: входной, текущий, итоговый.

Входной контроль осуществляется без привлечения преподавателя для определения базового уровня знаний студентов и может служить поводом для них по повторению необходимого материала, а для преподавателя – внесения изменений в учебный процесс.

Текущий контроль позволяет определить качество изучения обучаемыми отдельных учебных элементов или модулей.

Итоговый контроль проводится после изучения студентами всей модульной программы по курсу с учетом результатов промежуточного контроля.

Для всех этих видов контроля может быть использовано тестирование как один из элементов образовательных технологий, нашедший широкое распространение в последнее время.

ФУНКЦИИ КОНТРОЛЯ

Основная цель контроля знаний, умений и навыков состоит в обнаружении достижений, успехов учащихся, в указании путей совершенствования, углубления знаний, умений, с тем, чтобы создавались условия для последующего включения учащихся в активную учебную деятельность. Эта цель, в первую очередь, связана с определением качества усвоения учащимися учебного материала – уровня овладения знаниями, умениями и навыками, предусмотренными программой. Во-вторых, конкретизация основной цели контроля связана с обучением приемам контроля и самоконтроля. В-третьих, эта цель предполагает воспитание у учащихся таких качеств личности, как ответственность за выполненную работу, проявление инициативы.

Если перечисленные цели контроля знаний и умений учащихся реализовать, то можно говорить о том, что контроль выполняет следующие функции:

• контролирующую;
• обучающую (образовательную);
• диагностическую;
• прогностическую;
• развивающую;
• ориентирующую;
• воспитывающую.

Рассмотрим эти функции более подробно.

1. Контролирующая функция состоит в выявлении состояния знаний и умений учащихся, уровня их умственного развития, в изучении степени усвоения приемов познавательной деятельности, навыков рационального учебного труда.

При помощи контроля определяется исходный уровень для дальнейшего овладения знаниями, умениями и навыками, изучается глубина и объем их усвоения. Сравниваются планируемые результаты с действительными, устанавливается эффективность используемых преподавателем методов, форм и средств обучения.

2. Обучающая функция контроля заключается в совершенствовании знаний и умений, их систематизации. В процессе проверки учащиеся повторяют и закрепляют изученный материал. Они не только воспроизводят ранее изученное, но и применяют знания и умения в новой ситуации. Проверка помогает выделить главное, основное в изучаемом материале, сделать проверяемые знания и умения более ясными и точными. Контроль способствует также обобщению и систематизации знаний.
3. Диагностическая функция. Сущность диагностической функции контроля – в получении информации об ошибках, недочетах и пробелах в знаниях и умениях учащихся и порождающих их причинах затруднений учащихся в овладении учебным материалом, о числе, характере ошибок. Результаты диагностических проверок помогают выбрать наиболее интенсивную методику обучения, а также уточнить направление дальнейшего совершенствования содержания методов и средств обучения.
4. Прогностическая функция проверки служит получению опережающей информации об учебно-воспитательном процессе. В результате проверки получают основания для прогноза о ходе определенного отрезка учебного процесса: достаточно ли сформированы конкретные знания, умения и навыки для усвоения последующей порции учебного материала (раздела, темы).

Результаты прогноза используют для создания модели дальнейшего поведения учащегося, допускающего сегодня ошибки данного типа или имеющего определенные пробелы в системе приемов познавательной деятельности. Прогноз помогает получить верные выводы для дальнейшего планирования и осуществления учебного процесса.

5. Развивающая функция контроля состоит в стимулировании познавательной активности учащихся, в развитии их творческих способностей. Контроль оказывает большое влияние на развитие и проявление таких качеств личности как способности, склонности, интересы, потребности.
6. Ориентирующая функция. Сущность ориентирующей функции контроля – в получении информации о степени достижения цели обучения отдельным учеником и группой в целом – насколько усвоен и как глубоко изучен учебный материал. Контроль ориентирует учащихся в их затруднениях и достижениях.

Вскрывая пробелы, ошибки и недочеты учащихся, он указывает им направления приложения сил по совершенствованию знаний и умений. Контроль помогает учащемуся лучше узнать самого себя, оценить свои знания и возможности.

7. Воспитывающая функция контроля состоит в воспитании у учащихся ответственного отношения к учению, дисциплине, аккуратности, честности. Проверка побуждает более серьезно и регулярно контролировать себя при выполнении заданий. Она является условием воспитания твердой воли, настойчивости, привычки к регулярному труду.

Выделение функций контроля подчеркивает его роль и значение в процессе обучения. В учебном процессе сами функции проявляются в разной степени и различных сочетаниях. Реализация выделенных функций на практике делает контроль более эффективным, а также эффективней становится и сам учебный процесс.

ТИПЫ ТЕСТОВЫХ ЗАДАНИЙ

При тестировании знаний предлагается ряд вопросов и несколько вариантов ответов на них. Обычно в каждом вопросе верным является только один вариант ответа, но бывают вопросы и с несколькими правильными вариантами ответа.

Помимо контроля знаний тесты могут оценивать:

• навыки – распознание деятельности: манипуляции с клавиатурой; результат деятельности и др.;
• умения – навыки, которые используются при нестандартных алгоритмах и задачах, как правило, учитывающие время, потраченное на решение (действие).

В соответствии с моделью выделим три класса компьютерных тестов на знания, умения и навыки. Отметим, что типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого:

1. Типы тестовых заданий по блоку «знания»:

• вопросы альтернативные (требуют ответа да - нет);
• вопросы с выбором (ответ из набора вариантов);
• вопросы информативные на знание фактов (где, когда, сколько);
• вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);
• вопросы по темам, где имеются однозначные общепринятые знаковые модели: математические формулы, законы, предикатные представления, таблицы;
• вопросы, ответы на которые можно контролировать по набору ключевых слов;
• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы тестовых заданий по блоку «навыки»:

• задания на стандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);
• выполнение действия.

3. Типы тестовых заданий по блоку «умения»:

• задания на нестандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);
• выполнение действия.

Выбор типов тестов определяется:

• особенностями инструментальных тестовых программ (тестовыми оболочками);
• особенностями предметной области;
• опытом и мастерством экспертов.

Анализ результатов компьютерного тестирования уровня подготовленности обучающегося позволяет выработать рекомендации прогностического характера по совершенствованию преподавания учебных дисциплин.

ПРИНЦИПЫ СОСТАВЛЕНИЯ ТЕСТОВ

Поскольку в настоящее время для контроля широко используются тесты, то они должны удовлетворять определенным требованиям, так как случайно подобранный набор заданий нельзя назвать тестом:

1. Надежность – заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого.
2. Валидность – адекватность целям проверки:
2. содержательная валидность теста – соответствие теста содержанию контролируемого учебного материала;
3. функциональная валидность теста – соответствие теста оцениваемому уровню деятельности.
3. Определенность – понимание каждым учеником того, что он должен выполнить, какие действия совершить, какие знания продемонстрировать.
4. Простота – формулировка заданий и ответы должны быть четкими и краткими. Показателем простоты является скорость выполнения задания.
5. Однозначность – задание должно иметь единственный правильный ответ – эталон.
6. Равнотрудность – при составлении тестов в нескольких вариантах равнотрудность определяется стабильностью результатов по вопросам во всех вариантах одного и того же задания.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

Разработчики тестов должны придерживаться следующих принципов:

1. тест должен быть восприимчив к угадыванию тестируемым;
2. тест должен соответствовать целям тестирования;
3. нужно определить значимость проверяемых знаний в общей системе знаний;
4. должна быть обеспечена взаимосвязь содержания и формы теста;
5. тест должен быть восприимчив к невнимательности и ошибочным действиям тестируемого;
6. тестовые задания должны быть правильными с точки зрения содержания;
7. должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;
8. тест должен соответствовать уровню современного состояния науки;
9. содержание теста должно быть комплексным и сбалансированным;
10. содержание теста должно быть системным, но, вместе с тем, вариативным.

ТРЕБОВАНИЯ К ПРОГРАММАМ ТЕСТИРОВАНИЯ

Проводить качественное тестирование без применения специальных средств практически невозможно из-за большого объема данных, который необходимо переработать преподавателю:

1. Во-первых, необходимо подготовить большое число вариантов тестов с неповторяющимися вопросами, а подготовка теста – весьма трудоемкий процесс.
2. Во-вторых, оценка результатов тестирования, особенно при использовании статистических методов, достаточно сложна.

Ввиду чрезвычайно высокой трудоемкости написания программ такого рода на языках программирования и высоких требований к программистской квалификации разработчиков, они часто разрабатываются с использованием программных оболочек автоматизированных учебных курсов, имеющих свой язык программирования, интерфейс, рассчитанный на разработчика-непрограммиста.

Для решения этих проблем используются программные средства, которые дают возможность преподавателю оперативно составлять множество вопросов по теме (курсу) и оценивать результаты тестирования. Поэтому неотъемлемым компонентом учебного процесса является пакет интерактивных компьютерных контролирующих программ. Именно благодаря этому компоненту обеспечивается контроль знаний обучаемых.

Для создания тестов постоянно разрабатываются и совершенствуются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий. Важным свойством программ-оболочек является наличие возможности передачи результатов и протокола тестирования какому-либо статистическому пакету для дальнейшей обработки.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Специализированные тестовые оболочки предназначены лишь для формирования тестов.

Рассмотрим основные признаки, которыми должен обладать современный программный комплекс тестирования:

1. свойство универсальности заключается в абстрагировании от содержания, уровня сложности, тематики, типа и предметной направленности отдельных тестовых заданий. Подобная стандартизация позволяет не прибегать для создания каждого очередного теста и обработки его результатов к услугам программистов, а, освоив определенную систему, наполнять ее содержательную часть по различным дисциплинам на основе общих принципов;
2. свойство модульности обеспечивается наличием независимых, но взаимосвязанных компонентов (подсистем): создания теста, мониторинга результатов, проведения тестирования;
3. свойство централизованности. Данные в контролирующей системе должны храниться централизованно на удаленном сервере. Доступ к данным осуществляется через локальную сеть;
4. свойство защищенности. Контролирующая система должна разграничивать права пользователей по типичным ролям для предотвращения доступа тестируемых к правильным ответам теста, возможности изменения теста и т.п.;
5. свойство адаптивности. Контролирующая система может обладать возможностью настройки на проведение диагностирования с применением различных моделей диагностики для получения результатов, определённых ведущей идеей диагностирования;
6. автоматическая обработка результатов теста. В контролирующей системе должна проводиться математическая обработка результатов тестирования, в частности, расчет трудности заданий теста.

Требования к системам тестирования:

1. интуитивно понятный пользовательский интерфейс;
2. обеспечение возможности ввода разнообразных форм ответов;
3. унифицированность формата подготовки тестовых материалов, данных;
4. простота подготовки тестовых материалов;
5. режимы работы тестовой системы: локально независимый, сетевой;
6. статистическая обработка и сохранение результатов работы пользователей;
7. предоставление пользователю возможности отсроченного рассмотрения результатов работы в системе;
8. другие возможности.

Классические тестеры представляют собой перечень вопросов по какой-либо теме или дисциплине. Каждый вопрос выводится на экран с предложением выбрать один из вариантов ответов, предлагаемых здесь же. После каждого ответа предлагается следующий вопрос, а по окончании теста студенту выводится сообщение о результатах тестирования: количество набранных баллов и оценка либо краткая характеристика.

В начале любого теста дается краткая инструкция по выполнению задания, например: "Выберите правильный ответ", "Введите в свободном поле ответ" и т.п. Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция.

Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.

Текст заданий и ответов компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

Одно из важных требований при тестировании – наличие заранее разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный – ноль. Сумм всех баллов, полученных студентом, дает число правильных ответов. Но существуют и другие, более сложные схемы оценивания, например, рейтинговые.

Тест любого уровня усвоения содержит задание и эталон. Эталон – это образец правильного и последовательного выполнения задания.

Тесты оформляют в виде «окон» или «страниц», содержащих только один тест или билетов, в которые включено несколько тестов.

ФОРМЫ ВОПРОСОВ И ОТВЕТОВ ПРИ ТЕСТИРОВАНИИ

Формы вопросов

При тестировании используется четыре формы вопросов:

1. закрытая;
2. открытая;
3. установление соответствия;
4. установление последовательности.

Наиболее распространена закрытая форма, при которой на поставленный вопрос предлагается несколько альтернативных ответов. Задания могут содержать ответы, из которых учащийся должен выбрать один или несколько. Эталон такого теста представляет собой соответственно один или несколько правильных ответов. Оформленные таким образом тесты называют выборочными.

Вопрос в открытой форме представляет собой выражение, которое необходимо дополнить. Данная форма может иметь в задании разнообразные виды информации: словесный текст или формулу (уравнение), чертеж (схему) или график, в которых пропущены составляющие существенную часть слова или буквы, условные обозначения, линии или изображения элементов схем. Получив задание, учащийся должен воспроизвести в памяти и заполнить пропущенные места («пропуски»), а также выполнить другие указания, содержащиеся в задании.

В третьей форме предлагается два множества, и элементам одного множества требуется поставить в соответствие элементы другого множества.

В четвертой форме необходимо установить правильную последовательность предлагаемого списка слов или фраз.

Контролирующая, обучающая и комбинированные программы (контролирующая с элементами обучения, контролирующие игровые, моделирующие с элементами контроля и т.п.) следует разрабатывать с учетом рекомендаций педагогической кибернетики: дидактические программы должны обладать определенным “интеллектом”.

Для повышения корректности теста контролирующая программа должна понимать различные синонимы правильных ответов, проводить синтаксический и семантический анализы ответов обучаемых, различать технические (орфография, ошибки клавиатурного набора) и существенные ошибки, анализировать местонахождение ошибки, может задавать дополнительные вопросы с целью уточнения оценки.

В современных инструментальных системах реализованы следующие методы сравнения эталонного ответа с ответом обучаемого:

1. Анализ по ключевым словам. Этот метод анализа достаточно прост и универсален. Эталонный ответ, заранее введенный преподавателем, используется в качестве ключа, который сравнивается с ответом обучаемого на протяжении всей строки. Ключом может быть один символ, слово или группа слов.

При использовании ключевых слов можно достичь достаточно хороших результатов. Но применять метод надо достаточно осторожно, так как возможности распознавания смысла с его помощью ограничены. Недостаток ключевого поиска выражается в том, что ответ не распознается при перестановках внутри ключа.

2. Синтаксический анализ с использованием символов частичной обработки ответа обучаемого. Этот метод анализа целесообразно использовать в том случае, когда требуется выполнить сравнение не по ключу, а по жесткому эталону. Лишний символ должен считаться ошибкой, пробелы не игнорируются. Выполняется как бы прямое (посимвольное) сравнение посимвольного ответа с эталоном. При совпадении всех символов ответа с символами эталона вырабатывается признак «верно».