СОДЕРЖАНИЕ 
 
 
 

ВВЕДЕНИЕ

     Развитие компьютерной техники в последние годы серьёзно затрагивает условия и способы мышления и обучения на всех уровнях. На этом этапе технического развития уже не только компьютер осваивается культурой как новое знание и новая ценность, но традиционные знания и ценности приобретаются в компьютерной среде. Актуальной задачей педагогической информатики становится помощь профессиональному образованию в адаптации на новом информационном поле, в достижении тех целей, которые постоянно ставит перед собой педагогический коллектив в условиях современной информационной среды. А это значит, что необходимо прививать компьютерную грамотность как условие получения новых знаний посредством информационной среды. Но изучение персонального компьютера представляет сложность как для детей, так и для взрослых. Опосредованность реалий компьютерной средой, выделение нового типа представлений, которые позволяют пошагово передвигаться, по сути, редко встречаются в повседневной жизни.

     В системе образования проходят процессы совершенствования её организации, структуры и содержания национальных учебных планов и программ. Развиваются новые формы дистанционного обучения, усиливаются тенденции к формированию открытого образования. Особенно существенны перемены в средствах и технологиях обучения. Бурное развитие информатики и информационных технологий ставит перед образованием проблему расширения практики опережающего обучения, использования новых технологических средств, совершенствования образовательных методик. Современная система образования должна обеспечить условия для развития у обучаемого навыков постановки задачи, моделирования, оптимизации, принятия решений в условиях неопределённости, умения самостоятельно добывать знания.

     Знания  по предметной области накапливает  наука в виде научных статей, докладов и сообщений. Совокупность этих элементов образует источники научных знаний и представляет нелинейную модель. Нелинейная модель – это многотабличные базы данных и знаний, информационные системы с гипертекстами и мультимедиа. Научные эксперты обобщают и систематизируют знания предметной области, создавая теорию и накапливая практический опыт использования знаний. Систематизация знаний приводит к линейной модели, то есть к последовательному и упорядоченному виду изложения.

     Обучающая система (учитель, средства и технологии обучения) формирует у обучаемого личностную модель знаний. Контроль обучения осуществляется путём её оценки целевой экспертной модели. По всей видимости, удачное сочетание линейной и нелинейной моделей в обучении может существенно облегчить достижение целевых задач учебного процесса. Очень необходимы компьютерные тесты. Использование компьютерных тестов дает возможность оценивать уровень соответствия сформированных знаний, умений и навыков, приобретённых обучаемым, с экспертными моделями знаний, а также сопоставлять их с нелинейными моделями. Это позволит педагогу скорректировать учебный процесс, меняя сочетания используемых линейных и нелинейных технологий обучения.

     Нужно, однако, отдавать себе отчет в том, что, несмотря на разворачивающийся в последние годы «компьютерный бум», мы все еще смутно представляем себе перспективы, открывающиеся на этом пути, и трудности, с которыми придется сталкиваться.

     Целью работы было формализовать задачу тестирования, спроектировать и разработать программу тестирования, отвечающую современным требованиям, учитывающую особенности тестирования в Современной Гуманитарной Академии, выявить основные особенности и сложности при создании такого рода программ, разработать рекомендации для разработчиков компьютерных тестов.

 
1.1. Назначение и  область применения приложения

     В настоящее время большое внимание уделяется разработке компьютерных тестов и их использовании в учебном процессе.

     Учебный процесс, как сложная система включает в себя четыре составные части: учебный план, структуру и содержание курса, обучающую среду (педагог, средства и технологии обучения) и контроль образовательного процесса. Первые две части образуют педагогическую модель знаний (ПМЗ) предметной области.

     Контроль  обучения осуществляется путем оценки соответствия между ПМЗ и личностной моделью знаний обучаемого (ЛМЗ) с  помощью промежуточных и итоговых измерений уровней знаний, умений и навыков ЛМЗ.

     Педагогическая  модель знаний является, как правило, линейной структурой, которую можно представить в виде совокупности последовательно взаимосвязанных модулей знаний (рисунок 1.б) 

     а) б)

Рисунок 1

Педагогическая  модель знаний представляет  
собой линейную структуру

     Каждый  модуль предполагает входящую информацию из других модулей и генерирует собственные новые понятия и свойства. Модуль может быть представлен в виде базы данных, базы знаний, информационной модели. Понятия со свойствами и отношениями между ними представляют семантический граф.

Рисунок 2

Связи между  понятиями

     Модульное представление знаний помогает:

• организовать четкую систему контроля с помощью компьютерного тестирования, поскольку допускает промежуточный контроль (тестирование) каждого модуля и итоговый по всем модулям и их взаимосвязям с помощью методики «черного ящика»;
• осуществлять наполнение каждого модуля педагогическим содержанием;
• выявлять и учитывать семантические связи модулей и их отношение с другими предметными областями.

     Проектирование  модели знаний играет важную роль для  образовательного процесса. От этого в конечном итоге зависит обучающая среда: преподаватель с его квалификацией и опытом, средства и технологии обучения, а главное – контроль обучения с помощью компьютерных тестов, который получает в настоящее время широкое распространение.

     Определим основные понятия компьютерного  тестирования.

     Тестирование  – это процесс оценки соответствия личностной и педагогической модели знаний.

     Главная цель тестирования – обнаружение взаимного несоответствия этих моделей и оценка уровня их несоответствия.

     Тестирование  проводится с помощью специальных  тестов, состоящих из определенного  набора тестовых заданий.

     Тестовое  задание – это чёткое и ясное  задание по конкретной предметной области, требующее однозначно определяемого ответа или выполнение определенного алгоритма действий.

     Тест  – набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

     Тестовое  пространство – множество различных  тестовых заданий по всем модулям  модели знаний. Важнейшим элементом  в подготовке тестов выступает класс  эквивалентности тестовых заданий.

     Класс эквивалентности – множество  тестовых заданий, таких, что выполнение одного из них гарантирует выполнение других. Приведём математическое определение класса эквивалентности:

    «Класс  эквивалентности – для множества  S, на котором определено отношение эквивалентности, это подмножество, состоящее из всех элементов S, которые эквивалентны друг другу, но не каким-либо другим элементам S.»¹

     Таким образом, чтобы определить класс  эквивалентности на множестве тестовых заданий необходимо определить отношение  эквивалентности на этом множестве. Два теста будем считать эквивалентными, если они проверяют одинаковые знания, умения или навыки. (Правильное решение одного из них гарантирует выполнение другого).

     Полный  тест – подмножество тестового пространства, обеспечивающего объективную оценку соответствия между личностной и экспертной моделями знаний.

     Эффективный тест – оптимальный по времени  и объёму полный тест.

     Тестирование  выступает как педагогическое средство обучающей системы и может быть использовано как технология контроля образовательного процесса, позволяющей оценить уровень знаний, умений и навыков обучаемого.

 
1.2. Постановка задачи

     Самой сложной задачей эксперта по контролю является задача разработки тестовых заданий, которые позволяют максимально оценить уровень соответствия или несоответствия ПМЗ и ЛМЗ.

     Построение  компьютерных тестов можно осуществить  по следующим последовательным шагам:

1. формализация экспертной целевой модели знаний;
2. нисходящее проектирование тестового пространства;
3. формирование и наполнение тестовых заданий;
4. формирование полного компьютерного теста;
5. тестовый эксперимент;
6. выбор эффективного теста;
7. анализ, корректировка и доводка теста до вида эксплуатации.

     Множество тестовых заданий (тестовое пространство), согласно принципу исчерпывающего тестирования, вообще говоря, может быть бесконечным. Однако очевидно, что существует конечное подмножество тестовых заданий, использование которых позволяет с большой вероятностной точностью оценить соответствие ЛМЗ экспертным моделям знаний (полный тест). Из полного теста можно выделить эффективный тест (оптимальный по объёму набор тестовых заданий, гарантирующий оценку личностной модели студента заданным критериям). Выбор эффективного теста зависит от удачного разбиения тестового пространства на классы эквивалентности, пограничные условия, подходящих тестов на покрытие путей и логических связей между понятиями и модулями.

     Далее тест должен быть «оттестирован» на экспертной модели по принципу «белого ящика», а затем – на ЛМЗ. Тем не менее, следующим этапом необходим тестовый эксперимент на группе учащихся, который позволит провести корректировку и доводку теста до эксплуатационного вида.

     В компьютерных тестах необходимо также  предусматривать тестирование знаний и профессиональных способностей. Как правило, основной задачей педагогического использования компьютерных тестов является определение объема и качества знаний, уровня навыков и умений. В связи с этим удобно выделить три класса компьютерных тестов знаний, умений и навыков. Типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого.

Рисунок 3

Схема создания теста

     1. Типы тестовых заданий по блоку  «знания:

• альтернативные вопросы (требуют ответа «да»/»нет»);
• вопросы с выбором (ответ выбирается из готового набора вариантов);
• информативные вопросы на знание факторов (где, когда, сколько);
• вопросы, ответы на которые можно контролировать по набору ключевых слов;
• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы  тестовых заданий по блоку  «навыки» (распознание деятельности - манипуляций с клавиатурой, по конечному результату);

• задания на стандартные алгоритмы (альтернативные «да»/ «нет», выбор из набора вариантов);
• выполнение определённых действий.

3. Типы  тестовых заданий по блоку  «умения». То же самое, что по  блоку «навыки», но с использованием нестандартных алгоритмом и задач предметной области при контроле времени их решения:

• задание на нестандартные алгоритмы (альтернативные «да» / «нет», выбор из набора вариантов);
• выполнение определённых действий.

     Выделяют  четыре основные конструктивные формы тестовых заданий, которые могут быть представлены с помощью разнообразных технических приёмов. (Реальные задания чаще всего являются модификацией или комбинацией четырёх перечисленных ниже форм).

     Задания в закрытой форме (с выбором правильного  ответа). К таким заданиям относятся, например, стандартный тест (выбор одного из нескольких альтернативных вариантов), указание ошибок в тесте и др.

     Задания в открытой форме. В них не используются готовые варианты ответов, а испытуемому  нужно самому дополнить (например, набрать с клавиатуры) требуемое слово, группу слов, формулу, знак, число, и т.п.

     Задание на установление соответствия. Здесь  испытуемому предлагается восстановить соответствие между элементами двух или нескольких списков (множеств), найти соответствие между понятиями и определениями, между визуальной и текстовой информацией, выполнить различные виды сортировок и классификацией по нескольким признакам («корзинам»).

     Задания на конструирование правильной последовательности по одному или нескольким параметрам. Такие задания применяются для контроля усвоения студентом какого-либо процесса и связанного с ним алгоритма, хронологии исторических событий и фактов, ранжирования персоналий, понимания логики связей.

     Хорошим считается тест, когда он:

• чувствителен к угадыванию тестируемого;
• восприимчив к невнимательности и ошибочным действиям тестируемого;
• положительно влияет на тестируемого и педагога, который использует тест.

     При этом тест используется студентом для  обучения (тренажёр, самопроверка) и контроля. Для преподавателя же тест служит:

• средством коррекции учебного процесса;
• вспомогательным средством для текущего контроля, дидактическим средством обучения;
• для дистанционного обучения.

     Компьютерные  тесты являются одним из средств  обучения в рамках виртуально-тренинговой системы образования. Основное требование к программе заключается в её соответствии индивидуально-вариативной форме обучения студентов. Этому требованию, на мой взгляд, отвечает макроструктура компьютерной тестирующей программы, которая должна включать пять основных функционально связанных с собой блока:

• блок, наполнения банка заданий по данной дисциплине (модулю знаний, учебному элементу);
• блок статистики результатов тестирования, в которой включён модуль оценки усвоения знаний по каждой выделенной контрольной единице тестирования;
• блок администрирования, предназначенный для установки преподавателем или самим студентом различных параметров и режимов работы программы (общего количества заданий для тестирования, контроля времени, критериев выставления оценки тестирования и т.п.)
• блок выбора режима тестирования. К этому блоку относятся выбор одного из следующих режимов – «жесткий» режим, в котором тестирование производится с ограничением времени (на 1 вопрос отводится 1 минута); «мягкий» режим, где тестирование производится без учета времени, и режим «тренировка», где также не учитывается время, и сразу выдается ответ «правильно» или «неправильно».
• блок тестирования, в котором производится собственно тестирование в соответствии с выбранным режимом.

     Наиболее простая логика программы заключается в сквозном режиме представления тестовых заданий, последовательно проверяющих усвоение каждой контрольной единицы тестирования. Обычно считается, что все задания равноценны, и за выполнение задания испытуемый получает или 1 или 0, хотя в банке заданий по данной дисциплине напротив каждого задания можно установить балл за правильное решение задания. В соответствии с установленным в блоке администрирования критериальным числом, связанным с процентом правильно решенных заданий, программа определяет, какой смысловой модуль усвоен, а какой не усвоен. При этом вариативность, избирательность программы определяется критерием досрочного перевода испытуемого к тестированию по следующей группе заданий в зависимости от успешного прохождения первых двух (трех) заданий данной группы.

     Это позволяет значительно сократить  объём теста для хорошо подготовленных студентов и, наоборот, дает возможность более основательно проверить знания тем, кто не уверен в своей подготовке.

     Статистика результатов тестирования представляется программой в виде таблицы (или списка), в которой указаны контрольные единицы, усвоенные или не усвоенные учащимися.

     В заключении отметим, что разработанный  по представленной технологии тест, чтобы получить статус полноценного педагогического теста, должен пройти серьёзную проверку на надёжность и валидность. Эта проверка связана с предварительной апробацией теста на значительным количестве учащихся и требует определённого времени. Однако такая проверка необходима и должна быть включена в полный технологический цикл производства и внедрения контролирующих компьютерных программ в учебный процесс.

 
1.3. Организация входных  и выходных данных

     Ранее существовал подход к программированию тестов с концепцией «одна компьютерная программа тестирует испытуемого только на одном тесте», иначе говоря, все вопросы и варианты ответов на них хранились в теле программы, в ее коде. Поэтому, если необходимо было создать другой компьютерный тест, писалась другая компьютерная программа тестирования. Этот подход неэффективен, так как он не позволяет организовывать предложение вопросов в случайной последовательности и выбор числа вопросов испытуемым. По сути, такие программы работают по простому алгоритму: выдай вопрос – прими ответ.

     Более современным является подход хранения тестовых заданий во внешнем файле (в базе данных) а универсальная программа тестирования выбирает задания из этой базы данных, предлагает ее испытуемому и ведет протоколирование результатов. Таким образом, одна программа может выбирать вопросы и ответы не только из одной, а из нескольких баз данных тестов и таким образом, является универсальной тестирующей программой. Результаты прохождения тестов также записываются в базу данных, что позволяет вести статистику тестирования по каждому студенту.

     Программа также позволяет создавать новые  тесты, то есть наполнять содержимым некоторую базу тестирования в какой-либо предметной области.

     Рассмотрим  структуру базы данных, в которой  хранятся тестовые задания из какой-либо предметной области. В базе присутствуют следующие таблицы:

• OpenClose – предназначена для хранения всех вопросов.
• CloseOtvet – хранит предложенные варианты с указанием правильного на тестовые задания (ТЗ) закрытого типа;

     Каждое  тестовое задание идентифицируется своим кодом. Таблица с заданиями OpenClose содержит поле Kod типа Счетчик. Все остальные таблицы также содержат в качестве указателя на номер тестового задания поле Kod числового типа. На рисунке 4 показан конструктор таблиц:

     Связи между таблицами отображены на рисунке 5. Как видим, используется связь между таблицами «один-ко-многим», так как главная таблица OpenClose содержит задание, идентифицированное ключевым полем типа Счетчик, а каждая другая таблица содержим множество вариантов ответов на это задание

Рисунок 4

Структура полей таблиц базы данных тестирования

     . 

Рисунок 5

Схема данных базы данных тестирования  
(банка заданий по данной дисциплине) 

     Множество испытуемых (студентов, учеников) также хранится в иерархической базе данных.

     База  данных имеет пять таблиц с определенными  иерархическими связями:

• Таблица Facultet содержит список факультетов академии (университета);
• таблица Groups содержит список групп университета. Для каждой группы определена принадлежность к какому-либо факультету.
• таблица Students содержит список студентов академии (университета). Для каждого студента определена его принадлежность к какой-либо группе.
• таблица Results содержит результаты тестирования каждого студента по всем пройденным им тестам. Связь с таблицей Students осуществляется по коду студента в таблице Students.
• таблица ListTest содержит список тестов с указанием объема тестового набора с указанием пути к файлу с набором тестовых заданий (базе данных теста).

Рисунок 6

Схема базы данных «Академия» 
 

     Таким образом, база данных университет представляет собой иерархически организованную структуру где самой главной таблицей является Facultet, подтаблицей является таблица Groups, таблица Students, в свою очередь является подчиненной к таблице Groups, а таблица Results является подчиненной к таблице Students.

     На  рисунке 6 показана таблица Facultet с раскрытыми подчиненными таблицами.

Рисунок 7

Благодаря определенным связям из главной таблицы можно наблюдать записи в подчиненных таблицах.

     Все базы данных, использующихся в этом проекте являются распределенными базами данных, то есть хранятся на головном компьютере (сервере), а наполнение их производится с компьютеров, включенных в локальную сеть, то есть все результаты тестирования, каждое из которых проводилось на локальном компьютере записывается в распределенную базу данных. Подключение к распределенной базе данных в программе производится с помощью настроечного файла iniTest.txt, в котором прописывается сетевой путь на базы тестирования и на базу данных Univer97.mdb.

      Схема взаимодействия программы с  базой данных представлена на рисунке 8:

Рисунок 8

Схема взаимодействия программы с базой данных 

     DLL, являющаяся начинкой Jet, автоматически связываются с программой на Visual Basic во время выполнения. Jet преобразует запросы от программы в физические операции над mdb-файлом или другим источником данных.

 
1.4. Выбор состава  технических и программных средств

     Система управления базами данных Access 97 служит для создания различных баз данных, их редактирования, выборки из базы требуемых данных по условию, созданию на основе баз отчетов различной формы. Следует отметить, что в современное понятие «База данных» включается не только объект таблица, но также и запрос, отчет, форма, макрос, модуль. Немаловажный фактор то, что в одной базе данных может содержаться по несколько объектов каждого вида, что позволяет создавать взаимосвязанную структуру обработки данных.

     Необходимость программировать всегда сдерживала широкое внедрение баз данных в малом бизнесе. Крупные предприятия могли позволить себе сделать заказ на программирование специализированной системы “под себя”. Малым предприятиям зачастую не по силам было не только решить, но даже и правильно сформулировать эту задачу…С помощью Access 9x обычные пользователи получили удобное средство для создания и эксплуатации достаточно мощных баз данных без необходимости что – либо программировать. В то же время работа с Access 9x не исключает возможности программирования. При желании систему можно развивать и настраивать собственными силами. Для этого надо владеть основами программирования на языке Visual Basic.

     Для современного бизнеса требуется  огромное число приложений, занимающихся сохранением и извлечением информации. Базы данных позволяют просматривать, вводить и хранить огромные объёмы информации, которую в дальнейшем можно извлекать и изменять. По мере необходимости эти сведения используются для отображения и составления отчетов, графиков и диаграмм или даже для генерации счетов-фактур, наряд-заказов и т.д.

     Общий вывод таков: всюду, где есть значительные объёмы информации, которые надо упорядочивать  и хранить, напрашивается применение баз данных. Как правило, большинство программ на Visual Basic работает с той или иной информационной базой. Есть целый ряд ситуаций, в которых использование комбинации «Visual Basic -- база» данных наиболее эффективно, в том числе:

• реализация нового приложения «с нуля»;
• доступ к существующей корпоративной базе данных;
• взаимодействие между базой и Web-сайтом, благодаря чему клиент сможет заказывать товары непосредственно через Internet.

     Местонахождение и назначение базы данных, с которой  вы работаете, может широко варьироваться.

     «Visual Basic - не просто язык программирования. Это - интегрированная среда, позволяющая разрабатывать, выполнять, тестировать и отлаживать широкий спектр задач - от образовательных приложений до баз данных, от финансовых приложений до компонентов Internet.»²

     «В  начале 90-х годов казалось, что C++ очень быстро завоюет мир. И это  потому, что С++ позволял программистам  создавать классы, допускающие повторное применение и модификацию другими программистами. Информационные отделы корпораций восприняли это как долгожданную панацею. Или, если сменить метафору, казалось, что найден Святой Грааль повторного использования, отменяющий необходимость снова и снова реализовывать одну и ту же функциональность в каждом проекте. Однако на практике все оказалось гораздо сложнее. Классы, написанные на С++ оказались слишком абстрактны и достаточно трудны для работы. Поэтому программистам приходилось адаптировать исходные тексты классов под каждый проект, а это вновь превращало повторное использование из реальности в несбыточную мечту.