Идеи и принципы тестологии

Российский государственный социальный университет

Филиал в г. Чебоксары

Факультет социальной работы

Реферат

по дисциплине «Методика исследований в

социальной работе»

Идеи и принципы тестологии

Выполнила студентка факультета

социальной работы группы ДС-11-09 Иванова Татьяна Викторовна

Проверил к.ф.н., доцент кафедры

социальной работы и социального права

Милюхин Кирилл Владимирович

Чебоксары

2012

Содержание

Введение...............................................................................................................3

1. Тестология как наука......................................................................................4

1.1. Зарождение и развитие тестологии............................................................4

1.2. Тестология в России....................................................................................6

2. Теоретические и методические основы тестологии....................................9

2.1. Разработка тестов.........................................................................................9

2.2. Критерии оценки эффективности теста...................................................12

Заключение.........................................................................................................16

Список использованной литературы...............................................................17

Введение

В социальной работе объектом изучения является конкретная личность или же некоторая сообщность людей. Как правило, сведения о социальной общности приходится получать путем анализа данных об индивидах, ее составляющих. Суммарные сведения об индивидах – их социальные ориентации, мнения, стереотипы мышления – существенные характеристики социального целого. Поэтому, а также потому, что современная наука развивается на междисциплинарной основе, в социальной работе активно используются методики, разработанные в психологии.

Одной из таких методик является тестирование. Тест - краткое испытание, результат которого выражен в количественной форме и показывает уровень выраженности каких-то измеряемых психических свойств [11;169]. Это могут быть и черты, и способности, и состояния, широко объединяемые термином «психические свойства». Оценкой качества тестов занимается прикладная наука, называемая тестологией.

Тестология - наука, изучающая возможности оценить различные свойства личности с помощью специально разработанных тестов и методов их интерпретации [2;98]. Тестология появилась на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук, и призвана заниматься вопросами разработки тестов для объективного контроля знаний, умений, навыков и представлений.

Исходя из вышесказанного, целью данной работы является изучение основ тестологии, выявление и определение основных понятий и принципов этой науки. Для достижения данной цели необходимо решить следующие задачи:

1. Изучить историю развития науки тестологии;

2. Рассмотреть основы конструирования тестов;

3. Проследить этапы разработки теста;

4. Разобрать основные критерии оценки эффективности тестов.

1. Тестология как наука

1.1. Зарождение и развитие тестологии

Тестология - междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик [14]. В психологии содержание тестологии во многом совпадает с содержанием дифференциальной психометрики. Но принципы и методы тестологии выходят за рамки психологии. Они широко применяются в других отраслях науки и практики — в педагогике, медицине, технике, менеджменте (профессиональный отбор). В каждой из этих отраслей методы тестологии имеют общие черты, связанные с обеспечением таких свойств тестовых методик, как валидность, надежность, эффективность и т. п. Но есть и определенная специфика, связанная со спецификой предмета тестирования (профессиональные и общеобразовательные знания, комплекс медицинских симптомов и т.п.) и условий сбора эмпирической информации. Так как метод тестов не исчерпывает собой все многообразие методов современной психодиагностики, неправильно отождествлять тестологию с психодиагностикой.

Впервые понятие тест применительно к психологии ввел Ф. Гальтон в XIX в., и он же заложил основу математического аппарата: ввел формулу для вычисления коэффициента корреляции. Тестология как теория тестов со своими методами научного исследования появилась в начале ХХ в. Авторы первого педагогического теста, созданного для измерения интеллектуальных способностей детей, французы А. Бине и Т. Симон в 1908—1911 гг. провели эмпирическую проверку заданий, которые предполагалось включить в их тест. Критериями оценки пригодности заданий стали эмпирическая мера трудности каждого задания, которую они определяли по доле правильных ответов в группах детей разного возраста, и степень совпадения результатов теста с мнением преподавателей. Так фактически были заложены основные характеристики теста: норма трудности и валидность; разработана шкала Бине — Симона. Показатель интеллекта Бине вычислял как разность между «умственным» и биологическим возрастом. Однако со временем было замечено, что эта разность все время увеличивается, в то время как отношение возрастов остается постоянным. Штерн в 1911 г. назвал отношение рассмотренных возрастов, выраженное в процентах, коэффициентом интеллекта (IQ); так IQ вычислялся до 30-х гг. ХХ в. [8;7].

Современная тестология представляет собой вполне зрелую прикладную науку, которая ставит перед исследователями широкий спектр теоретических проблем, предлагает многочисленные математические подходы, модели и методы. Широкому распространению, развитию и совершенствованию тестов способствовал целый ряд преимуществ, которые дает этот метод. Тесты позволяют дать оценку испытуемому в соответствии с поставленной целью исследования; являются относительно оперативным способом оценки большого числа неизвестных лиц; способствуют объективности оценок, не зависящих от субъективных установок лица, проводившего исследование. Обеспечивают сопоставимость информации, полученной разными исследователями на разных испытуемых.

Сейчас в тестологии намечаются следующие направления развития:

1. Развитие процедуры тестирования. Прежде всего, это относится к пересмотру пунктов. Раньше пересмотр отнимал много времени и был довольно дорогостоящим. Сейчас намечаются 3 направления: непрерывный пересмотр пунктов заданий как обновление банка заданий; обновление норм, а не заданий; разрешение пересмотра ответов тестируемых в течение сеанса тестирования.

2. Автоматическая разработка заданий. В ее основе лежит использование искусственного интеллекта. Сейчас некоторые программы уже производят генерацию заданий, например, математический тест GRE® [8;10].

1.2. Тестология в России

Четвертое десятилетие XX века отметилось применением технических средств для подсчета тестовых показателей. По-особому проходило развитие метода тестирования в отечественной педагогике. Практическое значение тесты получили после создания в 1925 году тестовой комиссии при педагогическом отделе Института методов школьной работы, в задачи которой входило разработка стандартизированных тестов для советской школы, их массовое использование в учебных заведениях. С помощью таких тестов, которые создавались на основе американских, можно было проверить знания учащихся по правописанию, счету, решению задач, географии, естествознанию и обществоведению. К тестам прилагались инструкции и личные карточки для учета прогресса учащегося.

Сторонники научного направления развития психологии (Ф. Рыбаков, Г. Россолимо и др.) активно способствовали распространению идеи тестирования, подражая своим западным коллегам. Позднее тесты для педагогических целей разрабатывали известные советские психологи и педагоги, среди которых - М. Басов, М. Берштейн, П. Блонский, С. Василейский и другие. Указанное время характеризуется интенсивным и неконтролируемым использованием тестов в системе народного образования. Массовые тестовые исследования не всегда подкреплялись серьезной проверкой качества инструментария. Учитывая распространение «тестомании» и ряда других субъективным причинам было принято постановление «О педологических извращениях в системе Наркомпосу» от 4 июля 1936, в которой было запрещено использование тестов и анкет [6;170].

Всего в постановлении речь шла не о дидактических тестах, а о тестировании умственных способностей. Но в атмосфере 30-х годов XX века термин «Тест» стал символом «педологических извращений». Это постановление действовало до середины 50-х годов XX века, но и позже любые тесты считались «Буржуазным средством». Вследствие этого даже будущие педагоги и психологи не изучали тестологии, не было профессиональной литературы, посвященной проблемам конструирования и оценивания качества тестов и т.д.

Хотя в 30-е годы XX века работа с тестами затормозилась, научное изучение истинных возможностей этого метода не прекращалась; элементы метода тестов успеваемости (без упоминания соответствующего термина) использовались при учете успеваемости учащихся в общеобразовательных школах. Образцы тестовых заданий можно найти в сборниках упражнений и задач, контрольных заданий по различным учебным предметам.

Открыт вопрос о возможности и целесообразности использования тестов в советской школе был лишь в 60-х годах XX века в связи с возникновением и попытками реализовать индивидуальный подход в обучении. В 70-80-х годах XX века широко распространялись сборники задач и упражнений, предназначенных для использования их машинами типа «репетитор», и контрольные задания-тесты, предназначенные для использования с машинами типа «Экзаменатор». Также были разработаны тестовые задания, проверялись с помощью перфокарт. В 70-х годах XX века появился ряд разработок, в которых освещался опыт и проблемы массовых процедур контроля знаний учащихся и студентов с помощью специально разработанных контрольных работ, имевших признаки классического тестирования. Их авторами были С. Архангельский, В. Аванесов, Л. Болотник, Г. Батурина, В. Беспалько, М. Бернштейн, Б. Володин, Л. Ительсон, Е. Кульянов, В. Копылов, В. Мезинцев, В. Огорелков, Н. Талызина и др. [12]

В этот период появилось значительное количество работ, посвященных математическим проблемам педагогических измерений. В них рассматривались вопросы разработки шкал измерения результатов контрольных работ, математических моделей обработки информации в педагогических исследованиях, в частности с использованием ЭВМ, а также вопросы статистики.

Однако использование тестов многими не поддерживалось. Полемика о правильности внедрения тестов периодически велась до середины 70-х гг. и почти полностью была приостановлена до начала 80-х годов XX века. В то время психодиагностика стала отдельной областью исследований и приобрела значение многоотраслевой науки - общей психодиагностики. В настоящее время в психодиагностике использовалась вычислительная техника. В конце XX века, после распада Советского Союза, развитие психологической диагностики, как и других наук, в известной мере приостановилось. Однако в основных психологических центрах (Москва, Санкт-Петербург) определенная работа в области психодиагностики была продолжена [9;12].

На основе вышеизложенного можно сделать следующий вывод. Несмотря на заметное отставание разработки и внедрения тестовых технологий в конце ХХ в., связанных с политикой СССР в 30-х гг., на сегодняшний день в России наблюдается заметное увеличение темпов развития тестологии, что связано с доступностью международного опыта и развитием компьютерной техники. Для дальнейшего развития тестовых технологий в стране основными задачами являются правильность образовательной политики государства, улучшение качества тестов, применение новых технологий в тестировании и разработку не только итоговых, но и обучающих образовательных тестов.

2. Теоретические и методические основы тестологии

2.1. Разработка тестов

Прежде всего, необходимо обрисовать цель, ради которой вообще затевается оценка и анализ тестовых заданий. Предусматривая основной принцип конструирования теста — максимальное отражение всех параметров свойства через минимальное количество заданий. Ничего лишнего. Анализ тестовых заданий призван именно для устранения «сорняков».

Анализ и оценка тестовых заданий начинается после апробации теста на целевой группе. Полученные данные сводятся в таблицу с матричной структурой, в которой задания начинают сортироваться по следующим критериям [15]:

1. Мера трудности задания.

Мера трудности задания дает информацию о степени задействования того параметра изучаемого свойства, которое оно призвано измерять. Иногда говорят, что мера трудности определяет соответствие задания целевой группе. Можно сказать, что данный критерий позволяет судить и об этом.

Трудное задание или легкое, определяют путем подсчета доли неправильных ответов к каждому из них. Однако сегодня применяется и не совсем классический способ определения трудности задания — умозрительно, на основе предполагаемого числа и характера тех элементов, которые участвуют в выполнении задания (и входят в параметр измеряемого свойства). Допустим, в тесте на объем памяти присутствует задание, связанное с произвольным запоминанием, в котором могут участвовать речь (проговаривание списка цифр вслух или «про себя»), мышление (построение ассоциативных связей) и т.п. В этом случае задание на запоминание числового ряда с отвлеканием испытуемого может повысить трудность его выполнения.

2. Дифференцирующая способность.

Дифференцирующая способность задания — насколько оно может отличить сильного испытуемого от слабого по измеряемому свойству. Если по одному из заданий у всех испытуемых имеется одинаковое значение — это задание нецелесообразно включать в тест. Очень сложно не сделать ошибку и не принять дифференцирующую способность задания за его трудность (легкость). Дело в том, что в тестах, измеряющих качество выполняемой деятельности, знаний и т.п., тестах достижений, ряд одинаковых ответов на задание будет означать два варианта: правильно/неправильно. Соответственно, по этому ряду можно сделать неверный вывод о трудности (в случае всех неправильных ответов) или легкости (в случае всех правильных ответов) задания.

Необходимо заметить, что данным критерием часто пренебрегают составители современных тестов. Это приносит большие неудобства и испытуемым, которым приходится отвечать на лишние вопросы, и психологам, которые вынуждены обрабатывать лишнюю информацию.

3. Вариация и дисперсия.

Вариация — буквально, степень разнообразия данных, полученных при выполнении задания. Она отражает дифференцирующую способность. Если дифференцирующая способность высокая, мы говорим о вариативных данных, и наоборот. При невариативных данных задание удаляют из теста. Определяется вариация путем вычисления дисперсии. Дисперсия вычисляет сумму квадратных отклонений значений баллов от среднего арифметического балла. Проще говоря, рассчитывается среднее арифметическое по выборке, и все полученные значения баллов начинают с ним сравниваться. Таким образом, мы получаем информацию о вариации тестового задания. Общепринятой мерой вариации тестовых баллов задания является стандартное отклонение, которое определяется путем вычисления квадратного корня из дисперсии.

Иногда вариацией называют наблюдаемую переменную величину. Дело в том, что то свойство, на измерение которого направлен тест, принимается за латентную (ненаблюдаемую) переменную. А с помощью теста определяется наблюдаемая переменная, которая выявляет лишь приближенные значения ненаблюдаемых истинных баллов испытуемого.

Первичный анализ результатов тестирования.

Итак, тест стандартизован, апробирован, одобрен экспертной комиссией. Теперь с помощью него можно получать необходимую информацию о психологическом свойстве или способности человека. Для этого после проведения тестирования проводят первичный анализ результатов. Обычно о нем говорят в случае группового тестирования.

Полученные данные сначала необходимо свести к среднему значению. Оно более наглядно показывает групповой результат. Однако среднее значение мало информативно в отношении характеристики распределения значений баллов, частоты встречаемости каждого значения. Мода (Мо) — показатель наиболее часто встречающегося значения балла. Мод может быть несколько — наибольшее количество раз могли встретиться несколько значений. Далее выборку делят пополам, а значения баллов пограничного испытуемого принимаются за медиану (Ме) [14].

График результатов теста обычно принимает форму колокола («колокол Гаусса»), отвечая закону о нормальном распределении, где крайние значения показывают редко встречающиеся баллы, а при приближении к середине кривой частота встречаемости баллов увеличивается. Моды, медиана и среднее арифметическое значение также откладываются на графике. В некоторых случаях они могут совпадать — тогда распределение данных называют симметричным. Чем больше расстояние между модой, медианой и средним значением, тем больше результаты теста отклоняются от нормального распределения [14].

2.2. Критерии оценки эффективности теста

Ошибки, влекущие за собой снижение эффективности теста, появляются, если:

- Тест неправильно составлен;

- Тест неправильно стандартизован;

- Тест неправильно использован.

Конструрирование теста.

Прежде, чем начинать конструировать тест необходимо четко представлять себе то психологическое свойство, которое он будет измерять. Ни один тест не создается «с нуля», обычно за его созданием стоит длительная научная работа по изучению тематического материала. Перед конструктором психологического теста стоит сложная задача — наиболее полно отразить все стороны измеряемого психологического свойства через минимальное количество заданий. Последнее условие — один из критериев эффективности теста.

Кроме этих требований, тест должен соответствовать целевой группе, на которую он направлен. Разрабатываются задания соответствующей сложности и доступности для разных возрастных групп, для людей с различными психическими нарушениями, для представителей разных национальных и языковых групп. Если тест предлагается к проведению в другой языковой группе или стране, его необходимо адаптировать.

Также необходимо учитывать и некоторые эффекты, наблюдаемые при заполнении людьми тестовых заданий. Так называемый эффект социальной желательности срабатывает тогда, когда человек в своих ответах хочет представить себя в лучшем свете. Многие тесты вооружены до зубов «шкалами лжи», вопросами-ловушками и пр. Но и это не всегда помогает — человек находит одинаковые вопросы, держит в памяти свои ответы.

Есть еще один прием — подмена цели теста в инструкции, если эта цель вообще открывается испытуемому. Тогда человек, отвечая на вопросы, показывает себя хорошо с одной стороны (ложная цель) и дает более или менее достоверные сведения о другой стороне (истинная цель), которая на самом деле измеряется данным тестом.

Существуют и требования к формулировке вопросов, к порядку их расстановки в тесте. Они опять же зависят от целевой группы, на которую тест рассчитан.

Правильно составленный тест еще нельзя назвать разработанным. Для этого он должен быть стандартизован.

Стандартизация.

Стандартизация теста обеспечивает возможность сравнения полученных с его помощью данных от разных людей. Для этого необходимо, чтобы все эти люди находились в равных условиях. На психологическом языке это называется «контроль всех зависимых переменных». В идеале единственной независимой переменной в тесте будет личность испытуемого. Для обеспечения равных условий разработчик теста дает специальные указания по его проведению. Они включают:

- Специфику стимульного материала;

- Временные ограничения (time limits);

- Инструкцию испытуемым;

- Пробные образцы заданий;

- Допустимые ответы на вопросы (если таковые ограничения необходимы).

Кроме этих указаний, в приложение к тесту включаются специально установленные нормы ответов (в «сырых баллах») и их интерпретации.

Помимо стандартизации тест должен быть проверен на предмет своей эффективности по критериям надежности и валидности. Очень часто эти понятия делают взаимозаменяемыми, поэтому рассмотрим, какое значение имеет каждое из них [15].

Надежность.

Под надежностью понимают согласованность результатов, полученных при каждом повторном выполнении теста одним и тем же испытуемым, с результатами его первого тестирования. Абсолютной тестовой надежности не существует, погрешности допускаются, однако чем они выше, тем ниже тестовая эффективность. Надежность можно проверить следующими методами:

- тест-ретестовая надежность подразумевает многократное выполнение одного теста и корреляционное сравнение полученных результатов;

- разделенная надежность определяется при делении теста на две части и сравнение результатов выполнения двух частей по отдельности;

- эквивалентная надежность выявляется путем предъявления испытуемому теста и его альтернативного варианта. Полученные результаты также сравниваются между собой [15].

Валидность.

Психологические словари раскрывают понятие валидности как степени соответствия теста своему назначению измерять то, для чего он создан; действительной способности теста измерять ту психологическую характеристику, для диагностики которой он заявлен. Количественно валидность теста может выражаться через корреляции результатов, полученных с его помощью, с другими показателями, например, с успешностью выполнения соответствующей деятельности.

Оценка валидности теста включает следующие этапы:

- определение очевидной валидности (face validity). Такую валидность видно, что говорится, «невооруженным глазом» — оценивается общее соответствие теста его назначению.

- определение концептуальной валидности (construct validity). Степень соответствия теста, измеряющего какое-либо свойство, общепринятым теоретическим представлениям об этом свойстве. Как правило, эта валидность оценивается экспертами.

- определение эмпирической валидности (empirical validity). Выбирается критерий (независимая переменная), с которой связываются результаты теста. К примеру, критерием для теста готовности к школе может стать общая оценка успеваемости первоклассника.

- определение содержательной валидности (content validity). Разработанный тест должен включать вопросы для оценки максимально возможного числа параметров того свойства, которое этот тест измеряет (выше упоминалось первое правило составления теста — максимальное количество параметров свойства через минимальное количество заданий). Эта валидность также оценивается с помощью экспертных оценок [15].

Вышеприведенные методы оценки эффективности теста помогают психологу не только самому конструировать инструменты для измерения определенных свойств личности, но и выбирать из уже разработанных тестов наиболее качественные и надежные.

Составление теста – очень тяжелый и трудоемкий процесс. Отклонение от каких-либо требований к тесту может повлечь за собой снижение его эффективности. Для того, чтобы избежать подобных негативных последствий, составителю необходимо пройти все этапы конструирования теста и придерживаться основных принципов конструирования, в число которых входит: валидность, надежность, научная достоверность, обобщенность значимость, взвешенность, системность и т.д. Только следование основным правилам конструирования теста может привести к желаемому результату.

Заключение

Тестирование в настоящее время начинает охватывать фактически все сферы современной жизни. Мы сталкиваемся с тестами повсеместно: в образовательном процессе, при приеме на работу, при диагностике оборудования, в психологии, в социологии, встречаем их на страницах журналов и т.д.

Во многом такое распространение метод тестирования получил из-за своих положительных качеств, к которым относится: стандартизация условий и результатов, оперативность и экономичность, объективность, возможность компьютеризации. Все это позволяет наиболее быстро и эффективно получить необходимую информацию.

Таким образом, рассмотрев теоретико-методологические основы тестологии, можно сделать следующие выводы: теория и практика создания тестов в настоящее время хорошо развиты, так что можно даже говорить об особой прикладной дисциплине - тестологии. Создатели тестов опираются на методы математической статистики. В частности, каждый тест проверяется на надежность и валидность. Надежность тестов оценивается путем вычисления коэффициента корреляции для повторных измерений на одной и той же выборке. Он должен быть достаточно высок. Валидность в применении  к тесту означает, что он измеряет именно то свойство, на которое направлен. Основным методом проверки валидности теста является сопоставление получаемых с его помощью результатов с каким-то внешним критерием [10;352].

Тестология, как и многие другие науки пришла к нам из-за рубежа, поэтому заслуга в развитии основ этой науки принадлежит зарубежным исследователям. Но и отечественные ученые внесли большой вклад в развитие тестологии. Кроме того, поборов пережитки советских времен, современные исследователи могут активно использовать метод тестирования на практике.

Список использованной литературы

1.      Адаптивное тестирование: учеб.-метод. пособие / Н.М. Опарина Г.Н. Полина Р.М. Файзулин И.Г. Шрамкова. – Хабаровск: ДВГУПС, 2007. – 95 с.

2.      Балыхина, Т.М. Словарь терминов и понятий тестологии / Т. М. Балыхина. — М.: РУДН, 2000. — 164 с.

3.      Волков, Б.С. Методология и методы психологического исследования: Учебное пособие для вузов. — 4-е изд., испр. и доп. / Б.С. Волков, Н.В. Волкова, А.В. Губанов. — М.: Академический Проект, 2005. –  352 с.

4.      Девятко, И.Ф. Методы социологического исследования / И.Ф. Девятко. – 4-е изд. – М.: КДУ, 2006. – 296 с.

5.      Добреньков, В.И. Методы социологического исследования:  Учебник / В.И. Добреньков, А.И.  Кравченко. – М.: ИНФРА-М, 2006. – 768 с.

6.      Кадневский, В.Н. История тестов / В.Н. Кадневский. - М.: Народное образование, 2004 - 464 c.

7.      Корнилова, Т.В. Методологические основы психологии / Т.В. Корнилова, С.Д. Смирнов. – СПб.: Питер, 2008. – 320 с.

8.      Крокер, Л. Введение в классическую и современную теорию тестов: учебник / Л.Крокер, Дж.Алгина; пер. с анг. Н.Н.Найденовой, В.Н.Симкина, М.Б.Челышковой; под общ.ред. В.И.Звонникова, М.Б.Челышковой. – М.: Логос, 2010. – 668 с.

9.      Мальцев, А. В. Тестология в образовании: вчера, сегодня, завтра / А. В. Мальцев, О. Э. Наймушина // Известия Уральского государственного университета. – 2008. – № 60. – С. 7-14.

10. Новикова, С.С. Социологические и психологические методы исследований в социальной работе / С.С. Новикова, А.В. Соловьев. – М: Академический проект, 2006. – 496 с.

11.       Ядов, В. А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности / В. А. Ядов. – 3-е изд., испр. – М.: Омега-Л, 2007. – 567 с.

12.       http://vmwebmielabanew.narod.ru/

13.       http://www.litiana.ru/chitalnyj_zal/1_psihologiya_mify_i_realnost/napopulyarnaya_testologiya/

14.       http://www.asot.kz/index.php/ru/na-stike-nauk/testology.html?font-size=larger

15.       http://www.effecton.ru/642.html

2