Психометрические характеристики диагностических методик

КОНТРОЛЬНАЯ РАБОТА.

ПСИХОМЕТРИЧЕСКИЕ  ХАРАКТЕРИСТИКИ ДИАГНОСТИЧЕСКИХ МЕТОДИК.

ВАРИАНТ 1.

1. ТРУДНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка.

Определение степени трудности  тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности  заданий сводится  к выбору оптимальных  по сложности заданий, которые затем  можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком  легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.

Трудность задания определяется числу  правильных ответов на данное задание  в сравнении с общим объемом  выборки по формуле:

где – количество испытуемых, давших правильный ответ;

 – общее количество испытуемых.

Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства  тестов принято, что задания с  от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).

Если при составлении теста  необходимо расположить его задания  в порядке возрастания трудности, то тогда необходимо сравнить насколько  одна задача трудней другой. Для  этого используют статистические критерии, специально предназначенные для  оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат  Мак-Немары:

где b – количество испытуемых, решивших первую задачу, но не решивших вторую;

c – количество испытуемых, решивших вторую задачу, но не решивших первую.

При χ² > 6,63¹ различия в индексах трудности двух задач следует считать достоверными.

Задание 1. Расчет индекса трудности заданий.

Цель  задания: овладение приемами расчета индекса трудности заданий и их сравнения.

Оснащение: микрокалькулятор, таблица № 1.

Таблица № 1.

Первичные результаты исследования с помощью субтеста «Арифметический»

Порядок работы:

1. Рассчитывать индексы трудности всех 13 задач.
2. Выделить задачи, индекс трудности которых оказался оптимальным или близким к оптимальному для данной выборки испытуемых.
3. Проранжировать задания по принципу возрастающей трудности.
4. Определить уровень трудности каждой задачи (самая трудная, трудная, оптимальная, легкая, самая легкая).
5. Сравнить индексы трудности самой трудной и самой легкой задач, используя критерий Мак-Немары.
6. Оформить протокол (таблица № 2) и сделать выводы о том, индекс трудности, каких заданий оказался оптимальным для данной выборки испытуемых; какие задачи были самой легкой и самой трудной для них; какова достоверность различий между самой трудной и легкой задачей.

Таблица № 2.

Индексы и  уровни трудности задач

2. ДИСКРИМИНАТИВНОСТЬ  ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка.

При разработке теста необходимо стремиться к тому, чтобы его задания как  можно тоньше измеряли тестируемое  свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его  разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в  психометрии дискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:

где N – количество испытуемых;

n – количество заданий;

f_i – частота встречаемости каждого показателя.

Показатель δ может принимать значения от -1 до 1. Чем ближе δ к 1, тем больше дискриминативность теста. Если δ = 0, то тест является не дискриминативным. Отрицательное значение показателя δ свидетельствует о низкой критериальной валидности теста, т.е. он не измеряет то, на что по замыслу авторов был направлен.

Задание 2. Расчет индекса дискриминативности заданий.

Цель  задания: овладение навыком расчета индекса дискриминативности.

Оснащение: микрокалькулятор, таблица № 3.

Таблица № 3

Первичные результаты исследования по тесту «Критика механизмов»

Количество  испытуемых, принявших участие в  исследовании, равно 187 (N), количество заданий в тесте равно 15 (n).

Порядок работы:

1. Рассчитать индекс дискриминативности субтеста по формуле Фергюсона. Для удобства расчета составьте таблицу № 4.

Таблица № 4

Расчет  индекса дискриминативности

2. Сделайте вывод о дискриминативности субтеста «Арифметические задачи».

3. НАДЕЖНОСТЬ  ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка

Под надежностью теста понимается степень точности, с которой тест измеряет определенное свойство или качество. Надежность теста – это характеристика точности его как измерительного инструмента, его устойчивость к действию помех (как внешних, так и внутренних). Эмпирическое определение надежности теста является обязательным условием его допуска для использования в практической деятельности психолога. Наиболее значимыми при определении психометрических характеристик теста имеют надежность частей теста, ретестовая надежность и надежность параллельных форм.

Ретестовая  надежность – характеристика надежности теста, получаемая путем повторного обследования одной и той же группы испытуемых с помощью одного и  того же теста через определенный интервал времени. За индекс надежности принимается коэффициент корреляции между результатами двух тестирований.

Надежность  параллельных форм – характеристика надежности теста с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемым в выборке сначала  обследуются с помощью основного  набора заданий теста (форма А), а  затем – с применением аналогичных  дополнительных наборов (форма В) через  определенный интервал времени. За индекс надежности также применяется коэффициент  корреляции между результатами тестирования двумя параллельными формами.

Нижняя  граница временного интервала должна составлять две недели, верхняя – 3 месяца, но не более 6 месяцев.

Надежность  частей теста – характеристика надежности теста, получаемая путем анализа  устойчивости результатов отдельных  совокупностей тестовых задач или  единичных пунктов теста. Тест разбивают  на две сопоставимые части, которые  испытуемые выполняют в течение  одной сессии с получением двух результатов. Временной интервал, таким образом, отсутствует. За индекс надежности принимается  коэффициент корреляции между результатами тестирования двумя этими частями.

Задание 3. Проверка надежности методики.

Цель  задания: овладение приемами расчета коэффициентов надежности заданий при помощи расщепления теста на две части (надежность частей теста).

Оснащение: микрокалькулятор, таблица № 4.

Таблица № 4

Первичные результаты исследования с помощью  теста «Тест» (n = 32, N = 12)

Порядок работы:

1 . Разделить задачи из Таблицы № 4 на две части – нечетные (X) и четные (Y).

2. Вычислить средние арифметические для каждой части ( ). Результаты вычислений занесите в таблицу № 5:

Таблица № 5

Форма протокола.

3. Вычислить стандартные отклонения для каждой части ( , ) по формуле:

 – разность между значениями  варианты и средней арифметической  величиной нечетной и четной  частей теста;

 – количество задач в  нечетной и четной частях теста.

4. Вычислить коэффициент полной корреляции между частями теста используя формулу Пирсона:

 – разность между значениями  варианты и средней арифметической  величиной нечетной части теста;

 – разность между значениями  варианты и средней арифметической  величиной четной части теста.

5. Вычислить коэффициенты надежности, используя следующие формулы:

а) Спирмана - Брауна:

б) Фланагана:

в) Кристофа:

где – коэффициент корреляции по Пирсону;

 – стандартные отклонения  нечетных и четных задач;

 – общее количество задач  в тесте.

На  практике в большинстве применяемых  методик редко удается получить значения коэффициентов надежности, превышающих 0,7-0,8. При  , считается, что надежность теста является удовлетворительной.

6. Сделайте вывод о надежности теста Равенна.

4. ВАЛИДНОСТЬ  ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка.

Валидность является одной из важнейших  характеристик психодиагностических методик и тестов, один из основных критериев их качества. Валидность – это комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним. А. Анастази предлагает более простую формулировку валидности теста, согласно которой валидность – это понятие, указывающее, что тест измеряет и насколько хорошо он это делает.

В целом реальную валидность теста  невозможно измерить, о ней можно  только лишь судить. Реальная валидность теста раскрывается в результате накопления значительного опыта  работы с тем или иным тестом. Кроме того, реальная валидность многих тестов и методик, особенно тестов интеллекта, достижений, тестов для профориентации и профотбора, личностных опросников, изменяется со временем. Это связано  с тем, что происходит устаревание  возрастных статистических норм, изменением социальных норм и образцов поведения, методов обучения и содержания заданий, требований к профессиям. Поэтому  необходим периодический контроль валидности тестов.

Для валидизации каждого вида диагностических  процедур и отдельных тестов могут  применяться различные виды валидности. Основными видами валидности являются конструктная валидность, критериальная  валидность, очевидная валидность, валидность по возрастной дифференциации, прогностическая валидность, текущая  валидность, содержательная валидность, эмпирическая валидность.

Задание 4. Проверка критериальной  валидности методики.

Цель задания: овладеть навыками расчета критериальной валидности с помощью х²-критерия.

Оснащение: условие задачи, микрокалькулятор.

Условие задачи.

Было  проведено исследование достижений в обучении учащихся с помощью  некой методики, состоящей из 20 заданий. Также были собраны данные об успеваемости той же группы учащихся за четверть. Всего в группе было 90 учащихся (N = 90). Дальше выборку учащихся разделили на 3 группы, в качестве критерия деления использовались данные об успеваемости:

• группа учащихся, достижения которых ниже среднего уровня (n₁ = 30);
• группа учащихся, имеющих средний уровень достижений (n₂ = 40);
• группа учащихся, достижения которых выше среднего уровня (n₃ = 20).

Затем учащиеся каждой группы были поделены еще раз на 3 подгуппы, в качестве критерия деления выступили баллы, полученные по методики: балл ниже среднего, средний балл, балл выше среднего.

Полученные  результаты отражены в таблице №  6.

Таблица № 6

Результаты  исследования достижений в обучении

Порядок работы:

1. Рассчитать процентное соотношение каждой группы учащихся от общей выборки.

Например, низкие учебные достижения имеют 30 учащихся от общей выборки, т.о. в  процентном соотношении они будут  составлять 33,3 %.

2. Рассчитать процентное соотношение каждой подгруппы (полученной согласно баллу методики) учащихся от каждой группы (полученной согласно данным об успеваемости) – f_e.

Например, балл «ниже среднего» получили 30 учащихся, 33,3 % от этого числа должны были попасть в группу, имеющую  учебные достижения ниже среднего, т.о. 33,3 % от 30 составляет 10 – f_e (т.е. 30 – это 100 %, х – это 33,3 %).

3. Рассчитать х²-критерий по формуле:

f_o – фактические наблюдения численности (количество учащихся, которые попадают в группы по показателям учебной успеваемости);

f_e – предполагаемая численность (количество учащихся, которые распределены на подгруппы по результатам тестирования и полученному баллу по методике).

4. Рассчитать число степень свободы по формуле:

fd – степень свободы;

k – число разрядов признака;

c – количество сравниваемых распределений.

5. Сравнить полученную в ходе исследования величину показателя х² с критическим значением. Если величина показателя х² значима и достоверна, то методика имеет высокую степень критериальной валидности, т.е. тест валиден.
6. Сделать вывод.

Приложение 1

Граничные значения оценки критерия х²

6. СТАНДАРТИЗАЦИЯ  ТЕСТОВЫХ ШКАЛ.

Теоретическая справка.

Стандартизация  тестовых шкал – это создание таких  критериев (таблиц), по которым можно  будет преобразовывать первичные  результаты выполнения теста в относительные оценки.

Например, испытуемый выполнил 16 заданий теста  математических достижений из 32 и получил  за это 16 баллов из 32 максимально возможных. Таким образом, получается, что он выполнил половину всех заданий, – 50 %. Значит ли это, что его достижения можно оценить как СРЕДНИЙ УРОВЕНЬ? Ответ на этот вопрос будет зависеть от того, с чем именно мы будем сравнивать полученный испытуемым результат, с чем будем его соотносить. Если соотносить с максимально возможным баллом, то действительно можно будет сказать, что у испытуемого средний уровень математических достижений. Ну, а сели сравнить с результатами других испытуемых? Например, одинаковых с ним по возрасту, полу, социальному положению и т.п.? Вполне может оказаться, что в этом случае наш испытуемый имеет низкий или высокий уровень достижений. Все будет зависеть от того, сколько еще людей из сравниваемой выборки набрали такие же результаты, сколько – набрали ниже, сколько – набрали выше. Таким образом, во-первых, необходимо иметь данные о результативности выполнения теста определенной выборкой испытуемых, с которой мы будем соотносить наши результаты. А во-вторых, эти данные о результативности мы должны как-то разделить на равные уровни по степени результативности. При этом количество уровней может быть разным – 5 уровней результативности, 9, 10 или 100. И затем, сравнив полученные конкретным испытуемым баллы, мы можем определить его место в той выборке, с которой его соотносим. В данной лабораторной работе предлагается познакомиться с методами разделения распределения результативности выполнения теста на отдельные уровни.

Наиболее  простым способом нормирования (разделения распределения на уровни) является шкала процентилей. Процентиль –  это точка на числовой шкале, состоящей  из 100 уровней. Ранг показателя в процентилях  определяется процентным отношением в  нормативной группе тех испытуемых, которые получили более низкий показатель. Например, 15 процентиль означает, что 15 % из нормативной выборки получили показатели ниже данного. Вычисление процентиля немногим сложнее, чем его определение. Оно выражается следующей формулой:

P_p – искомая величина на шкале процентилей;

L – фактическая нижняя граница интервала оценок, содержащего частоту rn;

pn – произведение общего количества данных n на относительную частоту (т.е. ^p/₁₀₀);

f_cum – накопленная к L частота;

f – частота оценок в интервале, содержащем оценку rn.

Расчет  рекомендуется проводить по следующему алгоритму:

а) Упорядочить полученные результаты по возрастанию.

б) Каждому первичному результату приравнять его частоту, т.е. количество испытуемых получивших такой же результат;

в) Произвести накопление частот

г) Подставить значения в формулу.

ПРИМЕР

Преподаватель предложил 30 учащимся контрольное задание, состоящее из 40 вопросов. В качестве оценки теста выбиралось количество вопросов, на которые были получены правильные ответы. Распределение частот различных результатов приводится в таблице № 7. Необходимо определить каков 25-й процентиль в группе 30 оценок, т.е. чему равен Р₂₅. Р₂₅ – это точка, ниже которой лежат 25 % 30 оценок.

Таблица № 7

Оценки  по тесту и их частоты.

Шаг 1. 0,25n =0,25 × 15 = 3,75

Шаг 2. Найти фактическую нижнюю границу  разряда оценок, содержащую испытуемого  с оценкой 3,75 снизу: так как 3 человек имеют оценки 13 или меньше, а 5 – оценки 14 или меньше, то частота 3,75 лежит в интервале разряда оценок 13,25-14,25.

L = 13,5

Шаг 3. Вычесть накопленную к L частоту из 3,75

3,75 – 3 = 0,75

Шаг 4. Разделить результат 3-го шага на частоту f в интервале, содержащем оценку 3,75

Шаг 5. Прибавить результат 4-го шага к L

Р₂₅ = 13,5 + 0,375 = 13,875 ≈ 13,88

Шкала процентилей позволяет оценить  отдельный индивидуальный результат  относительно других индивидуальных результатов  в исследуемой выборке. Самым  большим недостатком шкалы процентилей  является то, что она не отражает формы первичного распределения  результатов. Распределение процентилей  всегда равномерно (прямоугольно), тогда  как распределение для многих тестов приближается к нормальному и небольшие отклонения от среднего значения сильно увеличиваются процентилями, а относительно большие отклонения, наоборот, сжимаются. Процентили могут таким образом исказить результаты и поэтому их использование не рекомендуется.