Валидность теста

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Общие предпосылки тестирования выражаются в критериях добротности, качества теста - стандартизированной методики психодиагностики, позволяющей получать сопоставимые количественные и качественные показатели степени развитости изучаемых свойств. Для того чтобы тесты соответствовали своему назначению, адекватно выявляли и достаточно точно измеряли определенные качества, были применимы к различным (до известных пределов) людям и группам, они должны отвечать таким критериям, как объективность, валидность, надежность, репрезентативность, адаптированность, научность.

Показатель валидности является одним из важнейших в указанных критеряих оценки результатов тестов.

Целью данной работы является рассмотрение сущности данного показателя, его типы и виды. а также особенности расчета показателя валидности теста.

1. ПОНЯТИЕ ВАЛИДНОСТИ ТЕСТА

Объективность психодиагностики вообще и тестовых показателей в частности достигается путем неуклонного соблюдения психологом критериев достоверности психодиагностического измерения, а также путем приобретения опыта получения, использования и интерпретации полученных данных.

Достоверность психодиагностического измерения определяется валидностью (соответствием тестовых данных измеряемому свойству), надежностью (точностью психодиагностических измерений) и прогностичностью (предположением о развитии измеренного свойства) применяемых психологических методик (тестов).

Валидность (от англ. valid - действительный, пригодный, действенный) считается фундаментальным понятием экспериментальной психологии и психодиагностики, отражающим прагматическую идею обязательной практической (применительно к науке, эмпирической) проверки качества измерения психологических свойств человека.. По сути, оно обозначает соответствия методик и результатов исследования поставленным задачам.

Как в экспериментальной психологии, так и в статистике валидное измерение - такое измерение, которое измеряет то, что оно должно измерять. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.

В специальной литературе понятие «валидность теста» раскрывают, как действительную способность теста, то есть «стандартизированной методики психодиагностики, позволяющей получать сопоставимые количественные и качественные показатели степени развитости изучаемых свойств», измерять ту психологическую характеристику, для диагностики которой он заявлен. Это адекватность интерпретации тестовых результатов по отношению к цели тестирования, содержанию основного понятия (содержанию диагностируемого психического свойства) и применению результатов тестирования (в профотборе и других прикладных психологических обследованиях1.   

Валидность теста рассматривают также, как:

- «понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает»2 (А. Анастази, С. Урбина);

- комплексную характеристику методики (теста), включающую сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним 3 (Л. Ф. Бурлачук)

- критерий доброкачественности теста, характеризующий точность измерения исследуемого свойства (В. И. Лубовский);

- оценку адекватности теста исследуемой проблеме (В. И. Лубовский);

- «меру достоверности измерения того психического свойства, качества, явления, которое хотят измерить с помощью данного тестам»4 (Конюхов Н.И., Шаккум М.Л.) и т.п.

В контексте прикладной задачи валидность теста представляет собой не столько критерий качества теста, сколько «показатель меры соответствия теста цели тестирования»5. Например, тест может быть валиден для измерения интеллекта и невалиден для оценки знаний. И наоборот: если тест создавался для проверки уровня знаний, то результаты по нему не могут быть интерпретированы как мера интеллектуального развития испытуемых. Результаты подобного истолкования невалидны изначально, по цели создания теста. Существенной стороной интерпретации является учет условий тестирования и применения результатов. Если тестирование протекает с нарушением правил (неодинаковое для всех время тестирования, различия в инструкциях, помощь отдельным испытуемым), то интерпретация таких нестандартных результатов не может быть названа валидной по условиям сбора данных. Содержание заданий теста должно соотноситься с содержанием основного понятия (концепции), отражающей измеряемое качество. Это гносеологический аспект валидности теста, отражающий меру связи теоретического понятия с операциональным понятием и качеством подбора эмпирических индикаторов.

Тестовые результаты могут быть валидны для отбора по одной профессии и невалидны для отбора на другую профессию. Это особенно характерно для сконструированных целенаправленно-прагматических тестов по критерию. Мерой валидности обычно выступает коэффициент корреляции результатов по тесту с результатами по профессиональному критерию. При этом встречаются немало корреляций, опосредованных другими, иногда неизвестными факторами. Отсюда берет начало широко исследованная на Западе проблема дифференциации различных тестов по их валидности для отбора на различные профессии.

Валидность лучших тестов, выраженная коэффициентами корреляции (линейными, ранговыми и др.) составляет 0,3-0,8. К сожалению, есть случаи, когда тесты применяются без проверки их на валидность. В результате оказывается, что они бесполезны или даже вредны. Она, естественно, меняется в зависимости от контингента людей, которые подвергаются тестированию, и характера их будущей деятельности. Один и тот же тест может быть высоковалидным для одной ситуации, бесполезным для другой и вредным для третьей.

Проверка валидности теста называется валидацией (валидизацией).

Отношение между тестовыми оценками и различными критериями валидности определяется и анализируется несколькими путями. Наиболее простая процедура оценки валидности конкретного теста по его связи с исходными данными результатов испытаний – составление таблицы ожиданий. Наличие информации об общем распределении оценок измерений позволяет с определенной степенью точности рассчитать вероятность получения оценки конкретного тестового испытания.

2. ВИДЫ ВАЛИДНОСТИ ТЕСТА

Для определения вида валидности необходимо выделение специфичных характеристик психодиагностического инструментария, обусловленных особенностями тестирования, временным статусом внешнего критерия6.

В исследованиях (А.  Анастази, 1982; Л.Ф  Бурлачук, С.М. Морозов, 1989; K.M. Гуревич, 1970; Б.В. Кулагин, 1984; В. Черны, 1983; «Общая психодиагностика» (1987) и др.) чаще всего выделяются стандартные процедуры, позволяющие классифицировать и выделить три основных категории валидности:

1. по содержанию - определяется путем систематического контроля содержания, должна показывать, насколько полно охватывает тест представительную выборку по совокупности измеряемых параметров. Сфера тестологического исследования должна постоянно изучаться и анализироваться, с тем, чтобы тест был наполнен адекватными задачами. (иногда этот прием называют логической валидностью).

Оценка валидности по содержанию используется в основном в тестах достижений, куда обычно включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Проверка валидности по содержанию отвечает на вопрос: «Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала?». Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Для тестов способностей и тестов личности этот тип валидности малоприемлем и неадекватен.

2. по связи с критериями, определяется с единственной, крайне важной для практики целью: оценить индивидуальную прогностичность теста. Для этого результаты выполнения теста сопоставляются с непосредственными и независимыми оценками того, что должен предсказывать тест.

Валидность по критерию обосновывает корреляции между результатами теста и эмпирическим критерием (чем «выше коэффициент корреляции, тем выше валидность» по данному критерию7).

Данный вид также может определяться как эмпирическая валидность.

3. по конструкции теста.

Конструктивная валидность дает информацию о степени измерения тестом теоретически (конструктивно) выделяемой черты. Наиболее часто данный тип валидности характеризует тесты интеллекта, вербальные, скоростные, нейротицизма, тревожности. Конструктивная валидность требует постепенного накопления информации об изменчивости оценок. Фиксируются и анализируются данные, проливающие свет на отдельные черты и природу изучаемого явления, а также условия, воздействующие на его развитие и проявление. Специфика определения валидности по конструкции зависит от нескольких факторов, и в первую очередь таких, как возрастные различия и степень связи с другими, ранее использованными тестовыми испытаниями. Особое место в процедуре определения конструктивной валидности занимает факторный анализ, когда статистические процедуры применяются для идентификации результатов психологических исследований.

Здесь, в зависимости от подхода, выделяют: а) «конвергентную» -  проверку ожидаемой связи тестовых оценок с другими показателями чтобы понять будут ли оценки теста варьироваться в соответствии с ожиданиями (например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того; б) «дивергентную», предполагающую, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

В исследованиях могут рассматриваться и другие классификации, где могут выделяться и другие виды валидности по другим критериям. Например, по способу установления валидности теста могут выделяться8:

1. валидность, при которой оценивается общее соответствие теста его назначению - очевидная валидность;
2. валидность, при которой тест имеет полный набор заданий для измерения определенной черты - содержательная валидность;
3. конструктивная валидность, где способ проверки заключается в проведении продуманных экспериментов;
4. прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Внешний временной фактор может лежать в разделении валидности на текущую, прогностическую (предсказывающую) и ретроспективную9:

1) текущая валидность  определяется с помощью внешнего  критерия, по которому информация  собирается одновременно с экспериментами  по проверяемой методике. Другими  словами, это валидность по одновременности, когда собираются данные, относящиеся  к настоящему времени (например, успеваемость в период испытания, производительность в этот же  период и т д.). С ними коррелируют  результаты успешности по тесту;

2) предсказывающая (прогностическая) определяется также внешнему  критерию, но информация по нему  собирается некоторое время спустя  после испытания. Внешним критерием  обычно бывает выраженная в  каких-нибудь оценках способность  человека к тому виду деятельности, для которой он отбирался по  результатам диагностических испытаний. Хотя этот прием наиболее соответствует  задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность  прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно;

3) ретроспективная валидность  определяется на основе критерия, отражающего события или состояние  качества в прошлом. Данный вид  валидности может быть использован  для быстрого получения сведений  о предсказательных возможностях  методики. Так, для проверки того, в какой мере хорошие результаты  теста способностей соответствуют  быстрому обучению, можно сопоставить  прошлые оценки успеваемости, прошлые  экспертные заключения и т.д. у  лиц с высокими и низкими  на данный момент диагностическими  показателями.

Выделяют также внутреннюю и внешнюю валидность, согласно соответствию методики внешним и внутренним признакам

Валидность внешняя – применительно психодиагностических методик означает соответствие результатов психодиагностики, проводимой посредством данной методики, независимым от методики внешним признакам, относимым к субъекту обследования.

Валидность внутренняя – применительно психодиагностических методик означает соответствие содержащих в ней заданий, субтестов; соответствие результатов психодиагностики, проводимой посредством данной методики, определению оцениваемого психологического свойства, использованному в самой методике. Методика считается внутренне не валидной или недостаточно валидной, когда все или часть включённых в неё вопросов, заданий и субтестов измеряют не то, что требуется данной методикой.

Кроме того исследователями могут рассматриваться и другие виды валидности, как: дефиниционная, дифференциальная, априорная, инкрементная, конгруэнтная, консенсуальная, номологическая, присущая, прагматическая, синтетическая, факторная, иллюзорная и т.д.

3. ОСОБЕННОСТИ ОПРЕДЕЛЕНИЯ И РАСЧЕТА ВАЛИДНОСТИ ТЕСТА

Корректное определение валидности теста зависит от его исходной структуры, его составных компонентов. В самом общем виде тесты или относятся к трем группам (L-date, Q-date, Т-date), или содержат в себе аналогичные три компонента10:

а) данные жизненного пути, социально-демографические, биографические данные;

б) вопросы, ответы на которые варьируют в зависимости от настроения, мотивации испытуемого (Q-date);

в) задания, выполнение которых требуют реальных умственных, психических, физических усилий, действий (Т-date).

Эти разнокачественные данные по-разному связаны с внешним критерием в прогностическом плане. Социально-демографические, биографические данные наиболее устойчивы и менее зависят от настроения, динамичной мотивации обследуемых. Поэтому для проверки валидности данных тестов достаточно взять специалистов данного профиля, оценить в шкале порядка, экспертной оценкой уровень развития их профессионального мастерства, профессионально важных качеств личности и найти статистические зависимости между биографическими данными и внешним критерием. Высокий уровень валидности дает нам право применять данные тесты при исходной оценке личности: отбор в вузы, подбор на профессии, которые ранее были деятельностно не знакомы личности и т.д.

Подобный способ проверки валидности тестов, построенных по принципу Q-date, оказывается недостаточным. Дело в том, что ответы на данные тесты варьируют в зависимости от мотивации, психического состояния обследуемого. Поэтому в ситуации отбора большая часть обследуемых будет отвечать «как надо», а не как есть на самом деле. В этой ситуации будут активнейше срабатывать защитные механизмы, прикрываться все недостатки и выпячиваться достоинства. Так, например, при отборе на высокооплачиваемую работу обследуемые в момент отбора будут отвечать совсем не так, как после поступления на работу и успешного утверждения в организации.

И чтобы перепроверить валидность тестов, применяемых в интересах отбора, при оценке лиц в судьбоносные моменты их биографии, следует дождаться, когда протестированные всесторонне адаптируются в должности, новой профессии, когда они всесторонне проявятся как профессионалы (а для этого нужны порой годы), когда можно будет сформировать достаточно точный и объективный внешний критерий и только когда и можно будет проверить реальную валидность теста.

В третьем случае (когда требуется определить валидность теста на выполнение реальных действий - решение арифметических задач, работа на ключе при отборе на профессию радиотелеграфиста, работа на тренажере и т.д.) важно при определении валидности методики не допустить смешения навыков и способностей. Поэтому чтобы сформировать достаточно объективный и надежный критерий следует дождаться выравнивания исходных навыков и умений у обследуемых в процессе их профессиональной деятельности. Для различных профессий, для различных ситуаций это может быть различный срок. Внешний критерий при этом следует формировать после достаточно надежного определения реального уровня развития способностей обследуемых к данному виду деятельности, после реального проявления их профессиональной предрасположенности в ней.

При формировании внешнего критерия чаще используется мнение экспертов. Если выбираются высококвалифицированные эксперты, то они нередко не соглашаются с первоначально предложенной схемой оценки профессионального мастерства личности, предлагая свои критерии. Так например, при оценке эффективности инженерной деятельности эксперты могут подсказать, что качества обеспечивающие успех исследовательской инженерной работы и работу инженера-организатора несколько иные. В этом случае профессию инженера подразделяют на две подгруппы и т.д. Чаще всего сложные виды деятельностей как бы состоят из ряда производственных функций, нередко между которыми существует противоречие. В этом случае внешний критерий должен быть разнокачественным, структурированным, и каждый структурный компонент входить в профессиональную пригодность личности с различным весовым коэффициентом.

В конечном счете, при поиске валидности теста, получается по крайней мере одна колонка цифр, отражающая результаты тестирования, и по крайней мере одна колонка цифр - «формализованный внешний критерий»11. Между этими колонками цифр ищется коэффициент корреляции. Если результаты тестирования и внешний критерий выражены в шкалах интервалов и отношений, то возможно применение линейного коэффициента корреляции. Если же хотя бы одна из этих величин выражена в шкале порядка, то применимы ранговые коэффициенты корреляции. При этом одна из более высоких шкал переводится в шкалу порядка, так чтобы две шкалы были шкалами порядка. Если же одна из шкал является номинальной, то валидность находится с помощью процентных зависимостей, не более.

Следует отметить, что в психологических исследованиях крайне редко встречается линейная связь. Чаще всего коэффициент корреляции колеблется вокруг величин 0,2-0,6. Это тот диапазон, где реально работают большинство лучших тестов. Неотработанные же тесты нередко дают нулевое, а иногда и отрицательное значение коэффициента корреляции. При этом не всегда нулевое значение коэффициента корреляции означает отсутствие какой-то связи между двумя параметрами. Просто эта связь может носить нелинейный характер и не отражаться однозначным значением коэффициента корреляции.

Коэффициент корреляции обычно находится по результатам обследования определенной выборки. Существуют специальные формулы, таблицы для поиска критического значения коэффициентов корреляции - значения которым можно доверять с определенной, довольно большой, долей вероятности. Вероятность, с которой можно доверять исследованию в психологии, обычно принимается за 0,95 (a = 0,05). То есть в 95 случаях из ста психологи ожидают аналогичные результаты. Если учесть, что валидность прогноза редко бывает выше 0,9, то данная вероятность подходит. В масштабных исследованиях в психологии нередко берется и вероятность 0,99 (а = 0,01). Для поиска критических значений коэффициента корреляции по таблице используют величины m и q. m = n - 2 и q = 1 - a/2. Величина a задается самим исследователем12.

Необходимо отметить, что на малых выборках, даже пользуясь статистическими таблицами, можно получить различные, порой весьма противоречивые выводы. Действительно устойчивые результаты получаются на выборках от 100 испытуемых и более, а вывод о достаточной валидности - от 250 и более. Дело в том, что чаще всего валидность колеблется вокруг величин 0,2 - 0,3. В этой ситуации в зависимости от точности в 0,1 решается вопрос о возможности применения тестовых методик. В то же время достоверность вычислений с точностью до 0,1 достигается при количестве испытуемых более 250, лучше от 1000 и более. Поэтому знание на каком массиве найдена валидность принципиально важна как с точки зрения насколько данные тесты будут эффективны на разнокачественных массивах обследуемых, так и с точки зрения насколько следует доверять надежности полученных результатов со статистической точки зрения.

Необходимо отметить, что применение тестовых методик оправдано даже при их валидности в 0,2. Хотя в этом случае нельзя всецело доверяться статистическим зависимостям: результаты тестирования должны быть лишь подспорьем для опытных психологов, опытных руководителей кадровых органов при принятии тех или иных решений.

В случае относительно высокой валидности тестов (от 0,5 и выше) возможны и необходимы более определенные решения с опорой на результаты тестирования, возможно создание и автоматизированных систем психодиагностики, экспертных систем с высокой степенью достоверности получаемых выводов. Однако при всем этом не следует ожидать весьма высоких показателей валидности теста. Дело в том, что результаты деятельности, поведение человека в существенной степени зависят не только от того каков он сам, но и от того - в какие ситуации он попадает. В различных ситуациях один и тот же человек, с одними и теми же результатами тестирования может и реально ведет себя по-разному. Раз так, то и невысокая валидность объясняется порой не столько недостатками методики, сколько разнокачественностью результатов деятельностей, разнообразием ситуаций в которые попадают тестируемые и по которым определяется валидность методики.

В любом случае, когда объявляется валидность более 0,7 - следует более критически подойти к апробации теста, более конкретно определить как определялась валидность - на каком массиве, какими статистическими методами, что взято за внешний критерий. В принципе валидность такой величины встречается, но в основном когда речь идет о психопрогностике, психодиагностике отдельных психических функций - особенностей памяти, мышления и т.д. Но как только речь идет о профессиологическом тестировании, то есть тестировании с целью прогнозирования профпригодности личности, реальная валидность, увы, бывает меньшей.

Таким образом, можно сделать вывод, что высокая валидность - идеал создателя теста и пользователя, но эта валидность порой реально недостижима в силу зависимости результата валидализации от ситуативной вариабельности профессиональной деятельности, в силу ее разнокачественности. В то же время есть тесты с относительно невысокой валидностью, но которые берут глубинные компоненты личности (допустим, сила ее EGO и т.д.), которые устойчиво коррелируют с успехом в различных видах деятельности, но естественно, эта корреляция не может быть высокой во всех многообразных конкретных случаях, ситуациях.

заключение

Исходя из всего вышеизложенного можно выделить следующие положения, характеризующие валидность теста.

Валидность является важнейшей качественной характеристикой теста в зависимости от которой принимается решение о целесообразности или нецелесообразности применения тестов в психологическом обследовании. Это адекватность интерпретации тестовых результатов по отношению к цели тестирования, содержанию основного понятия (содержанию диагностируемого психического свойства) и применению результатов тестирования (в профотборе и других прикладных психологических обследованиях).

При указании степени валидности теста необходимо указывать ее вид, что позволяет указать на специфические характеристики психодиагностического инструментария тестирования. В исследованиях чаще всего выделяются стандартные процедуры, позволяющие классифицировать и выделить три основных категории валидности: содержательную, критериальную, конструктивную. Кроме того исследователями могут рассматриваться и другие виды валидности, как: внешняя и внутренняя, прогностическа, ретроспективная, текущая, дефиниционная, дифференциальная, априорная, инкрементная, конгруэнтная, консенсуальная, номологическая, присущая, прагматическая, синтетическая, факторная, иллюзорная и т.д.

Корректное определение валидности теста зависит от его исходной структуры, его составных компонентов. При поиске валидности теста сравниваются результаты тестирования и показатели формализованного внешнего критерия, что выражается коэффициентами корреляции (линейными, ранговыми и др.) теста. Коэффициент корреляции обычно находится по результатам обследования определенной выборки. Существуют специальные формулы, таблицы для поиска критического значения коэффициентов корреляции - значения которым можно доверять с определенной, довольно большой, долей вероятности. Нормальный коэффициент составляет 0,3-0,8.