Искажение результатов объективных тестов: источники и способы выявления

Искажение результатов объективных тестов: источники и способы выявления

К.В. Сугоняев, к.т.н.

К объективным относят такие тесты, в которых возможен правильный ответ (соответственно, все прочие считаются ошибочными). Измеряемые ими психологические характеристики относятся к категории общих (интеллектуальных) и специальных способностей (в англоязычной литературе – abilities, aptitudes).

В настоящей статье рассматриваются  ситуации, связанные с систематическими тестовыми ошибками, снижающими валидность измерения, источником которых является исключительно респондент (обследуемый). Таким образом, предполагается, что:

• тест сконструирован и отнормирован надлежащим образом и его валидность доказана;
• процедура проведения тестирования единообразна для всех испытуемых, т.е. используются одинаковые и качественные тестовые материалы или технические средства; проводится одинаковый и четкий инструктаж (включающий, в том числе, мотивирующую часть, призванную добиться от испытуемого сотрудничества и соответствия их реакций целям тестирования); четко соблюдается временной регламент; минимизируются помехи и отвлекающие факторы и т.п.

Тем не менее, даже если все  эти условия соблюдены, остается вероятность искажения тестовых результатов и получения неадекватных тестовых оценок, особенно в ситуациях  психодиагностической экспертизы.

Помимо намеренных искажений  результатов, о которых речь пойдет ниже, имеются общие факторы, влияющие на результаты тестирования вне зависимости  от типа применяемого теста, это – тестовая искушенность и тестовая тревожность.

Тестовая искушенность, т.е. приобретение обширной практики выполнения тестов, дает лицу, обладающему такими навыками, определенные преимущества перед теми, кто участвует в тестировании впервые. Отчасти это связано с более позитивным отношением к тестированию и развившейся уверенности в себе, отчасти – с тем, что содержание и форма многих тестов перекрываются. Данная проблема обостряется в тех случаях, когда возникает необходимость интерпретации результатов тестирования, например, урбанизированной молодежи и аналогичных результатов, полученных при обследовании жителей сельских районов или компактно проживающих национальных меньшинств.

Разработка специальных  тестовых норм для меньшинств не решает проблемы, так как требует значительных затрат и не имеет конечного решения  в условиях столь разнообразной  по культурным и географическим условиям страны, как Россия. Более продуктивным в данной ситуации может быть разработка специальных ознакомительных материалов (печатных, мультимедийных) и их доведение  до менее искушенных категорий обследуемых, что позволило бы нивелировать различия в предшествующем опыте тестируемых. Например, в США издаются специальные  материалы, призванные помочь потенциальным  респондентам подготовиться к прохождению  таких массовых тестовых батарей, как SAT, ASVAB, GATB и др. ([1], с.41-42). Неоднократно продемонстрировано, что такого рода подготовка к тестированию, хотя и  несколько снижает дисперсию  результатов, не оказывает существенного  влияния на валидность тестов [2-4].

Тестовая тревожность, по крайне мере отчасти, может быть следствием недостаточной тестовой искушенности. В структуре тестовой тревожности выделяют 2 компонента: аффективный (эмоциональность) и когнитивный (озабоченность). Эмоциональный компонент охватывает чувства и физиологические реакции, такие как напряжение и увеличение частоты сердечных сокращений. Озабоченность включает негативные мысли (такие, как ожидание неудачи при выполнении теста и озабоченность последствиями провала), отвлекающие тестируемого от заданий теста и тем самым нарушающие его выполнение.

Считается, что связь между  тревожностью и результатами тестирования носит нелинейный характер: умеренная  тревога благотворно сказывается  на результативности, тогда как сильная  – пагубно. Если задача обследования состоит в возможно более точной оценке психологических характеристик, не связанных с эмоциональной  устойчивостью, необходимо предпринять  усилия, направленные на предварительное  ознакомление кандидата с предстоящей  процедурой и устранение излишних эмоций (например, ободряющий инструктаж). Если же одной из задач тестирования является скрининг лиц с чрезмерным уровнем  тревожности, то снижение тестовых результатов (прежде всего, при выполнении тестов способностей) может оказаться артефактом, созвучным с целями обследования (хотя и затрудняющим точную интерпретацию  его результатов).

Можно ожидать некоторого выравнивания тестовой искушенности и  снижения тестовой тревожности кандидатов в результате повсеместного внедрения  в практику среднего образования  Единого государственного экзамена (ЕГЭ), формат которого мало чем отличается от формата большинства объективных  тестов, применяемых при отборе. Следует также учитывать, что абсолютное большинство юношей в рамках процедур первоначальной постановки на воинский учет подвергаются тестированию и, таким образом, приобретают дополнительный опыт выполнения психологических тестов и вытекающие из этого некоторые преимущества перед девушками. В настоящее время издается также немалое количество популярных брошюр на тему «как пройти тестирование», этой же цели посвящен ряд Интернет-сайтов, однако они, в силу ограниченности их тиражей и доступности, скорее увеличивают неравенство кандидатов, чем устраняют его. Вместе с тем, закрепление практики психологического тестирования при отборе на престижные позиции в государственном и частном секторе без сомнения приведет к росту интереса граждан к подобной информации, так что уже в самое ближайшее время следует ожидать обострения проблем, связанных с утечкой конфиденциальной информации о содержании тестовых процедур, таких как неравная готовность кандидатов к тестированию и снижение валидности тестов, применяемых в течение длительного времени.

Возможности выявления намеренных искажений результатов обследования при использовании неавтоматизированных методов тестирования крайне ограничены и их обсуждение в настоящее время  лишено практического смысла. Поэтому  материал, изложенный ниже, посвящен методам  выявления искажений результатов  тестирования, которое полностью  или на этапе обработки первичных  данных компьютеризировано.

Хотя среди тестов способностей встречаются методики с открытыми  ответами, наибольшее распространение  в экспертных обследованиях –  в связи большей простотой  обработки – приобрели все  же тесты с закрытым форматом ответов, который предусматривает наличие  в каждом пункте нескольких вариантов  ответа, лишь один из которых является правильным. Также для экспертной психодиагностики характерна тенденция  применять объективные тесты с лимитированным временем выполнения. Абсолютное большинство объективных тестов являются монометрическими, т.е. каждый из них оценивает лишь одно качество (способность). Эта оценка традиционно рассчитывается как суммарное число правильно решенных заданий теста (Nпр.), причем за каждое правильное решение присуждается 1 балл. Обычно предполагается, что чем больше Nпр., тем выше уровень развития измеряемой способности. Однако это справедливо лишь в том случае если испытуемый: а) внутренне мотивирован на достижение наилучшего результата по тесту; б) не имел доступа к отборочным тестовым материалам, включая ключи, т.е. не проходил предварительного натаскивания(coaching) на выполнение данных тестов.

Отсутствие мотивации  к наилучшему выполнению теста проявляется обычно в хаотической, бездумной тактике реагирования на пункты. При этом – в силу законов вероятности – такой недобросовестный респондент набирает N_пр., близкое к N_отв./α, где N_отв. – общее количество отреагированных пунктов, α – среднее число альтернатив (вариантов ответа) в тестовом пункте. Как правило, это приводит к низкой результативности выполнения объективного теста и вытекающей из этого отбраковки кандидата. Однако при определенном сочетании условий подобная тактика может дать применившему ее лицу выигрыш, а именно:

• в тесте установлен слишком жесткий лимит времени, который не соответствует либо относительно высокой трудности теста, либо чрезмерно большому количеству пунктов;
• количество альтернатив в тесте относительно невелико.

Обычно при этом средние  тестовые оценки в выборке стандартизации смещены в область низких значений (меньше N/2, где N – количество пунктов  в тесте).

Добросовестно выполняющий  подобный тест испытуемый обычно за отведенное время успевает ответить лишь на часть пунктов, тогда как реагирующий хаотически дает ответы на все (или почти все) пункты и набирает N_пр. ≈ N/α, которое может оказаться выше «срезающей» оценки. В результате данный индивид имеет шанс успешно пройти процедуру отбора.

Пример представления  результата подобного выполнения объективного теста представлен на рисунке. Полученный испытуемым результат – 3 стэна по показателю продуктивности (суммарному числу правильно решенных задач) – превышает «срезающую» оценку (2 стэна), так что испытуемый с таким результатом не будет отсеян.

Обзор методов  обнаружения характерных точек

 
Характерная точка (точка интереса) — точка изображения, обладающая высокой локальной информативностью. В качестве численной меры информативности предлагаются различные формальные критерии, называемые операторами интереса. Оператор интереса должен обеспечивать достаточно точное позиционирование точки в плоскости снимка. Необходимо также, чтобы положение точки интереса обладало достаточной устойчивостью к фотометрическим и геометрическим искажениям изображения, включающим неравномерные изменения яркости, сдвиг, поворот, изменение масштаба, ракурсные искажения.

Выделение характерных точек  на изображении является начальным  этапом в задаче отождествления. Основным достоинством использования характерных  точек для задач обнаружения  являются относительная простота и скорость их выявления. Кроме того, на изображениях не всегда удается выделить другие характерные черты (четкие контура или области), в то время как характерные точки в подавляющем большинстве случаев выделить можно.

Наиболее простым примером характерных точек служат локальные  экстремумы яркости и максимумы  среднеквадратичного отклонения (СКО) яркости. Во многих простых случаях, когда радиометрические и ракурсные искажения отсутствуют, таких точек бывает вполне достаточно для привязки изображений. В более сложных случаях необходимо выявить на изображении точки, используя не только яркостные, но и устойчивые к геометрическим искажениям признаки. Одним из самых информативных особенностей любого изображения являются углы, которые повсеместно встречаются на изображениях зданий (углы крыш, окон), они также присутствуют на аэрофотоснимках природных ландшафтов.

Исследования возможности  привязки изображений при помощи набора локальных точек интереса начались в 1981г. с работы [1] по стерео-привязке с использованием детектора углов. Автор рассмотрел изменение яркости небольшого фрагмента вокруг интересующей точки при сдвиге фрагмента на один пиксель в восьми направлениях (горизонтальном, вертикальном и диагональном). В дальнейшем исследователи стали рассматривать производные яркости изображения для исследования изменений яркости по множеству направлений ([2], [3]).  
 
 
Рассмотрим фрагмент U изображения I(x,y) с центром в точке (u,v), и его копии, сдвинутые на величину (x,y).

Для каждой точки фрагмента  можно вычислить взвешенный квадрат  разности между сдвинутым и исходным фрагментом, и рассмотреть функцию:

S(x,y)=∑(u,v)∈Uw(u,v)(I(u+x,v+y)−I(u,v))2.   (1)

 
Функция I(u+x,v+y) может быть разложена в ряд Тейлора в окрестности центра (u,v), что позволяет перейти от (1) к выражению:

S(x,y)≈∑(u,v)∈Uw(u,v)(Ix(u,v)x+Iy(u,v)y)2,   (2)

где: Ix и Iy — частные производные яркости в горизонтальном и вертикальном направлениях. 

 
Выражение (2) можно записать в матричном  виде:

S(x,y)≈(xy)M(xy),

где: M=∑(u,v)∈Uw(u,v)[I2xIxIyIxIyI2y]     (3) — матрица локальной структуры.

В качестве весовой функции w(u,v) обычно используется функция Гаусса. Угол характеризуется большими изменениями функции S(x,y) по всем возможным направлениям (x,y), что эквивалентно большим по модулю собственным значениям матрицы M. 

 
Отсюда следует ряд выводов:

1. Если собственные значения λ1 и λ2 близки к нулю, то пиксель с центром в (x,y) не является точкой интереса, поскольку он лежит в однородной области.

2. Если λ1≈0, а λ2 принимает большое по модулю значение, то пиксель (x,y) принадлежит краю.

3. Если оба собственных  значения велики и принимают  положительные значения, то пиксель (x,y) является углом. 

 
Большинство операторов детектирования углов основаны на свойствах матрицы M. В [4] для этого наименьшее собственное значение матрицы M сравнивается с порогом. В [3] Харрисом и Стефенсом было предложено использовать меру отклика угла:

z(x,y)=det(M)–k×tr(M)2,     (4)

 
где: k — эмпирически найденный параметр порядка 0,04-0,06, а det(M) и tr(M) — определитель и след матрицы. 

 
При отрицательном отклике точка  классифицируется как попавшая на край; при отклике, близком к нулю, точка  считается попавшей в «плоскую»  область. При больших положительных  значениях z(x,y) считается, что точка является углом, так как в ней яркость сильно меняется во всех направлениях. Детектор Харриса (4) инвариантен к вращению и сдвигу изображения, а также к сдвигу и равномерному линейному изменению яркости.

Описанные детекторы, хотя и  называются детекторами углов, находят  не собственно углы, а любые участки  изображения, в которых имеется  большое изменение градиента  во всех направлениях при заданном масштабе. Детекторы достаточно быстры, поскольку сводятся к дифференцированию  яркости изображения, суммированию производных яркости в локальной  окрестности каждой точки и нахождению меры отклика угла. Помимо детектора  Харриса существуют другие методы обнаружения  углов, позволяющие находить углы в  зависимости от масштаба изображения. Наибольшую популярность получили детекторы SIFT [5] (scale-invariant feature transform — масштабно-независимое преобразование особенностей) и его ускоренный вариант SURF [6] (speeded-up robust features — ускоренные устойчивые особенности). Детектор SIFT основан на идее поиска локальных максимумов в так называемом пространстве переменного масштаба (scale space). Для заданного изображения I(x,y) пространство переменного масштаба [7] представляет собой множество значений функционала:

L(x,y;σ)=G(x,y;σ)∗I(x,y),   (5)

 
где: σ>0 — параметр сглаживания, символ «∗» означает свертку, а G(x,y;σ) — двумерная функция Гаусса. В [5] рассматриваются срезы пространства переменного масштаба, отличающиеся постоянным положительным множителем k (рис.1).

 
В качестве точек интереса предлагаются точки, соответствующие локальным  экстремумам функции:

D(x,y;σ)=L(x,y;kσ)−L(x,y;σ).   (6).

 
Для получения S срезов пространства переменного масштаба вычисляется свертка исходного изображения с ядром Гаусса с последовательно изменяющимся параметром сглаживания σ0,kσ0,…,kSσ0. Далее находятся локальные экстремумы функции D(x,y,σ). Для этого значение функции D(x,y,kiσ0) в каждой точке (x,y) сравнивается со значениями в восьми соседних пикселях при том же значении параметра масштаба, а также в 18-ти соседних пикселях, принадлежащих предыдущему и последующему срезам пространства переменного масштаба. Локальные экстремумы, в которых значение |D(x;σ)| не превосходит некоторый заданный порог, отбрасываются. Затем строится матрица H вторых частных производных (Гессиан) функции D(x,y,σ) . Если величина tr(H)2/det(H) меньше некоторого порога, то точка считается характерной. 

Рис. 1. Схема построения детектора SIFT

 
Детектор SURF [6] использует ту же идею пространства переменного масштаба, что и детектор SIFT, но функция Гаусса в выражении (5) приближается прямоугольным фильтром 9×9. На рис.2 показаны фильтры для  получения частных производных  исходного изображения I(x,y) по yy и по xy; при этом слева приводятся (обрезанные) фильтры вторых производных Гауссиана, а справа — прямоугольные фильтры, вычисляющие эти производные приближенно. Свертка исходного изображения с такими фильтрами, веса которых являются целыми числами, вычисляется очень быстро. Далее в качестве характерных точек выявляются локальные максимумы в окне 3×3×3 функции:

det(Happrox)=IxxIyy–(0,9Ixy)2.   (7)

Рис. 2. Фильтры для нахождения второй производной яркости изображения  по направлениям y и xy; а, б — фильтры Гаусса (SIFT); в, г — прямоугольные фильтры с целочисленными весами (SURF)

 
В середине 2000-х годов, в связи  с возросшим спросом на решение  задач компьютерного зрения в  реальном времени, появились эвристические  алгоритмы быстрого поиска точек  интереса. Наиболее ярким представителем данного класса алгоритмов является алгоритм FAST (features from accelerated segment test — особенности, полученные из ускоренной проверки сегментов) [8]. Этот алгоритм не требует вычисления производных яркости. На рис.3 показана анализируемая точка и окружающие ее пиксели. Яркость пикселей, лежащих на окружности, сравнивается с яркостью центральной точки и на основании ряда проверок принимается решение, является ли центральная точка характерной. Последовательность проверок и их общее число подбираются и оптимизированы заранее на основе обширной обучающей выборки изображений. В результате проверки выполняются очень быстро. Для принятия решения, является точка углом или нет, требуется лишь несколько десятков операций сравнения. Алгоритм FAST хорошо зарекомендовал себя в приложениях, осуществляющих слежение за объектами в реальном времени [9].

Рис. 3. Пиксели, используемые в быстрых  проверках алгоритма FAST

Список  литературы

1. Moravec H. Rover visual obstacle avoidance // Proc. Intl. Joint Conference on Artificial Intelligence. – 1981. – P. 785–790.

2. Forstner W. A feature based correspondence algorithm for image matching // Intl. Archives of Photogrammetry and Remote Sensing. – 1986. – V. 26. – P. 150–166.

3. Harris C. G., Stephens M. J. Combined corner and edge detector // Proc. Fourth Alvey Vision Conference. – 1988. – P. 147–151.

4. Shi J., Tomasi C. Good features to track // Proc. IEEE Conference on Computer Vision and Pattern Recognition. – 2004. – P. 593–600.

5. Lowe D. G. Object recognition from local scale-invariant features // Proc. Intl. Conference on Computer Vision. – 1999. – P. 1150–1157.

6. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Computer Vision and Image Understanding. – 2008. – V. 110. – P. 346–359.

7. Lindeberg T. Junction detection with automatic selection of detection scales and localization scales // Proc. First Intl. Conference on Image Processing. –1994. – V.1. – P. 924–928.

8. Rosten E., Drummond T. Machine learning for high-speed corner detection // Proc. European Conference on Computer Vision. – 2006. – V. 1. – P. 430–443.

9. Taylor S., Rosten E., Drummond T. Robust feature matching in 2.3 μs // Proc. IEEE CVPR Workshop on Feature Detectors and Descriptors: The State Of The Art and Beyond. – 2009. – P. 15–22.