Непараметрические методы

Введение:

В учебных курсах по теории вероятностей и математической статистике рассматривают различные параметрические  семейства распределений числовых случайных величин. А именно, изучают  семейства нормальных распределений, логарифмически нормальных, экспоненциальных, гамма-распределений, распределений Вейбулла-Гнеденко и др.  все они зависят от одного, двух или трех параметров. Поэтому для полного описания распределения достаточно знать или оценить одно, два или три числа. Очень удобно. Поэтому широко развита параметрическая теория математической статистики, в которой предполагается, что распределения результатов наблюдений принадлежат тем или иным параметрическим семействам.

К сожалению, параметрические  семейства существуют лишь в головах  авторов учебников по теории вероятностей и математической статистике. В реальной жизни их нет. Поэтому статистика (эконометрика) использует в основном непараметрические методы, в которых распределения результатов наблюдений могут иметь произвольный вид.

Следовательно, актуальностью  данной темы  я считаю, что с  помощью непараметрических методов устанавливается связь между качественными (атрибутивными) признаками. Сфера их применения шире, чем параметрических, поскольку не требуется соблюдения условия нормальности распределения зависимой переменной, однако при этом снижается глубина исследования связей. При изучении зависимости между качественными признаками не ставится задача представления ее уравнением. Здесь речь идет только об установлении наличия связи и измерении ее тесноты.

Цель работы – изучить  и проанализировать непараметрические  методы связи, проследить возможности  непараметрических критериев для  проверки гипотез и обоснования  достоверности различий.

1. Выявление  различий в уровне исследуемого признака. Критерий Манна-Уитни, критерий (угловое преобразование Фишера)

Простой непараметрический критерий. Этот метод определяет, достаточно ли мала зона перекрещивающихся значений между двумя рядами (ранжированным рядом значений параметра в первой выборке и таким же во второй выборке). Чем меньше значение критерия, тем вероятнее, что различия между значениями параметра в выборках достоверны.

В каждой из выборок должно быть не менее 3 значений признака. Допускается, чтобы в одной выборке было два значения, но во второй тогда  не менее пяти.

В выборочных данных не должно быть совпадающих значений (все числа  — разные) или таких совпадений должно быть очень мало.

Для применения U-критерия Манна—Уитни  нужно произвести следующие операции.

Составить единый ранжированный  ряд из обеих сопоставляемых выборок, расставив их элементы по степени  нарастания признака и приписав меньшему значению меньший ранг. Общее количество рангов получится равным:

N = n1 + n2,

где n1 — количество единиц в первой выборке, а n2 — количество единиц во второй выборке.

Разделить единый ранжированный  ряд на два, состоящие соответственно из единиц первой и второй выборок. Подсчитать отдельно сумму рангов, пришедшихся на долю элементов первой выборки, и отдельно — на долю элементов  второй выборки. Определить большую из двух ранговых сумм (T_x), соответствующую выборке с n_x единиц.

Определить значение U-критерия Манна—Уитни по формуле:

1. По таблице для избранного уровня статистической значимости определить критическое значение критерия для данных n₁ и n₂. Если полученное значение U меньше табличного или равно ему, то признается наличие существенного различия между уровнем признака в рассматриваемых выборках (принимается альтернативная гипотеза). Если же полученное значение U больше табличного, принимается нулевая гипотеза. Достоверность различий тем выше, чем меньше значение U.

2.  При справедливости нулевой гипотезы критерий имеет математическое ожидание и дисперсию и при достаточно большом объёме выборочных данных распределён практически нормально.

         Критерий (угловое преобразование Фишера)

Критерий оценивает достоверность  различий между процентными долями двух выборок, в которых зарегистрирован  интересующий нас эффект. Т.е. мы сравниваем процент испытуемых в одной выборке, характеризующихся каким-либо качеством, с процентом испытуемых в другой выборке, характеризующихся тем  же качеством. Например, пусть  две  группы студентов решали сложную  задачу. В первой группе из 20 человек  с ней справились 10 человек,  а  во второй из 25 человек –10. Нас интересует, различаются ли группы по степени  подготовленности к решению задачи. Для того чтобы воспользоваться  критерием, необходимо найти долю студентов, решивших задачу для каждой группы.

1 группа -   Р₁=10/20*100%=50%

2 группа -   Р₂=10/25*100%=40%

Далее переводят процентную долю в угол, который измеряется в радианах, по формуле

                                    j=2*arcsin(ÖP),

 где Р-процентная доля, выраженная в виде десятичной  доли.

Для наших групп мы получим:

j₁=2*acrsin(Ö0,5)=1,571

j₂=2*acrsin(Ö0,4)=1,369

Для перевода процентной доли в угол можно воспользоваться  таблицей XII, где Р процентная доля представлена в виде процентов.

Эмпирическое значение критерия j* вычисляется по формуле:

Где j₁ – угол, соответствующий большей процентной доле;

       j₂ – угол, соответствующий меньшей процентной доле;

       n₁ – количество наблюдений в выборке 1;

       n₂ – количество наблюдений в выборке 2;

Для нашего примера:  j₁=1,571,   j₂ =1,369, n₁ =20,  n₂ =25;

                                       j*эмп=(1,571-1,369)* Ö20*25/(20+25)=0,202*3,3=0,673

Полученные данные можно  занести в следующую таблицу:

Критерий j* позволяет определить, действительно ли один из углов статистически достоверно превосходит другой при данных объемах выборок.

ОГРАНИЧЕНИЯ КРИТЕРИЯ j*.

1. Ни одна из сопоставляемых долей не должна быть равной нулю.
2. Верхний предел в критерии j* отсутствует (выборки могут быть сколь угодно большими).

Нижний предел – 2 наблюдения в одной выборке. Однако должны соблюдаться  следующие соотношения в численности  двух выборок:

• если в одной выборке всего 2 наблюдения, то во второй должно быть не менее 30;
• если в одной из выборок всего 3 наблюдения, то во второй должно быть не менее 7;
• если в одной из выборок всего 4 наблюдения, то во второй должно быть не менее 5;
• если в каждой выборке не менее 5 человек, то возможны любые сочетания.

2. Оценка сдвига значений исследуемого признака.  Критерий Вилкоксона

Критерий применяется для сопоставления показателей, измеренных в двух разных условиях на одной и той же выборке испытуемых.

Он позволяет  установить не только направленность изменений, но и их выраженность. С его помощью определяется, является ли сдвиг показателей в каком-то одном направлении более интенсивным, чем в другом.

Этот критерий применяется в тех случаях, когда  признаки  измерены по крайней мере по шкале порядка, и сдвиги между  вторым и первым замерами тоже могут быть упорядочены. Для этого они должны варьировать в достаточно широком диапазоне. В принципе, можно применить критерий Т и в тех случаях, когда сдвиги принимают только три значения: -1, 0 и +1, но тогда критерий Т вряд ли добавит что-нибудь новое к тем выводам, которые можно было бы получить с помощью критерия знаков. Вот если сдвиги изменяются, например от -30 до +45, тогда имеет смысл их ранжировать и потом суммировать ранги.

Суть метода состоит в том, что сопоставляются выраженность сдвигов в том и ином направлениях по абсолютной величине. Для этого сначала ранжируются все абсолютные величины сдвигов, а потом  суммируют ранги. Если сдвиги в положительную и в отрицательную сторону происходят случайно, то суммы рангов абсолютных значений их будут примерно равны. Если же интенсивность сдвига в одном из направлений  перевешивает, то сумма рангов абсолютных значений сдвигов в противоположную сторону будет значительно ниже, чем это могло бы быть при случайных изменениях.

Первоначально исходят из предложения о том, что  типичным сдвигом будет сдвиг в более часто встречающемся направлении, а нетипичным, или редким, сдвигом – сдвиг в более редко встречающемся направлении. 

Пример 1. Пусть даны две выборки. Первая содержит m= 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14. Вторая содержит n=14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15. Проведем проверку однородности функций распределения двух выборок с помощью только что сформулированного правила принятия решений на основе критерия Вилкоксона.

Первым шагом является построение общего вариационного ряда для элементов двух выборок.

Табл. Общий вариационный ряд для элементов двух выборок

Хотя с точки зрения теории математической статистики вероятность  совпадения двух элементов выборок  равна 0, в реальных выборках экономических  данных совпадения встречаются. Так, в  рассматриваемых выборках, как видно из табл., два раза повторяется величина 2, два раза - величина 7 и три раза - величина 15. В таких случаях говорят о наличии "связанных рангов", а соответствующим совпадающим величинам приписывают среднее арифметическое тех рангов которые они занимают. Так, величины 2 и 2 занимают в объединенной выборке места 3 и 4, поэтому им приписывается ранг (3+4)/2=3,5. Величины 7 и 7 занимают в объединенной выборке места 8 и 9, поэтому им приписывается ранг (8+9)/2=8,5. Величины 15, 15 и 15 занимают в объединенной выборке места 13, 14 и 15, поэтому им приписывается ранг (13+14+15)/3=14.

Следующий шаг - подсчет значения статистики Вилкоксона, т.е. суммы рангов элементов первой выборки

S = R1 + R2 + ... + Rm = 1+3,5+5+6+8,5+11+12+14+16+18+25+26=146.

Подсчитаем также сумму  рангов элементов второй выборки

S₁ = 2+3,5+7+8,5+10+14+14+17+19+20+21+22+23+24= 205.

Величина S₁ может быть использована для контроля вычислений. Дело в том, что суммы рангов элементов первой выборки S и второй выборки S₁ вместе составляют сумму рангов объединенной выборки, т.е. сумму всех натуральных чисел от 1 до m+n. Следовательно,

S+ S₁ = (m+n)(m+n+1)/2= (12+14)(12+14+1)/2= 351.

В соответствии с ранее  проведенными расчетами S+S₁ = 146+205=351. Необходимое условие правильности расчетов выполнено. Ясно, что справедливость этого условия не гарантирует правильности расчетов.

Перейдем к расчету  статистики

 ТМ(S) = 12(12+14+1)/ 2 = 162, D(S) = 12^.14(12+14+1)/ 12= 378 .

Следовательно,

T = ( S - 162) (378 ) - 1/2 = (146-162) / 19,44 = - 0.82.

Поскольку |T|<1,96, то гипотеза однородности принимается на уровне значимости 0,05.

Что будет, если поменять выборки  местами, вторую назвать первой? Тогда  вместо S надо рассматривать S₁ . Имеем

М(S₁ ) = 14(12+14+1)/ 2 = 189, D(S) = D(S₁ ) = 378 ,

T₁ = ( S₁ - 189) (378 ) - 1/2 = (205-162) / 19,44 = 0.82.

Таким образом, значения статистики критерия отличаются только знаком (можно  показать, что это утверждение  верно всегда). Поскольку в правиле  принятия решения используется только абсолютная величина статистики, то принимаемое  решение не зависит от того, какую  выборку считаем первой, а какую  второй. Для уменьшения объема таблиц принято считать первой выборку  меньшего объема.

Продолжим обсуждение критерия Вилкоксона. Правила принятия решений  и таблица критических значений для критерия Вилкоксона строятся в  предположении справедливости гипотезы полной однородности, описываемой формулой (2). А что будет, если эта гипотеза неверна? Другими словами, какова мощность критерия Вилкоксона?

Пусть объемы выборок достаточно велики, так что можно пользоваться асимптотической нормальностью  статистики Вилкоксона. Тогда в соответствии с формулами (1) статистика T будет  асимптотически нормальна с параметрами

М(T) = (12mn) 1/2 (1/2 - a) (m+n+1) - 1/2 ,

D (T) = 12 [(n - 1) b2 + (m - 1) g2 + a (1 -a)] (m+n+1) - 1. (5)

  Из формул (5) видно большое значение гипотезы

H01: a = P(X < Y) = 1/2 . (6)

Если эта гипотеза неверна, то, поскольку m < n, справедлива оценка

|M(T)| > (12m n (2n+1) - 1) 1/2 |1/2 - a| ,

а потому |E(T)| безгранично  растет при росте объемов выборок. В то же время, поскольку

то 

D(T) < 12 [(n - 1) + (m - 1) + 1/4] (m+n+1) - 1 <12. (7)

Следовательно, вероятность  отклонения гипотезы H01 , когда она неверна, т.е. мощность критерия Вилкоксона как критерия проверки гипотезы (6), стремится к 1 при возрастании объемов выборок, т.е. критерий Вилкоксона является состоятельным для этой гипотезы при альтернативе

АH01: a = P(X < Y) 1/2 . (8) .

Если же гипотеза (6) верна, то статистика T асимптотически нормальна  с математическим ожиданием 0 и дисперсией, определяемой формулой

D(T) = 12 [(n - 1) b2 + (m - 1) g2 + 1/4] (m+n+1) ^-1 . (9)

Гипотеза (6) является сложной, дисперсия (9), как показывают приводимые ниже примеры, в зависимости от значений b2 и g2 может быть как больше 1, так и меньше 1, но согласно неравенству (7) никогда не превосходит 12.

Приведем пример двух функций  распределения F(x) и G(x) таких, что гипотеза (6) выполнена, а гипотеза (2) - нет. Поскольку

a = P(X < Y) = , 1 - a = P(Y < X) = (10)

и a = 1/2 в случае справедливости гипотезы (2), то для выполнения условия (6) необходимо и достаточно, чтобы

(11) ,

а потому естественно в  качестве F(x) рассмотреть функцию равномерного распределения на интервале (-1; 1). Тогда формула (11) переходит в условие

 (11) .

Это условие выполняется, если функция (G(x) - (x + 1)/2) является нечетной.

3. Выявление различий в распределении признака. Критерий c² Пирсона

Области применения этого  критерия многообразны; мы ограничимся  двумя, наиболее часто встречающимися на практике применениями. Первая –  это сопоставление эмпирического распределения признака с теоретическим (нормальным, равномерным или иным). Вторая цель – сопоставление двух, трех или более эмпирических распределений одного и того же признака.

Критерий c² Пирсона отвечает на вопрос, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределении или в двух и более эмпирических распределениях.

Большим преимуществом этого  метода является то, что он применим для сопоставления распределений  признаков, представленных в любой  шкале, даже в шкале наименований.

Если признак измеряется количественно и данных очень  много, приходится объединять данные в  несколько разрядов, как это принято  в математической статистике. После  этого сопоставляются частоты разрядов признака.

При сопоставлении эмпирического  и теоретического распределений  признака находится степень расхождения  между эмпирическими и теоретическими частотами признака. При сопоставлении  двух эмпирических распределений определяется степень расхождения между эмпирическими  частотами и теоретическими частотами, которые наблюдались бы в случае совпадения этих двух распределений. Формулы  расчета теоретических частот будут  даны ниже для каждого из этих вариантов  сопоставления.

Расчет  критерия c² Пирсона.

1. Занести в таблицу наименования разрядов и соответствующие им эмпирические частоты (первый столбец).
2. Рядом с каждой эмпирической частотой записать теоретическую частоту (второй столбец).
3. Вычислить разности между эмпирической и теоретической частотой по каждому разряду (строке) и записать их в третий столбец.
4. Определить число степеней свободы по формуле n = к-1, где к – количество разрядов признака. Если n =1, внести поправку на непрерывность, заменив f_эмп – f_теор на ½f_эмп – f_теор ½ – 0,5.
5. Возвести в квадрат полученные разности и занести их в четвертый столбец.
6. Разделить полученные квадраты разностей на теоретическую частоту и записать результаты в пятый столбец.
7. Просуммировать значения пятого столбца. Полученную сумму обозначить как c²_эмп.
8. Определить по таблице критическое значение c²_кр для вычисленного n. Если c²_эмп<c²_кр, то расхождения между распределениями статистически недостоверны. Если c²_{эмп ³} c²_кр, то расхождения между распределениями статистически достоверны.

Пример. В группе 32 студента. В результате контрольной работы по математике 6 студентов получили 5 баллов, 6 студентов получили 4 балла, 16 студентов получили 3 балла и 4 студента получили 2 балла. Можно ли считать, что мы имеем дело с группой «троечников»?

Решение. Отнесем к первому разряду тех студентов, которые получили 5 баллов (6 человек), ко второму разряду – 4 балла (6 человек), к третьему – 3 балла (16 человек) и к четвертому – тех, кто получил 2 балла (4 человека). Третий разряд получился самым многочисленным. Если бы в каждом разряде было примерно одинаковое количество человек, то распределение оценок, полученных студентами, было бы равномерным. Сформулируем гипотезы:

Н₀: Распределение оценок, полученных студентами по контрольной работе, не отличается от равномерного распределения.

Н₁: Распределение оценок, полученных студентами по контрольной работе, статистически достоверно отличается от равномерного распределения.

Вычислим теоретическую  частоту по формуле: f_теор = n/k, где n – количество наблюдений, k – количество разрядов признака.

В нашем случае: f_теор = 32/4 = 8. Теперь будем сравнивать с этой частотой все эмпирические частоты. Согласно алгоритму составим таблицу и все вычисления выполним в ней.

Следует обратить внимание на то, что сумма  разностей частот в третьем столбце таблицы должна быть равна нулю.

Вычислим число степеней свободы n = к-1 = 4-1 = 3 (к – количество разрядов признака). Найдем по таблице критические значения: c²_кр = 7.815 для a = 0.05, c²_кр = 11.345 для a = 0.01. В соответствии с правилом принятия решения гипотезу Н₀ следует отвергнуть, то есть распределение полученных оценок отличается от равномерного, но так как c²_эмп < 11.345, статистически достоверно утверждать, что перед нами – группа «троечников» мы не можем. Следует заметить, что для 4 разряда не выполнено ограничение 2. Студентам предоставим возможность решить эту задачу самостоятельно, рассмотрев два варианта: либо объединить 4 разряд с «троечниками», изменив соответствующим образом гипотезы, либо исключить этот разряд из рассмотрения

4. Выявление степени согласованности изменений. r_s — коэффициент ранговой корреляции Спирмена

Для подсчета ранговой корреляции необходимо располагать двумя рядами значений, которые могут быть проранжированы. Такими рядами значений могут быть:

1) два признака, измеренные в одной и той же группе испытуемых;

2) две индивидуальные иерархии признаков, выявленные у двух испытуемых по одному и тому же набору признаков (например, личностные профили по 16-факторному опроснику Р. Б. Кеттелла, иерархии ценностей по методике Р. Рокича, последовательности предпочтений в выборе из нескольких альтернатив и др.);

3) две групповые иерархии признаков;

4) индивидуальная и групповая иерархии признаков.

Вначале показатели ранжируются  отдельно по каждому из признаков. Как  правило, меньшему значению признака начисляется  меньший ранг.

Рассмотрим случай 1 (два признака). Здесь ранжируются индивидуальные значения по первому признаку, полученные разными испытуемыми, а затем индивидуальные значения по второму признаку.

Если два признака связаны  положительно, то испытуемые, имеющие низкие ранги по одному из них, будут иметь низкие ранги и по другому, а испытуемые, имеющие высокие ранги по одному из признаков, будут иметь по другому признаку также высокие ранги. Для подсчета r_s необходимо определить разности (d) между рангами, полученными данным испытуемым по обоим признакам. Затем эти показатели d определенным образом преобразуются и вычитаются из 1. Чем меньше разности между рангами, тем больше будет r_s, тем ближе он будет к +1.

Если корреляция отсутствует, то все ранги будут перемешаны и между ними не будет никакого соответствия. Формула составлена так, что в этом случае r_s, окажется близким к 0.

В случае отрицательной корреляции низким рангам испытуемых по одному признаку будут соответствовать высокие ранги по другому признаку, и наоборот.

Чем больше несовпадение между  рангами испытуемых по двумя переменным, тем ближе r_s к -1.

Рассмотрим случай 2 (два индивидуальных профиля). Здесь ранжируются индивидуальные значения, полученные каждым из 2-х испытуемым по определенному (одинаковому для них обоих) набору признаков. Первый ранг получит признак с самым низким значением; второй ранг - признак с более высоким значением и т.д. Очевидно, что все признаки должны быть измерены в одних и тех же единицах, иначе ранжирование невозможно. Например, невозможно проранжировать показатели по личностному опроснику Кеттелла (16PF), если они выражены в "сырых" баллах, поскольку по разным факторам диапазоны значений различны: от 0 до 13, от 0 до 20 и от 0 до 26. Мы не можем сказать, какой из факторов будет занимать первое место по выраженности, пока не приведем все значения к единой шкале (чаще всего это шкала стенов).

Если индивидуальные иерархии двух испытуемых связаны положительно, то признаки, имеющие низкие ранги у одного из них, будут иметь низкие ранги и у другого, и наоборот. Например, если у одного испытуемого фактор Е (доминантность) имеет самый низкий ранг, то и у другого испытуемого он должен иметь низкий ранг, если у одного испытуемого фактор С (эмоциональная устойчивость) имеет высший ранг, то и другой испытуемый должен иметь по этому фактору высокий ранг и т.д.

Рассмотрим случай 3 (два групповых профиля). Здесь ранжируются среднегрупповые значения, полученные в 2-х группах испытуемых по определенному, одинаковому для двух групп, набору признаков. В дальнейшем линия рассуждений такая же, как и в предыдущих двух случаях.

Рассмотрим случай 4 (индивидуальный и групповой профили). Здесь ранжируются отдельно индивидуальные значения испытуемого и среднегрупповые значения по тому же набору признаков, которые получены, как правило, при исключении этого отдельного испытуемого - он не участвует в среднегрупповом профиле, с которым будет сопоставляться его индивидуальный профиль. Ранговая корреляция позволит проверить, насколько согласованы индивидуальный и групповой профили.

Во всех четырех случаях  значимость полученного коэффициента корреляции определяется по количеству ранжированных значений N. В первом случае это количество будет совпадать с объемом выборки п. Во втором случае количеством наблюдений будет количество признаков, составляющих иерархию. В третьем и четвертом случае N - это также количество сопоставляемых признаков, а не количество испытуемых в группах. Подробные пояснения даны в примерах.

Если абсолютная величина r_s достигает критического значения или превышает его, корреляция достоверна.

Пример 1 - корреляция между двумя признаками

В исследовании, моделирующем деятельность авиадиспетчера¹, группа испытуемых, студентов физического факультета ЛГУ проходила подготовку перед началом работы на тренажере. Испытуемые должны были решать задачи по выбору оптимального типа взлетно-посадочной полосы для заданного типа самолета. Связано ли количество ошибок, допущенных испытуемыми в тренировочной сессии, с показателями вербального и невербального интеллекта, измеренными по методике Д. Векслера?

Показатели количества ошибок в тренировочной сессии и показатели уровня вербального и невербального  интеллекта у студентов-физиков (N=10)