Двухфакторный дисперсионный анализ

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Введение

Цель  работы: ознакомиться с таким статистическим методом, как дисперсионный анализ, в общем, и двухфакторный дисперсионный анализ в частности.

Дисперсионный анализ - это статистический метод анализа результатов наблюдений, зависящих от различных одновременно действующих факторов, отбор наиболее существенных факторов и оценка их влияния. Дисперсионный анализ, в современном понимании, был развит английским статистиком и генетиком сэром Рональдом Эйлмером Фишером, который ввел в статистику понятия дисперсионный анализ и дисперсия. По поводу года введения понятия «дисперсионный анализ» между исследователями ведутся споры, но большинством из них указывается 1925 год. Измерения и наблюдения могут проводиться в разных областях знаний: как в неэкспериментальных науках (например, в астрономии), так и в экспериментальных (например, в генетике). Теория анализа результатов измерений подсказывает, как планировать проведение опыта, т.е. приводит к планированию эксперимента. С исторической точки зрения, дисперсионный анализ развивался в основном в связи с приложениями к задачам сельского хозяйства.

Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации.

При истинности нулевой гипотезы (о равенстве  средних в нескольких группах  наблюдений, выбранных из генеральной  совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.

При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Предположим, проводя опросы населения по поводу потребления какого-либо продукта в различных регионах страны, необходимо сделать выводы, насколько данные опроса отличаются, или наоборот, не отличаются друг от друга. Сопоставлять отдельные показатели, не имеет смысла и поэтому процедура сравнения и последующей оценки производится по некоторым усредненным значениям и отклонениям от этой оценки. Изучается вариация признака; за меру вариации может быть принята дисперсия. Дисперсия (σ²)- мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.

На практике часто возникают задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние различного сырья на качество производимой продукции, решить задачу о влиянии количества удобрений на урожайность сельскохозяйственной продукции.

На основе дисперсионного анализа производится:

1. оценка достоверности различий в групповых средних по одному факторному признаку или нескольким
2. оценка достоверности взаимодействий факторов
3. оценка частных различий между парами средних

Иногда  дисперсионный анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей  одинаковы по предположению; если дисперсионный  анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в одну и тем самым получить о ней более полную информацию, значит, и более надежные выводы. На практике, чаще всего, дисперсионный анализ применяют, когда хотят выяснить, оказывает или не оказывает влияние на нормально распределенную случайную величину Х некоторый качественный фактор А, который имеет m различных качественных реализаций (уровней). Если Х – прибыль предприятия, то качественным фактором А, влияющим (или не влияющим) на прибыль Х, может быть технология производства; качество сырья; структура управления производством; система материального или морального стимулирования работников. Если исследуется влияние на величину Х лишь одного качественного фактора А, то говорят об однофакторном дисперсионном анализе. А если сразу нескольких – то о многофакторном. С помощью дисперсионного анализа исследуется значимость влияния на наблюдаемую величину Х каждого из факторов, сравнивается их влияние между собой, устанавливается факт их взаимодействия. 
 
 
 
 
 
 
 
 
 
 
 
 

1. Сущность  дисперсионного анализа

 

1. Математические  модели

Пусть мы имеем n наблюдений или измерений. В математических моделях наблюдения рассматриваются как n случайных величин y₁, y₂, …, y_n, которые являются линейными комбинациями с p неизвестными постоянными β₁, β₂ , …, β_p плюс ошибки ℮₁ ,℮₂ , …, ℮_n:

y_i= x_1iβ₁ + x_2iβ₂ +…+ x_piβ_p+ ℮_i (i=1, 2, …, n),        (1)

где {x_ji} - постоянные известные коэффициенты (где j= 1,2, …,p; i=1,2, …,n)

Величины  β_j являются отражением некоторых сторон наблюдаемого явления, представляющих интерес для исследователя. Целью дисперсионного анализа является получение выводов относительно {℮_i } и некоторых {β_i} выводов, остающихся правдивыми независимо от других  {β_i}, «исключить», которые было бы более желательно чем «оценивать». [1]

Наименьшие  предположения о случайных величинах  {℮_i } состоят в том, что их математические ожидания равны нулю, т.е

М (℮_i)=0  (i=1, 2, …, n).

Кроме того, предположим, что 

М (℮_i℮_j)= σ²δ_ij ,

где σ² – неизвестная постоянная, δ_ij равно 0 или 1 при соответственно i≠j и i=j. Эти условия эквивалентны тому, что случайные величины некоррелированы (т.е. их коэффициенты корреляции равны 0) и имеют равные дисперсии σ². [1]

После выше сказанного можно дать более  точное и развернутое определение: дисперсионный анализ- это система  статистических методов обработки данных (наблюдений или экспериментов) допускающих представление (1), где коэффициенты {x_ji} являются целыми числами, равными обычно 0 или 1.

Параметры {β_j} могут быть  двух видов: либо неизвестными постоянными, либо случайными величинами. При этом, если они являются случайными величинами, то закон их распределения может зависеть от других неизвестных параметров. Модель, в которой все параметры неизвестные постоянные называется моделью с постоянными факторами.

Модель, в которой все параметры {β_j} случайны, за исключением одного, являющегося аддитивной постоянной (это обычно генеральная средняя), называется моделью со случайными факторами. Частный случай, когда один параметр β_j случаен и хоть один не случаен, но не является аддитивной постоянной, называется смешанной моделью.

Математическая  модель — это абстракция реального мира, в которой интересующие исследователя отношения между реальными элементами заменены подходящими отношениями между математическими объектами. Математические модели, в описании которых используются случайные величины, называют вероятностными или стохастическими. Всякая модель является упрощенным представлением действительности, и искусство моделирования состоит в знании того, что, где, когда и как можно и нужно упростить. Это знание естественно приходит с опытом. [7]

В некотором  смысле математическая модель является для исследователя тем же, чем для физика физическая лаборатория. Можно ставить эксперименты в «мире», порожденном моделью, и, если математическая модель является правдивым отражением действительности, результаты этих экспериментов применимы к реальному миру.  Говоря о применимости моделей к описанию реальной действительности, подразумевается возможность их практического использования в качестве базы (отправной точки) при выборе наилучшего способа статистической обработки исходных данных, а также при решении таких задач, как планирование, прогнозирование, оптимальное управление системами и процессами, оценка эффективности функционирования (или комплексной характеристики качества) сложной системы, диагностика (медицинская и техническая), нормирование. 

  
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1.2 Однофакторный дисперсионный анализ

В случае выделения групп по одному фактору  мы имеем однофакторный дисперсионный анализ.

Пусть на количественный нормально распределенный признак X воздействует фактор F, который имеет p постоянных уровней. Пусть число испытаний (наблюдений) на каждом уровне одинаково и равно q.

Предположим, наблюдалось n=pq значений x_ij признака X, где i (= 1,2, …, q)- номер испытания, j (=1,2, …, p)- номер уровня фактора. [3]

Результаты  наблюдений представим в табличной форме:

Результаты  испытаний и влияние  фактора

Введем,   

S_общ =

(общая сумма квадратов отклонений наблюдаемых значений от общей средней ),

S_факт = q

(факторная сумма квадратов отклонений групповых средних от общей средней, которая характеризует рассеяние между группами),

S_ост =

(остаточная сумма квадратов отклонений наблюдаемых значений группы от своей групповой средней, которая характеризует рассеяние внутри групп). Но так как формула очень громоздка, то на практике для вычисления S_ост используют более простую формулу

S_ост = S_общ - S_факт → S_общ = S_факт+ S_ост             

Разделив  суммы квадратов отклонений на соответствующее  число степеней свободы, получим общую, факторную и остаточную дисперсии:

= , = ,               = ,

где p- число уровней фактора; q- число наблюдений на каждом уровне; pq-1- число степеней свободы общей дисперсии; p-1- число степеней свободы факторной дисперсии; p(q-1)- число степеней свободы остаточной дисперсии.

Если  нулевая гипотеза о равенстве  средних справедлива, то все эти  дисперсии являются несмещенными оценками генеральной дисперсии. Например, т.к. n=pq, имеем

 – исправленная выборочная дисперсия, которая является несмещенной оценкой генеральной дисперсии.

Поставим  перед собой следующую задачу, чтобы отразить метод дисперсионного анализа: проверить при заданном уровне значимости нулевую гипотезу о равенстве нескольких (p>2) средних нормальных совокупностей с неизвестными, но одинаковыми дисперсиями. Решение этой задачи сводится к сравнению факторной и остаточной дисперсий по критерию Фишера-Снедекора. [4]

1. Пусть нулевая гипотеза о равенстве нескольких средних правильна. Тогда факторная и остаточная дисперсии являются несмещенными оценками неизвестной генеральной дисперсии и значит различаются незначимо. Если сравнить эти оценки по критерию F, то критерий укажет, что нулевую гипотезу о равенстве факторной и остаточной дисперсий следует принять.

Т.е. можно сделать вывод: если гипотеза о равенстве групповых средних  правильна, то верна и гипотеза о  равенстве факторной и остаточной дисперсий.

2. Теперь рассмотрим противоположную ситуацию, т.е. нулевая гипотеза ложна. В этом случае с возрастанием расхождения между групповыми средними увеличивается факторная дисперсия, а вместе с ней и отношение . В итоге F_набл > F_кр и значит гипотеза о равенстве дисперсий будет отвергнута.

Таким образом, если гипотеза о равенстве  групповых средних ложна, то ложна  и гипотеза о равенстве факторной  и остаточной дисперсий.

Итак, для того чтобы проверить нулевую  гипотезу о равенстве групповых  средних нормальных совокупностей  с одинаковыми дисперсиями, необходимо и достаточно проверить по критерию F нулевую гипотезу о равенстве факторной и остаточной дисперсий. В этом и состоит метод дисперсионного анализа.

Выше  была описана теория, где число  испытаний на различных уровнях  предполагалось одинаковым. Пусть теперь число испытаний на различных  уровнях различно, а именно: произведено q₁ испытаний на уровне F₁, q₂ испытаний- на уровне F₂ , …,  q_p испытаний- на уровне F_p . В этом случае общую сумму квадратов отклонений находят по формуле:

S_общ = [P₁+P₂+…+P_p] – [(R₁+R₂+…+R_p)²/n],

где P₁= - сумма квадратов наблюдавшихся значений признака на уровне F₁ ;

P₂= – сумма квадратов наблюдавшихся значений признака на уровне F₂ ;

…

P_p= – сумма квадратов наблюдавшихся значений признака на уровне F_p ;

R₁= ,   R₂= , …,   R_p= - суммы

наблюдавшихся значений признака соответственно на уровнях F₁, F₂, …, F_p;

n= q₁+q₂+…+q_p- общее число испытаний (объем выборки)

Факторную сумму квадратов отклонений находят  по формуле:

S_факт = [(/q₁) + (/q₂) +…+ (/q_p)] – [(R₁+R₂+…+R_p)²/n]

Остальные вычисления производят, как и в  случае одинакового числа испытаний:

S_ост = S_общ – S_факт,  ,          . 
 
 
 
 

2. Двухфакторный дисперсионный анализ

С помощью дисперсионного анализа можно изучить влияние не только одного фактора на результат, а двух и более. В данном случае дисперсионный анализ будет называться, соответственно, двухфакторным и многофакторным. Двухфакторный дисперсионный анализ отличается от однофакторного, тем, что он может ответить на следующие вопросы:

1. каково влияние обоих факторов вместе ?
2. какова роль сочетания этих факторов ?

Предположим, что два фактора А и В изменяются в эксперименте или в рассматриваемой совокупности условий, например в эксперименте типа, где различные растения (А) были посажены на различных участках  (В) с одинаковым химическим составом смесей, или, например в астрономических исследованиях нескольких видов звезд (А), наблюдаемых в разное время (В). Если в первом случае (с растениями) рассматривается I растений и J местностей, то эти I и J называют соответственно I уровнями фактора А и J уровнями фактора В. Уровни могут описывать качественную классификацию, как, например, виды растений, или же количественную, как, например, отдаленность звезды.

В таких  двухфакторных экспериментах (или  неэкспериментальных исследованиях) наблюдения могут быть расположены  по этим двум факторам в виде таблицы  с двумя входами (двухфакторной  таблицы), I строк которой соответствуют  уровням фактора А, а J столбцов- уровням В. В «(i, j)- ячейку», расположенную на пересечении i-й строки и j-го столбца, записываются наблюдения, полученные при одновременном исследовании факторов А и В соответственно в i-м и j-м уровнях. Если в каждой ячейке есть по крайне мере одно наблюдение, то возможен полный анализ. Если, допустим, что наблюдения в (i, j)- ячейке являются случайной выборкой из всей совокупности, соответствующей этой ячейке, то можно говорить о среднем и дисперсии этой совокупности как об «истинном» среднем ячейки и «истинной» дисперсии ячейки. «Истинное» среднее (i, j)–ячейки обозначается через η_ij ; если нет дополнительных предположений относительно {η_ij}, то мнк- оценкой является среднее наблюдение в (i, j)-ячейке. Это среднее называют наблюдаемым средним ячейки или наблюдаемым результатом.

Предположим, что веса {w_j} выбраны в соответствии с уровнями фактора В. Например, если в J местностях субъекта N, I сортов хлопка проверяется в эксперименте, на основании которого для всех N будет отобран единственный сорт, то естественно взвесить J местностей с весами {w_j}, пропорциональными площадям хлопка в областях, типичными представителями которых являются эти J местностей. Средним i-го уровня А называют взвешенное среднее от средних ячейки {η_ij} i-й строки, причем веса {w_j} зависят от столбцов и не зависят от строк; таким образом, это среднее является средним результатом i-го уровня А, осредненным по уровням В. Предполагается, что веса {w_j} неотрицательны и не все равны нулю, поэтому, не нарушая общности, допустим , что ; таким образом, {w_j} рассматриваются как произвольные, но фиксированные числа. Теперь среднее i-го уровня А запишется в виде:

А_i= ;

это среднее  называют также средним i-й строки. Аналогично если {v_i} является произвольным множеством чисел со всеми и , то среднее j-го уровня В, или среднее j-го столбца, определяется формулой

В_j = .

Генеральное среднее- взвешенное среднее средних  столбца {В_j} с весами {w_j}, или взвешенное среднее средних строки {А_i} с весами {v_i}. Обозначая генеральное среднее через µ, получим

µ== = .

Главный эффект i-го уровня А определяется как превышение среднего i-го уровня над генеральным средним α_i= A_i -µ. Отметим, что {α_i} удовлетворяют условию

=0                       (а)

Аналогично  главный эффект j-го уровня В определяется как β_j=B_j-µ, откуда

=0                     (б)

Главные эффекты α_i и β_j называют также эффектом i-й строки и эффектом j-го столбца. Особое значение придается тому, что главные эффекты одного фактора являются средними по уровням других факторов и, таким образом, обычно зависят от того, каковы уровни других факторов, присутствующих в эксперименте.

Если  мы будем определять главный эффект i-го уровня А специально по отношению к j-му уровню В, то естественно определить его как превышение η_ij над средним j-го столбца, следовательно

            η_ij –B_{j .} (1)

Главный эффект i-го уровня А, определенный выше, является фактически взвешенным средним от (1) по столбцам: α_i= A_i -µ=. Превышение (1) над своим средним называется взаимодействием i-го уровня А с j-м уровнем В

      γ_ij= η_ij –B_j –A_i +µ.      (2)

Можно было бы прийти к тому же результату (2), если бы начали с главного эффекта  j-го уровня В специально по отношению к i-му уровню А; взаимодействие симметрично, поэтому мы можем назвать γ_ij взаимодействием i-го уровня А и j-го уровня В. Отметим, что IJ взаимодействий удовлетворяют условиям

₌₀   при всех j;

=0  при всех i.

Эти условия  обозначим (2а)

Подставляя, B_j= µ+β_j и A_i= µ+α_i в (2), получим

η_ij= µ+ α_i+ β_j+ γ_ij            (3)

Но, если множество постоянных {µ, α_i , β_j , γ_ij} удовлетворяет (3), то этого еще недостаточно, чтобы они были генеральным средним, главными эффектами и взаимодействиями. Однако условие (3), дополнительные условия (а), (б) и (2а) уже однозначно определяют по {η_ij} генеральное среднее, главные эффекты и взаимодействия. [1]

Исключение  известных взаимодействий преобразованием  шкалы измерений

Будем рассматривать строго возрастающие преобразования z=f (y), т. е. преобразования, удовлетворяющие при любых у'> у" условию f(y')>f(y"). Такое ограничение связано с тем, что мы хотим сохранить порядок по величине средних ячейки {η_ij} и наблюдений. Рассмотрим случай, когда факторы количественны.

Случай  количественных факторов

В этом случае уровням А соответствуют  значения u=u₁, …., u_I непрерывной переменной u (например, давление, температура, вес удобрений и т.д.), а уровням В- значения v= v₁, …, v_J  (не путать с весами {v_j}, рассмотренными выше) непрерывной переменной v. Пусть существует функция регрессии η(u,v) такая, что η_ij= η (u_i ,v_j) . Функция η(u,v) может быть названа аддитивной, если существуют функции g(u) и h(v) такие, что η(u,v)= g(u) +h(v). В этом случае, когда такие функции существуют, множество {η_ij} будет иметь нулевые взаимодействия при любом выборе {u_i} и {v_j}.

Случай  качественных факторов

В двухфакторном  анализе мы скажем, что две строки

a₁a₂ … a_J ,

b₁b₂ … b_J

состоятельно  упорядочены, если все J разностей {а_j — b_j) положительны, или все равны нулю, или все отрицательны. Аналогично определяется состоятельная упорядоченность двух столбцов. Легко видеть, что состоятельная упорядоченность любой пары строк и любой пары столбцов является необходимым условием устранимости взаимодействий в (I*J)-таблице двухфакторного анализа при помощи преобразования. Действительно, если взаимодействия устранены, то любые пары строк  любые пары столбцов в преобразованной таблице являются состоятельно упорядоченными, так как любые пары разностей фиксированной пары строк или столбцов равны между собой; следовательно, первоначальная таблица тоже должна быть состоятельно упорядоченной, так как строго возрастающее преобразование не изменяет это свойство. Состоятельную упорядоченность легко проверить по следующему правилу. Сначала нужно переставить столбцы так, чтобы первая строка стала неубывающей, а затем переставить строки так, чтобы первый столбец стал неубывающим. Тогда в переставленной таблице состоятельная упорядоченность эквивалентна следующему условию: все строки и все столбцы должны быть неубывающими, а если в некоторой строке (или столбце) два элемента равны, то два столбца (или две строки), содержащие эти элементы, тоже должны быть равны. Если другие строки не являются неубывающими, то условие уже нарушено.Однако состоятельная упорядоченность не является достаточным условием для устранимости взаимодействий преобразованием. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Двухфакторный анализ с равными  числами наблюдений в ячейках.

Обозначим число наблюдений в (i, j)-ячейке через K_ij . Сначала относительно {K_ij}мы будем предполагать, что они не все равны 0 (разумеется, за исключением случая, когда общее число наблюдений n является нулем); в полном анализе все K_ij положительны.

Если  через y_ijk обозначить k-е наблюдение в (i, j)-ячейке, а через D –множество пар {(i, j)}, которые соответствуют непустым ячейкам, то наше предположение запишется в виде

Ώ:

При Ώ  мы должны минимизировать

Ψ=                  (4)

Только  {η_ij} непустых ячеек (в которых имеются наблюдения) составляют p параметров {β_j}. Их мнк-оценками являются

              при (i, j) ⋲ D.    (5)

Сумма квадратов ошибок, являющаяся минимумом (4), равна

SS_e=

а ее число  степеней свободы равно n-p, где n- число наблюдений, p- число непустых ячеек.

Все линейные функции от p параметров {η_ij}, соответствующих непустым ячейкам, допускают оценку. Если рассматривается полный анализ, то в предположениях Ώ по теореме Гаусса-Маркова мнк-оценки всех главных эффектов и взаимодействий, которые определяются как некоторые линейные функции от {η_ij}, можно получить, заменяя η_ij линейными комбинациями (5). После преобразований, получаем оценки генерального среднего, главных эффектов и взаимодействий

, , ,

             (6)

Обозначения  звездочками указывают на невзвешенное среднее наблюдаемых средних  ячейки{}. Однако если имеется хоть одна пустая ячейка, то генеральное среднее, главные эффекты и взаимодействия в предположениях Ώ не допускают оценку, так как в их определения входят η_ij от пустой ячейки, для которой нет наблюдений. [10]

Обычно  проверяются следующие гипотезы:

Н_А: все α_i=0,

H_B: все β_j=0,

H_AB: все γ_ij=0.

Для упрощения  критерия мы допустим, что все числа {K_ij} равны K>1.