Однофакторный дисперсионный анализ

Однофакторный дисперсионный  анализ

 

 

 Во многих экономико-социальных задачах требуется оценить влияние одного или нескольких различных качественных факторов на изучаемую количественную характеристику величины Х. Например, разные формы организации производства могут оказывать существенное и несущественное влияние на прибыль фирмы или предприятия. Другим примером может служить задача оценки эффективности различных видов удобрений на урожайность.

Суть метода заключается  в том, что 

а) данный фактор (факторы) А можно разделить на ряд уровней, в качестве которых могут выступать, например, разные формы организации производства или разные виды удобрений,

б) дисперсия величины Х может быть разделена на 2 части: одна часть – факторная дисперсия вызвана действием различных уровней фактора(факторов) А, вторая – остаточная дисперсия, обусловленная неконтролируемыми, случайными воздействиями.

Если выясняется, что факторная  дисперсия не велика по сравнению  с остаточной, то считается, что фактор (факторы) А не оказывает(ют) существенного влияния на изучаемую величину Х.

Если рассматривается  один фактор, дисперсионный анализ называется однофакторным, если более  одного – многофакторным.

 

6.2. Алгоритм однофакторного дисперсионного анализа

 

а) Пусть на рассматриваемую количественную величину Х влияет качественный фактор А, который имеет k уровней. Для каждого уровня фактора А проводится одинаковое количество измерений величины Х.  Число таких измерений на каждом из уровней равно n. Результаты измерений представляются в виде таблицы (табл. 1).

Замечание.  В обозначениях индексов переменных величин таблицы будем следовать  правилам алгебры матриц: строки будем  обозна0чать индексом i, а столбцы – индексом j; для переменных с двумя индексами: первый индекс – номер строки, а второй индекс – номер столбца.

б) В последней строке помещены средние значения измерений     для каждого уровня j фактора А, найденные по формуле

в) Рассмотрим основные понятия дисперсионного анализа.

1. Общей средней по всем измерениям (общее число измерений равно k·n) является величина, равная

Таблица 1

Номер измерений,	Уровни фактора,
	A1	A2	…	Aj	…	Ak
1	X11	X12	…	X1j	…	X1k
2	X21	X22	…	X2j	…	X2k
…	…	…	…	…	…	…
i	Xi1	Xi2	…	Xij	…	Xik
…	…	…	…	…	…	…
n	Xn1	Xn2	…	Xnj	…	Xnk
Групповая средняя			…		…

2. Общей суммой квадратов отклонений измеренных значений x_ij от общей средней называется выражение:

3. Факторной суммой квадратов отклонений групповых средних от общей средней называется выражение:

4. Остаточной суммой квадратов отклонений измеренных значений от групповых средних служит сумма Q_ост, равная Q_ост=Q_общ-Q_факт.

г) Итак, подсчитав общую сумму Q_общ, факторную сумму Q_факт, и остаточную сумму Q_ост, можно получить дисперсии: общую – S²_общ, факторную – S²_факт и остаточную – S²_ост. Дисперсия S²_общ обязана своим появлением всем действующим факторам: как фактору А, так и фактору случайности на каждом уровне. Основная задача, которую решает дисперсионный анализ – это разложение общей дисперсии S²_общ на составляющие, которые характеризовали бы фактор А и фактор случайности в отдельности.

С учетом того, что факторная дисперсия S²_факт зависит от k составляющих и является смещенной оценкой, то формула для несмещенной оценки дисперсии принимает вид:

Остаточная  дисперсия S²_ост зависит от X_ij(i= j=), т.е. от k·n составляющих. Следовательно, для несмещенной остаточной дисперсии имеем

.

Здесь число  степеней свободы по сравнению с  n·k уменьшено на k, так как в каждой группе за счет групповой средней число степеней свободы уменьшается на единицу.

д) Для проверки нулевой гипотезы Н₀ о незначимом влиянии фактора А  используем критерий Фишера – Снедекора, т.е. случай-ную функцию

равную отношению выборочных дисперсий двух нормально распределенных случайных величин (во всех случаях полагаем, что совокупности данных измерений распределены по нормальному закону).

По таблице  распределения Фишера для уровня значимости α = 0,05 и степеням свободы  k₁=k-1,  k₂=k(n-1), находим F_крит(0,05; k₁; k₂).

е) Если F_крит>F_расч, то заключаем, что фактор влияет несущественно, и принимаем нулевую гипотезу.

Если F_крит<F_расч, то заключаем, что фактор влияет существенно, и нулевую гипотезу отвергаем.

Пример 1. В трех магазинах продаются мобильные телефоны трех цветов. В таблице указаны объемы дневных продаж по магазинам и цветам.

Таблица 2

Номер магазина,	Фактор цвета, Aj,
	Красные –А1	Желтые – А2	Зеленые – А3
Маг 1	3	5	2
Маг 2	4	1	3
Маг 3	2	8	6
Групповая средняя

На уровне значимости α = 0,05 установить влияние  фактора цвета на объема продаж.

 

Решение:

1. Находим групповое среднее значение спроса для каждого цвета (уровня):

   

 

2. Находим общую среднюю:   

   

3. Вычислим разность  и квадраты этих разностей (табл.3)

Таблица 3

Номер магазина,	Цвета (факторы), Аj,
	Красные – А1		Желтые – А2		Зеленые – А3
	yi1	yi12	yi2	yi22	yi3	yi32
1
2
3
∑	-		-		-

 

4. Найдем общую и факторную суммы:

а). общую сумму:

  ;

б). факторную сумму:

 

5. Вычислим остаточную сумму:

6. Определим факторную и остаточную дисперсию:

7. Для проверки нулевой гипотезы о незначимости фактора цвета для объема продаж (при уровне значимости α = 0,05) используем критерий Фишера-Снедекора , в предположении, что факторная и остаточная дисперсии распределены нормально.

8. Находим расчетное значение критерия:

9. По таблице распределения Фишера - Снедекора для уровня значимости α=0,05 и степеней свободы: k₁=k-1=3-1=2;  k₂=k(n-1)=3(3-1)=6,  находим F_крит(0,05;2;6)=5,14.

10. Так как , то заключаем, что фактор (цвет) существенно не влияет на продажу мобильных телефонов и нулевую гипотезу принимаем.

 

Пример 2. Проведены измерения для каждого из трех уровней некоторого фактора А. В качестве уровня значимости принимается величина α=0,05. Проверить нулевую гипотезу о незначительном влиянии фактора А.

Исходные  данные помещены в табл. 4

Таблица 4

Номер измерений,	Уровни фактора Аj , j=(1,2,3)
	A1	A2	A3
1	38	20	21
2	36	24	22
3	35	26	31
4	31	30	34
Групповая средняя	35	25	27

 

Решение:

1. В нашем примере k=3, n=4.

2. Находим общую среднюю:

3. Для нахождения общей факторной сумм измерений вычислим разности y_ij=X_ij - = X_ij -29 и квадраты этих разностей (составим табл.5)

Таблица 5

Номер измерений, i	Уровни фактора, Аj
	A1		A2		A3
	yi1	yi12	yi2	yi22	yi3	yi32
1	9	81	-9	81	-8	64
2	7	49	-5	25	-7	49
3	6	36	-3	9	2	4
4	2	4	1	1	5	25
∑	-	170	-	116	-	142

 

4. Находим:

а) общую сумму:

б) факторную  сумму:

в) остаточную сумму:

Q_ост=Q_общ-Q_факт=428-224=204.

г) факторную  дисперсию:

д) остаточную дисперсию:

 

5. Для проверки нулевой гипотезы используем критерий Фишера-Снедекора:

6. По таблице распределения Фишера-Снедекора для уровня значимости α=0,05 и степеням свободы k₁=k-1=2  и k₂=k(n-1)=3*3=9, находим F_крит(0.05; 2; 9)=4.26

Так как F_крит=4,26<F_расч=4,96, то заключаем, что фактор влияет существенно, и нулевую гипотезу отвергаем.

Корреляционная, статистическая и функциональная зависимость

 

Основной  задачей регрессионного анализа является установление  формы и изучение зависимости между переменными.

Предметом исследования корреляционного анализ является связь (зависимость) между различными варьирующими признаками (переменными величинами), при которой каждому значению одной переменной соответствует не определенное значение другой (как это имеет место при функциональной зависимости), а ряд распределения с определенной групповой средней.

Конечная цель корреляционного  анализа – получение уравнений  прямых регрессии, характеризующих  форму зависимости, и вычисление коэффициента корреляции, определяющего  тесноту (силу) связи, если она линейная.

В качестве измерителей степени  тесноты парных связей между количественными  переменными используются коэффициент  корреляции и корреляционное отношение. Заметим, что корреляционный момент (или коэффициент корреляции) используют в качестве количественной меры зависимости  случайных величин, а в качестве математической модели этой зависимости  применяют уравнение регрессии.

Обозначим через Х независимую переменную, а через Y – зависимую переменную. Зависимость величины Y от Х называется функциональной, если каждому значению величины Х соответствует единственное значение величины Y.

Гораздо чаще в окружающем нас мире имеет  место не функциональная, а статистическая (или вероятностная) зависимость, когда каждому фиксированному значению независимой переменной Х соответствует не одно, а множество значений переменной Y, причем сказать заранее, какое именно значение примет величина Y, нельзя.

Если  при изменении одной из величин  изменяется среднее значение другой, то стохастическая зависимость называется корреляционной.

7.2. Прямая регрессии. Линейная корреляция

Приведем пример такой зависимости: пусть Y – урожай зерна, Х – количество удобрений. С одинаковых по площади участков при равном количестве внесенных удобрений снимают разный урожай, т.е. Y не является функцией от Х. Это объясняется влиянием случайных факторов: осадки, температура и т.п. Но опыт показывает, что средний урожай является функцией от количества удобрений, Y связан с Х корреляционной зависимостью: при изменении количества вносимых удобрений изменяется и средний урожай, т.е. математическое ожидание величины Y изменяется при изменении значения Х. Такое математическое ожидание мы называем условным (см. формулу (3.6) п. 3.1) и обозначим М(Y/Х = х).

Тогда можно считать: корреляционная зависимость имеет место, если при  изменении Х изменяется условное математическое ожидание Y.

Аналогично вводится понятие условного  математического ожидания для с.в. Х.

Функции g(x) = М(Y/Х = х) и f(y) = М(Х/Y = у) мы назвали функциями регрессии, а линию на плоскости, соответствующую этому уравнению – линией регрессии соответственно Y на Х и Х на Y. Эта линия показывает, как в среднем зависит Y от Х или Х от Y.

Корреляционная  зависимость между случайными величинами Х и Y называется линейной корреляцией, если обе функции регрессии f(y) и g(x) являются линейными. В этом случае линии регрессии – прямые и называются прямыми регрессии.

Выведем уравнение прямой регрессии Y на Х, т.е. найдем коэффициенты линейной функции g(x) = AX +B.

Введем  обозначения М(Х) = а, М(Y) = b, D(X) = , D(Y) = , М(ХY) – М(Х)×М(Y) = К_xy.

Используем  свойства математического ожидания:

М(Y) = М(g(x))= M(AX +B) = AM(X) +B, тогда B = b – A×a.

M(XY) = M(Xg(x)) = M(AX ² + BX) = AM(X²) + BM(X) = AM(X²) + (b – Aa)×a, откуда

= ρ(Y/X).

Величина ρ(Y/X) называется коэффициентом регрессии Y на Х.

Уравнение прямой регрессии Y на Х имеет вид:

y = ρ(Y/X)×(x – a) + b.     (7.1)

Аналогично  получим уравнение прямой регрессии Х на Y:

y = ρ(X/Y)×(y – b) + a.      (7.2)

Выразим коэффициенты регрессии через коэффициент  корреляции:

.

Тогда уравнения (7.1), (7.2) примут вид:

y – b =

.

  Обе прямые проходят через  общую точку (a, b).

Чем ближе |r| к единице, тем меньше угол между прямыми регрессии, и только в случае |r| = 1 прямые сливаются.

Расчет  прямых регрессии по выборочным данным. Метод наименьших квадратов

Пусть каждый объект генеральной совокупности характеризуется двумя количественными  признаками x и y. Например, деталь может иметь два размера – длину и ширину. В этом случае генеральная совокупность представляет собой двумерную случайную величину (Х, Y). Эта случайная величина принимает значения (x_i, y_i) на множестве объектов генеральной совокупности. Не зная закона совместного распределения случайных величин X и Y, мы не можем говорить о наличии или глубине корреляционной связи между ними, однако, некоторые выводы можно сделать, используя выборочный метод.

Выборку объема n в этом случае представим в виде таблицы, где 
i-й отобранный объект (i = 1, 2, ... n) представлен парой чисел x_i, y_i:

Таблица 7.1

x1	x2	...	xn
y1	y2	...	yn

Пусть по этой выборке требуется  оценить генеральный коэффициент  корреляции

.

Естественной  оценкой ρ_хy служит выборочный коэффициент корреляции

,      (7.3)

который конструируется по методу аналогии (подстановки).

Здесь

– выборочная ковариация (корреляционный момент);

,

– выборочные дисперсии компонент.

Линейная  регрессия является самым простым  и в то же время наиболее часто  используемым типом регрессии. Классическим алгоритмом линейной регрессии является метод наименьших квадратов, суть которого состоит в следующем.

Пусть имеется n экспериментальных точек (x₁ y₁), …, (x_n y_n). Требуется найти многочлен y(x) вида y = a_kx^k + a_k-1x^k-1 + … + b так, чтобы сумма квадратов отклонений многочлена в точках x_i от наблюденных значений y_i (i = 1, … , n) имела наименьшее значение:

    (7.4)

Метод нахождения коэффициентов многочлена y(x) по экспериментальным данным на основе минимизации суммы квадратов отклонений (3.1) называется методом наименьших квадратов.

Рассмотрим  этот метод для построения простой  линейной регрессии. Графически выполнить  условие (3.1) для линейной функции y = ax + b означает провести прямую между экспериментальными точками так, чтобы сумма квадратов отклонений была минимальной (рис. 3.1).

Пусть

   (7.5)

Коэффициенты а, b рассматриваются как переменные, обращающие функцию Q в минимум.

Параметры аппроксимирующей функции выбираем так, чтобы обратилась в минимум функция Q. Для этого используем необходимые условия экстремума:

Отсюда

Разделим  оба уравнения на n:

   (7.6)

С помощью  введенных ранее обозначений  запишем (7.6) в виде

     (7.7)

Неизвестный коэффициент а находим по формулам Крамера:

   (7.8)

Коэффициент b находим непосредственно из первого уравнения (7.7):

     (7.9)

Выражение для а можно записать с использованием выборочного коэффициента кореляции:

Таким образом,

     (7.10)

Заметим, что определитель системы (7.7) равен

если  среди значений x₁,…, x_n есть различные, что и будем предполагать. В этом случае система (7.7) имеет единственное решение.

Пример 7.1. Данные опыта приведены в таблице:

Таблица 7.2

xi	2	4	6	8	10
yi	4,5	7	8	7,5	9

Составить для этих данных уравнение  аппроксимирующей функции y = ax + b.

Решение. Найдем выборочные средние:

;

Выборочная  ковариация:

;

выборочная  дисперсия:

.

Находим коэффициент а по формуле (7.8):

.

Коэффициент b находим из уравнения (7.9):

= 7,2 − 6∙0,475 = 4,35.

С учетом найденных коэффициентов а и b уравнение аппроксимирующей функции имеет вид: y = 0,475x + 4,35.