Уравнение множественной регрессии

Уравнение множественной регрессии.

Уравнение множественной регрессии может быть представлено в виде:

Y = f(β , X) + ε

где X = X(X₁, X₂, ..., X_m) - вектор независимых (объясняющих) переменных; β - вектор параметров (подлежащих определению); ε - случайная ошибка (отклонение); Y - зависимая (объясняемая) переменная.

теоретическое линейное уравнение множественной регрессии имеет вид:

Y = β₀ + β₁X₁ + β₂X₂ + ... + β_mX_m + ε

β₀ - свободный член, определяющий значение Y, в случае, когда все объясняющие переменные X_j равны 0.

Прежде чем перейти к определению нахождения оценок коэффициентов регрессии, необходимо проверить ряд предпосылок МНК.

Предпосылки МНК.

1. Математическое ожидание случайного отклонения ε_i равно 0 для всех наблюдений (M(ε_i) = 0).

2. Гомоскедастичность (постоянство дисперсий отклонений). Дисперсия случайных отклонений ε_i постоянна: D(ε_i) = D(ε_j) = S² для любых i и j.

3. отсутствие автокорреляции.

4. Случайное отклонение должно быть независимо от объясняющих переменных: Y_eixi = 0.

5. Модель является линейное относительно параметров.

6. отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.

7. Ошибки ε_i имеют нормальное распределение. Выполнимость данной предпосылки важна для проверки статистических гипотез и построения доверительных интервалов.

Эмпирическое уравнение множественной регрессии представим в виде:

Y = b₀ + b₁X₁ + b₁X₁ + ... + b_mX_m + e

Здесь b₀, b₁, ..., b_m - оценки теоретических значений β₀, β₁, β₂, ..., β_m коэффициентов регрессии (эмпирические коэффициенты регрессии); e - оценка отклонения ε.

При выполнении предпосылок МНК относительно ошибок ε_i, оценки b₀, b₁, ..., b_m параметров β₀, β₁, β₂, ..., β_m множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т.е. BLUE-оценками).

Для оценки параметров уравнения множественной регрессии применяют МНК.

1. Оценка уравнения регрессии.

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения:

s = (X^TX)^-1X^TY

Матрица X

Матрица Y

Матрица X^T

Умножаем матрицы, (X^TX)

В матрице,  (X^TX) число 10, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X

Умножаем матрицы,  (X^TY)

Находим обратную матрицу (X^TX)^-1

Вектор оценок коэффициентов регрессии равен

s = (X^TX)^-1X^TY = 

Уравнение регрессии (оценка уравнения регрессии)

Y = -24.25 + 99.35X₁-0.23X₂ + 1.68X₃

2. Матрица парных коэффициентов корреляции.

Число наблюдений n = 10. Число независимых переменных в модели равно 3, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 5. Матрица, независимых переменных Х имеет размерность (10 х 5).

Матрица, составленная из Y и X

Транспонированная матрица.

Матрица A^TA.

Полученная матрица имеет следующее соответствие:

Найдем парные коэффициенты корреляции.

Матрица парных коэффициентов корреляции.

Коллинеарность - зависимость между факторами. В качестве критерия мультиколлинеарности может быть принято соблюдение следующих неравенств:

r(x_jy) > r(x_kx_j) ; r(x_ky) > r(x_kx_j).

Если одно из неравенств не соблюдается, то исключается тот параметр x_k или x_j, связь которого с результативным показателем Y оказывается наименее тесной.

Для отбора наиболее значимых факторов x_i учитываются следующие условия:

- связь между результативным признаком и факторным должна быть выше межфакторной связи;

- связь между факторами должна быть не более 0.7. Если в матрице есть межфакторный коэффициент корреляции r_xjxi > 0.7, то в данной модели множественной регрессии существует мультиколлинеарность.;

- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними.

Если факторные переменные связаны строгой функциональной  зависимостью, то говорят о полной мультиколлинеарности. В этом случае среди столбцов матрицы факторных переменных Х имеются линейно зависимые столбцы, и, по свойству определителей матрицы, det(X^TX = 0).

Вид мультиколлинеарности, при котором факторные переменные связаны некоторой стохастической зависимостью, называется частичной. Если между факторными переменными имеется высокая степень корреляции, то матрица (X^TX) близка к вырожденной, т. е. det(X^TX ≧ 0) (чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии).

Вычисление определителя показано в шаблоне решения Excel

В нашем случае r_{x1 x2} , r_{x1 x3} , r_{x2 x3} имеют |r|>0.7, что говорит о мультиколлинеарности факторов и о необходимости исключения одного из них из дальнейшего анализа.

Анализ первой строки этой матрицы позволяет произвести отбор факторных признаков, которые могут быть включены в модель множественной корреляционной зависимости. Факторные признаки, у которых |r_yxi| < 0.5 исключают из модели. Можно дать следующую качественную интерпретацию возможных значений коэффициента корреляции (по шкале Чеддока): если |r|>0.3 - связь практически отсутствует; 0.3 ≤ |r| ≤ 0.7 - связь средняя; 0.7 ≤ |r| ≤ 0.9 - связь сильная; |r| > 0.9  - связь весьма сильная.

Проверим значимость полученных парных коэффициентов корреляции с помощью t-критерия Стьюдента. Коэффициенты, для которых значения t-статистики по модулю больше найденного критического значения, считаются значимыми.

Рассчитаем наблюдаемые значения t-статистики для r_yx1 по формуле:

где m = 1 - количество факторов в уравнении регрессии.

По таблице Стьюдента находим Tтабл

t_крит(n-m-1;α/2) = (8;0.025) = 2.306

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx2 по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx3 по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Таким образом, связь между (y и x_x1 ), (y и x_x2 ), (y и x_x3 ) является существенной.

Наибольшее влияние на результативный признак оказывает фактор x₃ (r = 0.99), значит, при построении модели он войдет в регрессионное уравнение первым.

Частные коэффициенты корреляции.

Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и x_i) при условии, что влияние на них остальных факторов (x_j) устранено.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

*

*

Теснота связи не сильная

Определим значимость коэффициента корреляции r_{yx1 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

где k = 1 - число фиксируемых факторов.

По таблице Стьюдента находим Tтабл

t_крит(n-k-2;α/2) = (7;0.025) = 2.365

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₁  при условии, что x₂  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx1 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₁  при условии, что x₃  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx2 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₂  при условии, что x₁  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx2 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₂  при условии, что x₃  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂  остается нецелесообразным.

*

*

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx3 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₃  при условии, что x₁  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃  остается нецелесообразным.

*

*

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx3 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₃  при условии, что x₂  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃  остается нецелесообразным.

Можно сделать вывод, что при построении регрессионного уравнения следует отобрать факторы x₁ , x₂ , x₃  .

Модель регрессии в стандартном масштабе.

Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:

где х_ji - значение переменной х_ji в i-ом наблюдении.

Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение S.

Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:

t_y = ∑β_jt_xj

Для оценки β-коэффциентов применим МНК. При этом система нормальных уравнений будет иметь вид:

r_x1y=β₁+r_x1x2*β₂ + ... + r_x1xm*β_m

r_x2y=r_x2x1*β₁ + β₂ + ... + r_x2xm*β_m

...

r_xmy=r_xmx1*β₁ + r_xmx2*β₂ + ... + β_m

Для наших данных (берем из матрицы парных коэффициентов корреляции):

0.878 = β₁ + 0.993β₂ + 0.916β₃

0.909 = 0.993β₁ + β₂ + 0.946β₃

0.99 = 0.916β₁ + 0.946β₂ + β₃

Данную систему линейных уравнений решаем методом Гаусса: β₁ = 0.533; β₂ = -0.91; β₃ = 1.363; 

Стандартизированная форма уравнения регрессии имеет вид:

y⁰ = 0.533x₁ -0.91x₂ + 1.363x₃ 

Найденные из данной системы β-коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:

3. Анализ параметров уравнения регрессии.

Перейдем к статистическому анализу полученного уравнения регрессии: проверке значимости уравнения и его коэффициентов, исследованию абсолютных и относительных ошибок аппроксимации

Для несмещенной оценки дисперсии проделаем следующие вычисления:

Несмещенная ошибка ε = Y - Y(x) = Y - X*s (абсолютная ошибка аппроксимации)