Спецификация модели. Отбор факторов при построений множественной регрессии. Предпосылки метода наименьших квадратов

1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

1. Спецификация модели. Отбор факторов при построений                 множественной регрессии

Парная  регрессия может дать хороший  результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Например, при построении модели потребления того или иного товара от дохода исследователь предполагает, что в каждой группе дохода одинаково влияние на потребление таких факторов, как цена товара, размер семьи, ее состав. Вместе с тем исследователь никогда не может быть уверен в справедливости данного предположения. Для того чтобы иметь правильное представление о влиянии дохода на потребление, необходимо изучить их корреляцию при неизменном уровне других факторов. Прямой путь решения такой задачи состоит в отборе единиц совокупности с одинаковыми значениями всех других факторов, кроме дохода. Он приводит к планированию эксперимента — методу, который используется в химических, физических, биологических исследованиях. Экономист в отличие от экспериментатора-естественника лишен возможности регулировать другие факторы. Поведение отдельных экономических переменных контролировать нельзя, т. е. не удается обеспечить равенство всех прочих условий для оценки влияния одного исследуемого фактора. В этом случае следует попытаться выявить влияние других факторов, введя их в модель, т. е. построить уравнение множественной регрессии

Такого  рода уравнение может использоваться при изучении потребления. Тогда коэффициенты bj — частные производные потребления у по соответствующим факторам х_i:

в предположении, что все остальные х_i постоянны.

В 30-е  гг. XX в. Дж.М. Кейнс сформулировал свою гипотезу потребительской функции. С того времени исследователи неоднократно обращались к проблеме ее совершенствования. Современная потребительская функция чаще всего рассматривается как модель вида:

где С - потребление;

у - доход;

Р - цена» индекс стоимости жизни;

М - наличные деньги;

Z - ликвидные активы.

При этом

Множественная регрессия широко используется в  решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целого рада других вопросов эконометрики. Основная цель множественной регрессии - построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Построение  уравнения множественной регрессии  начинается с решения вопроса о спецификации модели. Она включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Их решение при построении модели множественной регрессии имеет некоторую специфику.

Отбор факторов при построении множественной  регрессии

Включение в уравнение множественной регрессии  того или иного набора факторов связано  прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов; в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы могут быть проранжированы).

2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в  модель факторов с высокой интеркорреляцией, когда R_yx1 < R_yx2 для зависимости может привести к нежелательным последствиям — система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если  между факторами существует высокая  корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Так, в уравнении предполагается, что факторы х₁ и х₂ независимы друг от друга, т. е. r _х1х2 = 0. Тогда можно говорить, что параметр b₁ измеряет силу влияния фактора х₁ на результат у при неизменном значении фактора х₂. Если же r_х1х2 = 1, то с изменением фактора х₁ фактор х₂ не может оставаться неизменным. Отсюда b₁ и b₂ нельзя интерпретировать как показатели раздельного влияния х₁ и х₂ на y.

Включаемые  во множественную регрессию факторы  должны объяснить вариацию независимой переменной. Если строится модель с набором р факторов, то для нее рассчитывается показатель детерминации R², который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии р факторов. Влияние других не учтенных в модели факторов оценивается как 1 - R² с соответствующей остаточной дисперсией S².

При дополнительном включении в регрессию р + 1 фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

R²_p+1 > R²_p и S²_p+1 < S²_p.

Если  же этого не происходит и данные показатели практически мало отличаются друг от друга, то включаемый в анализ фактор x_p+1 не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по t-критерию Стьюдента.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число  факторов, практически в этом нет  необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй - на основе матрицы показателей корреляции определяют t-статистики для параметров регрессии.

Коэффициенты  интеркорреляции (т. е. корреляции между  объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменных явно кoллинеарны, т. е. находятся между собой в линейной зависимости.

Поскольку одним из условий построения уравнения  множественной регрессии является независимость действия факторов, т.е. R_хiхj = 0, коллинеарность факторов нарушает это условие. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Наибольшие  трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т. е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой, и нельзя оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов (МНК).

Если  рассматривается регрессия , то для расчета параметров, применяя МНК, предполагается равенство

S_y = S_факт + S_ε

где S_y - общая сумма квадратов отклонений

S_факт - факторная (объясненная) сумма квадратовотклонений

S_ε - остаточная сумма квадратов отклонений

В свою очередь, при независимости факторов друг от друга выполнимо равенство

S_факт = S_x + S_z + S_v

где S_x S_z S_v - суммы квадратов отклонений, обусловленные влиянием

соответствующих факторов.

Если  же факторы интеркоррелированы, то данное равенство нарушается.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

• затрудняется интерпретация параметров множественной  регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл;

• оценки параметров ненадежны, обнаруживают большие  стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогноза.

Для оценки мультиколлинеарности факторов может  использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если  бы факторы не коррелировали между  собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы r_хiхj (х_i ≠  х_j) были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

матрица коэффициентов  корреляции между факторами имела  бы определитель, равный единице.

так как     _{и   .}

Если  же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

Чем ближе  к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Оценка значимости мультиколлинеарности факторов может  быть проведена методом испытания гипотезы о независимости переменных . Доказано,   что   величина имеет приближенное распределение степенями свободы. Если фактическое значение превосходит табличное (критическое) _факт > _{табл(df,o)}, то гипотеза Н₀ отклоняется. Это означает, что , недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Через коэффициенты множественной детерминации можно  найти переменные, ответственные за мультиколлинеарность факторов. Для этого в качестве зависимой переменной рассматривается каждый из факторов. Чем ближе значение коэффициента множественной детерминации к единице, тем сильнее проявляется мультиколлинеарность факторов. Сравнивая между собой коэффициенты множественной детерминации факторов

(R²_x1|x2x3…xp; R²_x2|x1x3…xp и т.п.)

можно выделить переменные, ответственные за мультиколлинеарность, следовательно, можно решать проблему отбора факторов, оставляя в уравнении факторы с минимальной величиной коэффициента множественной детерминации.

Существует  ряд подходов преодоления сильной  межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними. Например, при построении модели на основе рядов динамики переходят от первоначальных данных к первым разностям уровней Δt = y_t – y_t-1, чтобы исключить влияние тенденции, или используются такие методы, которые сводят к нулю межфакторную корреляцию, т. е. переходят от исходных переменных к их линейным комбинациям, не коррелированных друг с другом (метод главных компонент).

Одним из путей учета внутренней корреляции факторов является переход к совмещенным  уравнениям регрессии, т. е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если у = f(x₁,x₂,x₃), то возможно построение следующего совмещенного уравнения:

Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по F-критерию Фишера, например, - взаимодействие второго порядка и т. д. Как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми, совмещенные уравнения регрессии ограничиваются взаимодействиями первого и второго порядков. Но и эти взаимодействия могут оказаться несущественными, поэтому нецелесообразно полное включение в модель взаимодействий всех факторов и всех порядков. Так, если анализ совмещенного уравнения показал значимость только взаимодействия факторов х₁ и x₃, то уравнение будет иметь вид:

Взаимодействие  факторов х₁ и х₃ означает, что на разных уровнях фактора х₃ влияние фактора х₁ на у будет неодинаково, т. е. оно зависит от значений фактора x₃. На рис. 1 взаимодействие факторов представляется непараллельными линиями связи с результатом у. И, наоборот, параллельные линии влияния фактора х₁ на у при разных уровнях фактора х₃ означают отсутствие взаимодействия факторов х₁ и х_3.

Рис. 1. Графическая иллюстрация взаимодействия факторов:

а – х₁ влияет на у, причем это влияние одинаково как при х₃ = В₁, так и при х₃ = В₂ (одинаковый наклон линий регрессии), что означает отсутствие взаимодействия факторов х₁ и х₃;

б - с ростом х₁ результативный признаку возрастает при х₃ = В₁ ; с ростом х₁ результативный признак у снижается при х₃ = В₂. Между х₁ и х₃ существует взаимодействие.

Совмещенные уравнения регрессии строятся, например, при исследовании эффекта влияния  на урожайность разных видов удобрений (комбинаций азота и фосфора).

Решению проблемы устранения мультиколлинеарности факторов может помочь и переход к уравнениям приведенной формы. С этой целью в уравнение регрессии производится подстановка рассматриваемого фактора через выражение его из другого уравнения.

Пусть, например, рассматривается двухфакторная  регрессия вида , , для которой факторы х₁ и х₂ обнаруживают высокую корреляцию. Если исключить один из факторов, то мы придем к уравнению парной регрессии. Вместе с тем можно оставить факторы в модели, но исследовать данное двухфакторное уравнение регрессии совместно с другим уравнением, в котором фактор (например, х₂) рассматривается как зависимая переменная. Предположим, известно, что .

 Подставляя это уравнение в искомое вместо х₂, получим:

или

Если , то, разделив обе части равенства на , получим уравнение вида:

которое представляет собой приведенную форму уравнения  для определения результативного признака у. Это уравнение может быть представлено в виде

К нему для  оценки параметров может быть применен метод наименьших квадратов.

Отбор факторов, включаемых в регрессию, является одним  из важнейших этапов практического  использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ.

Наиболее  широкое применение получили следующие  методы построения уравнения множественной регрессии:

•     метод исключения;

•     метод включения;

•    шаговый регрессионный анализ.

Каждый  из этих методов по-своему решает проблему отбора факторов, давая в целом  близкие результаты — отсев факторов из полного его набора (метод исключения), дополнительное введение фактора (метод включения), исключение ранее введенного фактора (шаговый регрессионный анализ).

На первый взгляд может показаться, что матрица  парных коэффициентов корреляции играет главную роль в отборе факторов. Вместе с тем вследствие взаимодействия факторов парные коэффициенты корреляции не могут в полной мере решать вопрос о целесообразности включения в модель того или иного фактора. Эту роль выполняют показатели частной корреляции, оценивающие в чистом виде тесноту связи фактора с результатом. Матрица частных коэффициентов корреляции наиболее широко используется в процедуре отсева факторов. При отборе факторов рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6—7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной вариации очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а F-критерий меньше табличного значения.

1.2. Предпосылки метода наименьших квадратов.

Обобщенный метод наименьших квадратов

При оценке параметров уравнения регрессии  применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей ε. В модели

случайная составляющая е представляет собой ненаблюдаемую  величину. После того, как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей у - . Поскольку они не есть реальные случайные остатки, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т. е. .

При изменении  спецификации модели, добавлении в  нее новых наблюдений выборочные оценки остатков могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений , т. е. остаточных величин.

В предыдущих разделах мы останавливались на формальных проверках статистической достоверности коэффициентов регрессии и корреляции с помощью (для коэффициентов корреляции). При использовании t-критерия Стьюдента, F-критерия Фишера и Z-преобразования делаются предположения относительно поведения остатков - остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Статистические  проверки параметров регрессии, показателей  корреляции основаны на непроверяемых предпосылках распределения случайной составляющей . Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Коэффициенты  регрессии, найденные исходя из системы  нормальных уравнений, представляют собой  выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии b_i, можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Для практических целей важна не только несмещенность, но и эффективность oценок. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии b_i имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии . Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования  остатков г_{ предполагают проверку наличия следующих пяти предпосылок МНК:

•    случайный характер остатков;

•    нулевая средняя величина остатков, не зависящая от х_i;

•    гомоскедастичность — дисперсия каждого отклонения одинакова для всех значений х;

•    отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга;

•    остатки подчиняются нормальному  распределению.

В тех  случаях, когда все пять предпосылок  выполняются, оценки, полученные по МНК и по методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде  всего проверяется случайный  характер остатков — первая предпосылка МНК.

С этой целью  стоится график зависимости остатков от теоретических значений результативного признака (рис. 2).

Рис.2. Зависимость  случайных остатков от теоретических значений

Если  на графике получена горизонтальная полоса, то остатки  представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значения у.

Возможны  следующие случаи: если зависит от , то:

•  остатки  не случайны (рис. 3а);

Рис.3. Зависимость  случайных остатков от теоретических значений

•    остатки , не имеют постоянной дисперсии (рис. 3в);

•    остатки  носят систематический характер (рис. 3б), в данном случае отрицательные значения , соответствуют низким значениям , а положительные — высоким значениям.

В случаях  а), б), в) (рис. 3) необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

Вторая  предпосылка МНК относительно нулевой  средней величины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных. Так, для модели вида

Вместе  с тем несмещенность оценок коэффициентов  регрессии, полученных МНК, зависит от независимости случайных остатков и величин x, что также исследуется в рамках соблюдения второй предпосылки МНК. С этой целью наряду с изложенным графиком зависимости остатков ε от теоретических значений результативного признака строится график зависимости случайных остатков ε от факторов, включенных в регрессию х_i (рис. 4).

Рис. 4. Зависимость  случайных остатков от величины фактора x_j.

Если  остатки на графике расположены  в виде горизонтальной полосы (см. рис.4), то они независимы от значений х_j. Если же график показывает наличие зависимости ε_i и х_j то модель неадекватна. Причины неадекватности могут быть разные. Возможно, что нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора х_j. Может быть неправильна спецификация модели и в нее необходимо ввести дополнительные члены от х_j, например х_j² или преобразовать значения у. Скопление точек в определенных участках значений фактора х_j говорит о наличии систематической погрешности модели.

Корреляция  случайных остатков с факторными признаками позволяет проводить  корректировку модели, в частности  использовать кусочно-линейные модели.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессий и корреляции с помощью критериев t, F. Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т. е. при нарушении пятой предпосылки МНК.

Совершенно  необходимым для получения по МНК состоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х_j остатки ε_i , имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно видеть из поля корреляции (рис. 5).

Рис. 5. Примеры гетероскедастичности:

а — дисперсия остатков растет по мере увеличения х;

б —  дисперсия остатков достигает максимальной величины при средних значениях переменной х и уменьшается при минимальных и максимальных значениях х;

в — максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна по мере увеличения значений х

Гомоскедастичность  остатков означает, что дисперсия  остатков ε_i одинакова для каждого значения х. Используя трехмерное изображение, получим графики, иллюстрирующие гомо- и гетероскедастичность (рис. 6).

a)Гомоскедастичность остатков                       б)Гетероскедастичность остатков

Рис. 6. Гомоскедастичность и гетероскедастичность остатков