Парная линейная регрессия и корреляция эконометрических исследованиях

 

Оглавление: 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

    Введение

     Проблема  изучения взаимосвязей экономических  показателей является одной из важнейших  в экономическом анализе. Любая  экономическая политика заключается в регулировании экономических переменных, и она должна основываться на знании того, как эти переменные влияют на другие переменные, являющиеся ключевыми для принимающего решение политика. Так, в рыночной экономике нельзя непосредственно регулировать темп инфляции, но на него можно воздействовать средствами бюджетно-налоговой и кредитно-денежной политики.

     В наиболее общем виде в области  изучения взаимосвязей исследователя  интересует количественная оценка их наличия и направления, а также  характеристика силы и формы влияния одних факторов на другие. Для ее решения применяется две группы методов, одна из которых включает в себя методы корреляционного анализа, а другого - регрессионный анализ. В то же время ряд исследователей объединяет эти методы в корреляционно - регрессионный анализ, что объясняется наличием целого ряда вычислительных процедур, взаимодополнения при интерпретации результатов и др.

     Задачи  собственно корреляционного анализа  сводятся к измерению тесноты  связи между варьирующими признаками, определению неизвестных причинных связей и оценке факторов, оказывающих наибольшее влияние на результативный признак. Задачи регрессионного анализа лежат в сфере установления формы зависимости, определения функции регрессии, использования уравнения для оценки неизвестных значений зависимой переменной.

     Решение задач опирается на соответствующие  приемы, алгоритмы, показатели, применение которых дает основание говорить о статистическом изучении взаимосвязей. При этом инструментарием их базового анализа являются методы статистики и эконометрики.

1. Спецификация, смысл  и оценка параметров  линейной регрессии  и корреляция

     Для решения задач экономического анализа  и прогнозирования очень часто  используются статистические, отчетные или наблюдаемые данные. При этом полагают, эти данные являются значениями случайной величины.

     Случайной величиной называется переменная величина, которая в зависимости от случая принимает различные значения с  некоторой вероятностью. Закон распределения  случайной величины показывает частоту ее тех или иных значений в общей их совокупности.

     Раздел  эконометрики, посвященный изучению взаимосвязей между случайными величинами называется корреляционным анализом. Основная задача корреляционного анализа - это установление характера и  тесноты связи между результативными (зависимыми) и факторными (независимыми) показателями (признаками) в данном явлении или процессе. Корреляционную связь можно обнаружить только при массовом сопоставлении фактов.

     Корреляционная  связь существует там, где взаимосвязанные явления характеризуются только случайными величинами. При такой связи среднее значение (математическое ожидание) случайной величины результативного признака у закономерно изменяется в зависимости от изменения другой величины х или других случайных величин х12 …хn. Корреляционная связь проявляется не в каждом отдельном случае, а во всей совокупности в целом. Только при достаточно большом количестве случаев каждому значению случайного признака х будет соответствовать распределение средних значений случайного признака у. Наличие корреляционных связей присуще многим общественным явлениям.

     Корреляционная  связь - понятие более узкое, чем  стохастическая связь. Последняя может  отражаться не только в изменении  средней величины, но и в вариации одного признака в зависимости от другого, то есть любой другой характеристики вариации. Таким образом, корреляционная связь является частным случаем стохастической связи.

     Задачи  корреляционного анализа сводятся к измерению тесноты известной  связи между варьирующими признаками, определению неизвестных причинных связей (причинный характер которых должен быть выяснен с помощью теоретического анализа) и оценки факторов, оказывающих наибольшее влияние на результативный признак.

     Задачами  регрессионного анализа являются выбор  типа модели (формы связи), установление степени влияния независимых переменных на зависимую и определение расчётных значений зависимой переменной (функции регрессии).

     Решение всех названных задач приводит к  необходимости комплексного использования  этих методов.

     Наиболее разработанной в теории статистики является методология так называемой парной корреляции, рассматривающая влияние вариации факторного анализа х на результативный признак у и представляющая собой однофакторный корреляционный и регрессионный анализ. Овладение теорией и практикой построения и анализа двухмерной модели корреляционного и регрессионного анализа представляет собой исходную основу для изучения многофакторных стохастических связей.

     Важнейшим этапом построения регрессионной модели (уравнения регрессии) является установление в анализе исходной информации математической функции. Сложность заключается в том, что из множества функций необходимо найти такую, которая лучше других выражает реально существующие связи между анализируемыми признаками. Выбор типов функции может опираться на теоретические знания об изучаемом явлении, опят предыдущих аналогичных исследований, или осуществляться эмпирически - перебором и оценкой функций разных типов и т.п.

     При изучении связи экономических показателей  производства (деятельности) используют различного вида уравнения прямолинейной и криволинейной связи. Внимание к линейным связям объясняется ограниченной вариацией переменных и тем, что в большинстве случаев нелинейные формы связи для выполнения расчётов преобразуют (путём логарифмирования или замены переменных) в линейную форму. 1

     Регрессия - это линия, характеризующая наиболее общую тенденцию во взаимосвязи факторного и результативного признаков.

     Простая регрессия представляет собой регрессию между двумя переменными - у и х, т.е. модель вида , где у - результативный признак; х - признак-фактор.

     Множественная регрессия представляет собой регрессию результативного признака с двумя и большим числом факторов, т. е. модель вида .

     Спецификация  модели - формулировка вида модели, исходя из соответствующей теории связи между переменными. В уравнении регрессии корреляционная по сути связь признаков представляется в виде функциональной связи, выраженной соответствующей математической функцией. где yj - фактическое значение результативного признака;

     yxj -теоретическое значение результативного признака.

       - случайная величина, характеризующая отклонения реального значения результативного признака от теоретического.

     Случайная величина ε называется также возмущением. Она включает влияние не учтенных в модели факторов, случайных ошибок и особенностей измерения.

     От  правильно выбранной спецификации модели зависит величина случайных  ошибок: они тем меньше, чем в большей мере теоретические значения результативного признака подходят к фактическим данным у.

     К ошибкам спецификации относятся  неправильный выбор той или иной математической функции для , и недоучет в уравнении регрессии какого-либо существенного фактора, т. е. использование парной регрессии вместо множественной.

     Ошибки  выборки - исследователь чаще всего  имеет дело с выборочными данными  при установлении закономерной связи  между признаками.

     Ошибки  измерения практически сводят на нет все усилия по количественной оценке связи между признаками. Основное внимание в эконометрических исследованиях уделяется ошибкам спецификации модели.

     В парной регрессии выбор вида математической функции  может быть осуществлен тремя методами: графическим, аналитическим и экспериментальным.

     Графический метод основан на поле корреляции. Аналитический метод основан  на изучении материальной природы связи  исследуемых признаков.

     Экспериментальный метод осуществляется путем сравнения величины остаточной дисперсии Dост, рассчитанной при разных моделях. Если фактические значения результативного признака совпадают с теоретическими у = , то Docm =0. Если имеют место отклонения фактических данных от теоретических (у - ) то  

      . 

     Чем меньше величина остаточной дисперсии, тем лучше уравнение регрессии  подходит к исходным данным. Число  наблюдений должно в 6-7 раз превышать  число рассчитываемых параметров при  переменной х.

     На  практике чаще всего применяются следующие формы регрессионных моделей:

     Линейная:

      . 

     Полулогарифметическая кривая: 

      . 

     Гипербола:

      . 

     Парабола  второго порядка: 

      . 

     Показательная функция:

      . 

     Степенная функция:

      . 

     Уравнение однофакторной (парной) линейной корреляционной связи имеет вид: 

     ŷ = a0 + a1x , 

     где ŷ - теоретические значения результативного  признака, полученные по уравнению  регрессии;

     a0 , a1 - коэффициенты (параметры) уравнения регрессии.

     Поскольку a0 является средним значением у в точке х=0, экономическая интерпретация часто затруднена или вообще невозможна.

     Коэффициент парной линейной регрессии a1 имеет смысл показателя силы связи между вариацией факторного признака х и вариацией результативного признака у. Вышеприведенное уравнение показывает среднее значение изменения результативного признака у при изменении факторного признака х на одну единицу его измерения, то есть вариацию у, приходящуюся на единицу вариации х. Знак a1 указывает направление этого изменения.

     Параметры уравнения a0 , a1 находят методом наименьших квадратов (метод решения систем уравнений, при котором в качестве решения принимается точка минимума суммы квадратов отклонений), то есть в основу этого метода положено требование минимальности сумм квадратов отклонений эмпирических данных yi от выравненных ŷ : 

     S(yi - ŷ)2 = S(yi - a0 - a1xi)2 ® min. 

     Для нахождения минимума данной функции  приравняем к нулю ее частные производные и получим систему двух линейных уравнений, которая называется системой нормальных уравнений: 

      . 

     Решим эту систему в общем виде: 

         

     Параметры уравнения парной линейной регрессии  иногда удобно исчислять по следующим формулам, дающим тот же результат: 

       

     Определив значения a0 , a1 и подставив их в уравнение связи ŷ = a0 + a1x, находим значения ŷ , зависящие только от заданного значения х.

     Помимо  содержательного подхода существует формальная оценка адекватности подобранной регрессионной модели. Лучшей из них считается та, которая наименее удалена от исходных данных. 

     

     Данное  свойство средней, гласящее, что сумма квадратов отклонений всех вариантов ряда от средней арифметической меньше суммы квадратов их отклонений от любого другого числа, положено в основу метода наименьших квадратов, позволяющего рассчитать параметры избранного уравнения регрессии таким образом, чтобы линия регрессии была в среднем наименее удалена от эмпирических данных.2

2. Оценка существенности  параметров линейной  регрессии и корреляции

     Корреляционный  и регрессионный анализ обычно проводится для ограниченной по объёму совокупности. Поэтому показатели регрессии и  корреляции - параметры уравнения  регрессии, коэффициенты корреляции и детерминации могут быть искажены действием случайных факторов. Чтобы проверить, насколько эти показатели характерны для всей генеральной совокупности, не являются ли они результатом стечения случайных обстоятельств, необходимо проверить адекватность построенных статистических моделей.

     После построения уравнения линейной регрессии, проводится оценка значимости как уравнения  в целом, так и отдельных его  параметров. Проверить значимость уравнения регрессии - значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

     Методы  оценки тесноты связи подразделяются на корреляционные (параметрические) и непараметрические. Параметрические методы основаны на использовании, как правило, оценок нормального распределения и применяются в случаях, когда изучаемая совокупность состоит из величин, которые подчиняются закону нормального распределения. Непараметрические методы не накладывают ограничений на закон распределения изучаемых величин.3

     При линейной форме уравнения применяется  линейный коэффициент корреляции: 

      , 

     где n - число наблюдений.

     Для практических вычислений при малом  числе наблюдений (n≤20÷30) линейный коэффициент корреляции удобнее исчислять по следующей формуле:

      . 

     Значение  линейного коэффициента корреляции важно для исследования социально-экономических явлений и процессов, распределение которых близко к нормальному. Он принимает значения в интервале: -1≤ r ≤ 1.

     По  степени тесноты связи различают  количественные критерии оценки тесноты  связи. Оценка линейного коэффициента корреляции может быть произведена по таблице 1, либо укрупненно по таблице 2. 

     Таблица 1 Количественные критерии оценки тесноты  связи

Величина  коэффициента корреляции Характер связи
| ± 0,01| - | 0,15| Отсутствует связь
| ± 0,16| - |± 0,20| Практически отсутствует  связь
|±0,21| - |±0,30| Слабая связь
|±0,31| - |± 0,40| Умеренная связь
|±0,41| - |± 0,60| Средняя связь
|±  0,61| - |± 0,80| Высокая связь
|±0,81| - |± 0,90| Очень высокая  связь
|±0,91| - |± 1,00| Полная связь
 

     Таблица 2 Укрупненные критерии оценки тесноты связи

Величина  коэффициента корреляции Характер связи
до | ± 0,3| Практически отсутствует
|±0,3| - |±0,5| Слабая
|±  0,5| - |± 0,7| Умеренная
|±  0,7| - | ±1,0| Сильная
 

     Отрицательные значения указывают на обратную связь, положительные - на прямую. При r = 0 линейная связь отсутствует. Чем ближе коэффициент корреляции по абсолютной величине к единице, тем теснее связь между признаками. И, наконец, при r = ±1 - связь функциональная.

     По  направлению выделяют связь прямую и обратную. При прямой связи с увеличением или уменьшением значений факторного признака происходит увеличение или уменьшение значений результативного. В случае обратной связи значения результативного признака изменяются под воздействием факторного, но в противоположном направлении по сравнению с изменением факторного признака.

     По  аналитическому выражению выделяют связи прямолинейные и криволинейные. Если статистическая связь между  явлениями может быть приближенно  выражена уравнением прямой линии, то ее называют линейной связью; если же она выражается уравнением какой-либо кривой линии (параболы, гиперболы, показательной и др.), то такую связь называют криволинейной.

     Графически  взаимосвязь двух признаков отображается с помощью поля корреляции. В системе  координат по оси абсцисс откладываются значения факторного признака, а на оси ординат - результативного. Каждое пересечение линий, проводимых через эти оси, обозначается точкой. Чем сильнее связь между признаками, тем теснее будут группироваться точки вокруг определенной линии, выражающей форму связи.

     Квадрат линейного коэффициента корреляции r2 называется линейным коэффициентом детерминации. Из определения коэффициента детерминации очевидно, что его числовое значение всегда заключено в пределах от 0 до 1, то есть 0 ≤ r2 ≤ 1. Степень тесноты связи полностью соответствует теоретическому корреляционному отношению, которое является более универсальным показателем тесноты связи по сравнению с линейным коэффициентом корреляции.

     Факт  совпадений и несовпадений значений теоретического корреляционного отношения η и линейного коэффициента корреляции r используется для оценки формы связи.

     Для оценки значимости коэффициента корреляции r используют t-критерий Стьюдента, который применяется при t-распределении, отличном от нормального.

     При линейной однофакторной связи t-критерий можно рассчитать по формуле: 

      , 

     где (n - 2) - число степеней свободы при заданном уровне значимости α и объеме выборки n.

     Полученное  значение tрасч сравнивают с табличным значением t-критерия (для α = 0,05 и 0,01). Если рассчитанное значение tрасч превосходит табличное значение критерия tтабл, то практически невероятно, что найденное значение обусловлено только случайными колебаниями (то есть отклоняется гипотеза о его случайности).

     Оценка значимости уравнения регрессии в целом дается с помощью F-критерия Фишера. При этом выдвигается нулевая гипотеза, что коэффициент регрессии равен нулю, следовательно, фактор х не оказывает влияния на результат у.

     Величина F-отношения (F-критерий) получается при сопоставлении факторной и остаточной дисперсии в расчете на одну степень свободы. 

     F = Dфакт / Dост. 

     F-критерий  проверки для нулевой гипотезы  Н0: Dфакт = Dост.

     Если  нулевая гипотеза справедлива, то факторная  и остаточная дисперсии не отличаются друг от друга. Для Н0 необходимо опровержение, чтобы факторная дисперсия превышала остаточную в несколько раз. Английским статистиком Снедекором разработаны таблицы критических значений F-отношений при разных уровнях существенности нулевой гипотезы и различном числе степеней свободы. Табличное значение F-критерия - это максимальная величина отношения дисперсий, которая может иметь место при случайном их расхождении для данного уровня вероятности наличия нулевой гипотезы. Вычисленное значение F-отношения признается достоверным (отличным от 1), если оно больше табличного. В этом случае нулевая гипотеза об отсутствии связи признаков отклоняется и делается вывод о существенности этой связи: Fфакт > Fтабл Н0 отклоняется.

     Если  же величина оказалась меньше табличной Fфакт < Fтабл, то вероятность нулевой гипотезы меньше заданного уровня (например, 0, 05) и она не может быть отклонена без серьезного риска сделать неправильный вывод о наличии связи. В этом случае уравнение регрессии считается статистически незначимым и не отклоняется.

     Значимость  коэффициентов простой линейной регрессии (применительно к совокупностям, у которых n<30) осуществляют с помощью t-критерия Стьюдента. При этом вычисляют  расчетные (фактические) значения t-критерия:

     для параметра a0 : 

      , 

     для параметра a1 : 

      .

     Среднее квадратическое отклонение результативного  признака от выравненных значений ŷ ; 

      . 

     где n - объём выборки.

     Среднее квадратическое отклонение факторного признака x от общей средней : 

       или  . 

     Вычисленные по вышеприведенным формулам значения сравнивают с критическими t, которые определяют по таблице Стьюдента с учетом принятого уровня значимости α и числом степеней свободы вариации . В социально-экономических исследованиях уровень значимости α обычно принимают равным 0,05. Параметр признаётся значимым (существенным) при условии, если tрасч> tтабл. В таком случае практически невероятно, что найденные значения параметров обусловлены только случайными совпадениями.

     Проверка  адекватности регрессионной модели может быть дополнена корреляционным анализом. Для этого необходимо определить тесноту  корреляционной связи между переменными х и у. Теснота корреляционной связи, как и любой другой, может быть измерена эмпирическим корреляционным отношением ηэ, когда δ2 (межгрупповая дисперсия) характеризует отклонения групповых средних результативного признака от общей средней:

      . 

     Говоря  о корреляционном отношении как о показателе измерения тесноты зависимости, следует отличать от эмпирического корреляционного отношения - теоретическое.

     Теоретическое корреляционное отношение η представляет собой относительную величину, получающуюся в результате сравнения среднего квадратического отклонения выравненных значений результативного признака δ, то есть рассчитанных по уравнению регрессии, со средним квадратическим отношением эмпирических (фактических) значений результативности признака σ: 

      ,

     где:

      ; .

     Тогда:

      . 

     Изменение значения η объясняется влиянием факторного признака.

     В основе расчёта корреляционного  отношения лежит правило сложения дисперсий, то есть , где - отражает вариацию у за счёт всех остальных факторов, кроме х , то есть являются остаточной дисперсией: 

      .

     Тогда формула теоретического корреляционного  отношения примет вид: 

      , 

     или  

      . 

     Подкоренное выражение корреляционного выражения  представляет собой коэффициент  детерминации (мера определенности, причинности).

     Коэффициент детерминации показывает долю вариации результативного признака под влиянием вариации признака-фактора.

     Теоретическое корреляционное выражение применяется  для измерения тесноты связи  при линейной и криволинейной  зависимостях между результативным и факторным признаком.

     Как видно из вышеприведенных формул корреляционное отношение может находиться от 0 до 1. Чем ближе корреляционное отношение к 1, тем связь между признаками теснее.

     Проверка  значимости уравнения регрессии  производится на основе дисперсионного анализа. В математической статистике дисперсионный анализ рассмотрен как  самостоятельный инструмент (метод) статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества модели. Центральное место в анализе дисперсии занимает разложение общей суммы квадратов отклонений переменной у от среднего значения у на две части - «объясненную» и «необъясненную»4:  

Общая сумма квадратов отклонений = Сумма квадратов  отклонений, объясненная регрессией + Остаточная  сумма квадратов отклонений
 

Парная линейная регрессия и корреляция эконометрических исследованиях