Направления совершенствования линейной регрессионной модели

Направления совершенствования  линейной регрессионной модели

Важным этапом регрессионного анализа является определение типа функции, с помощью которой характеризуется зависимость между признаками.  Приблизительное представление о линии связи можно получить на основе эмпирической линии зависимости, которая строится по полученным для исследования данным и имеет вид ломаной. Различают линейные (определяются линейной функцией) и нелинейные (определяются нелинейными функциями) модели.  Наиболее часто для характеристики связей экономических показателей используют следующие типы функций:

1. линейная ;
2. гиперболическая ;
3. параболическая ;
4. логарифмическая ;
5. показательная ;
6. степенная .

Линейная  регрессионная модель.

Уравнение линейной  регрессионной  модели в общем виде представляется равенством

        , .  Где:

• х_t – неслучайная величина, независимая переменная, фактор-признак;
• - случайная величина, зависимая переменная, признак-результат;
• - случайная величина.

К основным причинам случайности  можно отнести следующие:

1. Модель является  упрощением действительности. На самом деле существуют и другие параметры, от которых результат может зависить. Так зарплата может зависить от уровня образования, стажа работы, пола сотрудника, формы собственности предприятия и многих других факторов.

2. Трудности в измерении данных (т.е. присутствуют ошибки измерений). Так при рассмотрении зависимости расходов на питание от доходов семьи мы можем опираться лишь на данные, составленные членами этой семьи.

Следовательно, - случайная величина с некоторой функцией распределения, которая соответствует функции распределения случайной величины .

В дальнейшем  нашей задачей  будет задача составления уравнения  регрессии линейной модели в виде , коэффициенты которого можно определить методом наименьших квадратов.

Параметр b называется коэффициентом регрессии. Данный коэффициент показывает среднее изменение результата при изменении фактора на единицу.  Коэффициент регрессии является постоянным в рамках одной зависимости.  Возможность четкой экономической интерпретации данного коэффициента сделала  линейную модель достаточно распространенной в эконометрических исследованиях.

Формально а - значение у при х=0. Если признак-фактор х не имеет и не может иметь нулевого значения, то вышеуказанная трактовка свободного члена а не имеет смысла.  Параметр а может не имеет экономического содержания.    Интерпретировать    можно лишь знак при    параметре а. Если а > 0, то относительное изменение результата происходит медленнее, чем изменение фактора. Если же а < 0, то наблюдается опережение изменения результата над изменением фактора.

Коэффициент регрессии применяют  для определения коэффициента эластичности Э_i, который показывает, на сколько процентов изменится величина результативного признака у при изменении признака – фактора на один процент.

Понятие эластичности функции дается в математическом анализе. Эластичность функции – это предел отношения  относительного приращения функции у к относительному приращению аргумента х при :

.

Исходя из определения, коэффициент  эластичности линейной функции определяется формулой . Видно, что это переменный коэффициент, поскольку его значение зависит от значения признака-фактора. В общем виде можно записать .

Часто рассчитывается средний показатель эластичности , где - средние значения признаков.

Раннее отмечалось, что  показателями степени тесноты корреляционной связи являются коэффициенты корреляции.

К простейшим подобным показателям  относят коэффициент Фехнера - коэффициент корреляции знаков. Он основан на сравнении поведения отклонений индивидуальных значений каждого признака от своей средней величины. При этом во внимание принимаются не величины отклонений, а только их знаки. Совпадения знаков отклонений обозначают через d, а несовпадений – с. Коэффициент Фехнера вычисляется по формуле      , где

  - число совпадений знаков отклонений,

  -  число несовпадений знаков отклонений.

Коэффициент Фехнера  может принимать различные значения в пределах от -1 до +1. Причем, если Н > 0, то между признаками наблюдается прямая связь; при Н < 0 – связь имеет обратное направление. 

В силу того, что данный коэффициент  учитывает только знаки  отклонений, а  не их величины, коэффициент  Фехнера  на практике характеризует  в большей мере лишь наличие и  направление связи.

Более  совершенным показателем степени тесноты связи  является линейный коэффициент корреляции, который был предложен английским  ученым К. Пирсоном. Данный коэффициент учитывает значения отклонений индивидуальных значений каждого признака от своей средней величины.  Вычисление этого коэффициента удобно проводить по формуле

.

Линейный коэффициент  корреляции может принимать любые  значения в пределах от -1 до +1.  Чем  ближе коэффициент корреляции по абсолютной величине к 1, тем теснее связь между признаками. Знак при линейном коэффициенте корреляции, так же как и коэффициент Фехнера,  указывает на направление связи между признаками.  Если , то говорят о наличии функциональной связи. В том случаи, когда r = 0  линейная связь между исследуемыми параметрами отсутствует.

Интерпретируя значение линейного коэффициента корреляции, следует иметь в виду, что он рассчитан для ограниченного  числа наблюдений и подвержен  случайным колебаниям.  Следовательно, как любой выборочный показатель, он содержит  случайную ошибку и не всегда однозначно отражает действительно реальную связь между изучаемыми признаками.  Оценка значимости линейного коэффициента корреляции основана на сопоставлении  абсолютного значения  самого коэффициента с его средней квадратической ошибкой . Коэффициент корреляции считается значимым, если его абсолютное значение более чем в три раза превышает свою среднюю квадратическую ошибку:  т.е.  .

В зависимости от числа наблюдений n различают следующие методы расчета средней квадратической ошибки:

1. если число наблюдений велико ( ), то ;

2. при небольшом числе  наблюдений ( ) .

Оценка  надежности линейной модели.

1. Обоснованность выбора линейной функции в качестве уравнения регрессии.

1.Оценка существенности линейного коэффициента корреляции     (через распределение Стьюдента).

• Данная оценка дает возможность распространить выводы по результатам выборки на всю генеральную совокупность.

✔ Вычисляется   показатель , где

r – линейный коэффициент корреляции,

n – длина выборки.

✔ Определить значение t_табл.

• определяется по таблице распределения  Стьюдента в зависимости от числа степеней свободы k = n – 2 и уровня значимости α = 5%.

✔ Сравнить  t_расч. и t_табл.

• если t_расч. >  t_табл., то с вероятностью 95 % во всей генеральной совокупности действительно существует линейная зависимость между изучаемыми признаками.

2. Оценка обоснованности  выбора линейной функции в качестве уравнения регрессии.

✔ Вычислить:

• среднеквадратическую ошибку 
• среднеквадратическое отклонение
• индекс корреляции

✔ Анализ параметров:

II.    Прогноз значений результативного признака по уравнению регрессии.

• Средняя квадратическая ошибка уравнения S_e  дает нам возможность в каждом конкретном случае с определённой вероятностью указать, что величина результативного признака расположена в определённом интервале относительно значения, вычисленного по уравнению регрессии. Данный интервал называют доверительным.

✔ Определить  границы доверительного интервала.

• вычислить дисперсию ;
• определить множитель ;
• определить значение t_табл.  по таблице распределения Стьюдента в зависимости от числа степеней свободы и уровня значимости α = 5%;
• рассчитать отклонение ;
• вычислить границы доверительного интервала;
• построить диаграммы:
1. практическую (эмпирическая линия),
2. прогноз (теоретическая линия),
3. доверительный интервал:
• нижняя граница
• верхняя граница

Значения t_γ,k – критерия Стьюдента

Задачи корреляционно-регрессионного анализа решаются по следующему алгоритму:

1. строится эмпирическая линия по данным наблюдения (по виду этой линии определяется тип регрессионной модели);
2. определяется теснота связи между признаками. В качестве показателей тесноты связи между признаками используются коэффициенты корреляции. (определяется значимость указанных коэффициентов);
3. составляется уравнение регрессии, коэффициенты которого определяются методом наименьших квадратов;
4. рассчитываются коэффициенты эластичности;
5. строится  теоретическая линия;
6. проводится прогноз значений результативного признака;
7. делаются выводы.

Выбрав вид  функции регрессии, т.е. вид рассматриваемой  модели зависимости Y от Х (или Х от У), например, линейную модель y_x=a+bx, необходимо определить конкретные значения коэффициентов модели.

При различных  значениях а и b можно построить  бесконечное число зависимостей вида y_x=a+bx т.е на координатной плоскости имеется бесконечное количество прямых, нам же необходима такая зависимость, которая соответствует наблюдаемым значениям наилучшим образом. Таким образом, задача сводится к подбору наилучших коэффициентов.

Линейную функцию a+bx ищем, исходя лишь из некоторого количества имеющихся наблюдений. Для нахождения функции с наилучшим соответствием  наблюдаемым значениям используем метод наименьших квадратов.

Обозначим: Y_i - значение, вычисленное по уравнению Y_i=a+bx_i. y_i - измеренное значение, ε_i=y_i-Y_i - разность между измеренными и вычисленными по уравнению значениям, ε_i=y_i-a-bx_i.

В методе наименьших квадратов требуется, чтобы ε_i, разность между измеренными y_i и вычисленными по уравнению значениям Y_i, была минимальной. Следовательно, находим коэффициенты а и b так, чтобы сумма квадратов отклонений наблюдаемых значений от значений на прямой линии регрессии оказалась наименьшей:

Исследуя на экстремум эту функцию аргументов а и с помощью производных, можно доказать, что функция принимает  минимальное значение, если коэффициенты а и b являются решениями системы:

 (2) 

Если разделить  обе части нормальных уравнений  на n, то получим:

Учитывая, что   (3)

Получим  , отсюда  , подставляя значение a в первое уравнение, получим:

При этом b называют коэффициентом регрессии; a называют свободным членом уравнения регрессии  и вычисляют по формуле: 

Полученная прямая является оценкой для теоретической линии регрессии. Имеем:

Итак,   является уравнением линейной регрессии.

Регрессия может  быть прямой (b>0) и обратной (b<0). Прямая регрессия означает, что при росте  одного параметра, значения другого  параметра тоже увеличиваются. А  обратная, что при росте одного параметра, значения другого параметра уменьшаются.

Пример 1. Результаты измерения величин X и Y даны в таблице:

Предполагая, что  между X и Y существует линейная зависимость y=a+bx, способом наименьших квадратов  определить коэффициенты a и b.

Решение. Здесь n=5  
x_i=-2+0+1+2+4=5;  
x_i²=4+0+1+4+16=25  
x_iy_i=-2•0.5+0•1+1•1.5+2•2+4•3=16.5  
y_i=0.5+1+1.5+2+3=8

и нормальная система (2) имеет вид 

Решая эту систему, получим: b=0.425, a=1.175. Поэтому y=1.175+0.425x.

Пример 2. Имеется  выборка из 10 наблюдений экономических показателей (X) и (Y).

Требуется найти  выборочное уравнение регрессии Y на X. Построить выборочную линию регрессии Y на X.

Решение. 1. Проведем упорядочивание данных по значениям x_i и y_i. Получаем новую таблицу:

Для упрощения  вычислений составим расчетную таблицу, в которую занесем необходимые  численные значения.

Согласно формуле (4), вычисляем коэффициента регрессии

а по формуле (5)

Таким образом, выборочное уравнение регрессии  имеет вид y=-59.34+1.3804x.  
Нанесем на координатной плоскости точки (x_i; y_i) и отметим прямую регрессии.

  
Рис 4

На рис.4 видно, как располагаются наблюдаемые  значения относительно линии регрессии. Для численной оценки отклонений y_i от Y_i, где y_i наблюдаемые, а Y_i определяемые регрессией значения, составим таблицу:

Значения Y_i вычислены согласно уравнению регрессии.

Заметное отклонение некоторых наблюдаемых значений от линии регрессии объясняется  малым числом наблюдений. При исследовании степени линейной зависимости Y от X число наблюдений учитывается. Сила зависимости определяется величиной коэффициента корреляции.

Модель чистого  экспорта

     Построение  и развитие экономической модели  – это длительный и сложный процесс. Очень редко оценка исходной спецификации  зависимости дает хорошие по всем параметрам результаты. Предположим, что оцененная множественная линейная регрессия по ряду статистических характеристик (DW, t – статистики, F - статистика) оказалась неприемлемой и требует улучшения. Направления такого уточнения могут быть следующими:

• Выведение из рассмотрения незначимых объясняющих переменных и добавление новых переменных;
• Разбиение временного интервала на части и оценка исходной или новой формулы регрессии на каждой из них;
• Преобразование исходных данных с целью устранить их нежелательные свойства;
• Построение нелинейных спецификаций управления регрессии с последующей их линеаризацией (или оценкой нелинейной регрессии);
• Устранение сильно коррелированных между собой объясняющих переменных (борьба с мультиколлинеарностью).

     Мы рассмотрим  эти направления совершенствования регрессионной модели на примере конкретного экономического исследования, делая по мере необходимости пояснения и отступления. В качестве базового примера рассмотрим процесс построения функции чистого экспорта для экономики США. Для этого будем использовать массив макроэкономических данных за 1931-1990гг. В качестве первоначальной спецификации функции чистого экспорта для этого периода в целом рассмотрим выражение

     Здесь переменная RNX обозначает реальный чистый экспорт(Real Net Exports), или чистый экспорт в постоянных ценах 1982г., млрд. долларов; GNP - реальный валовой национальный продукт в тех же единицах; RSR - реальная краткосрочная процентная ставка, в процентах. В различные макромодели открытой экономики, в частности в модель IS-LM, обычно включаются зависимости чистого экспорта такого или подобного вида. Коэффициенты и , называемые чувствительностями величины чистого экспорта к показателю объема ВНП и величине ставки процента, считаются в теории отрицательными. В соответствии с результатами оценивания на каждом очередном шаге мы будем корректировать совокупность объясняющих переменных, период оценивания и другие особенности уравнения (временные лаги, наличие свободного члена и т.д.).

Оценка первоначальной формулы дает результат 

RNX= 21,1 – 0,017*GNP – 0,411*RSR

               (8,43) (0,004)  (0,947)                                         (2)

(в скобках приведены стандартные ошибки)

     Отрицательные  знаки коэффициентов регрессии  соответствует здесь теоретическим  представлениям. Коэффициент при  переменной  значительно меньше  по абсолютной величине, чем коэффициент  при, но это не значит, что  данная величина воздействует на зависимую переменную слабее. Здесь все определяется единицами измерения, и если ВНП измерять не в миллиардах, а в триллионная долларов, то соответствующий коэффициент регрессии будет равен не 0,017, а 17, при стандартной ошибке 4.

     Соотношение  коэффициента и его стандартной ошибки, или t-статистика (в последующем случае 0,017:0,004=4,25), важна для определения статистической значимости функции от соответствующей объясняющей переменной. Вообще говоря, нулевая гипотеза для t-статистики и, соответственно, коэффициента регрессии проверяется с помощью таблиц распределения Стьюдента. В данном случае ясно без таблиц, по общему порядку цифр что, коэффициент при GNP, равный 0,017, статистически значим (так как ), а коэффициент при RSR, равный (-0,411), статистически незначим. Его t-статистика слишком мала по абсолютной величине. Если уточнить по таблицам, уровень значимости здесь составляет примерно 2/3. Следовательно, если в действительности (для генеральной совокупности) этот коэффициент равен нулю, то вполне вероятно (с вероятностью 2/3) для данного размера выборки (60 наблюдении) при двух объясняющих переменных получить такую (-0, 434) или большую по модулю t-статистику данного коэффициента регрессии. Для оценки значимости коэффициента регрессии можно воспользоваться следующим грубым правилом; если абсолютная величина коэффициента меньше, чем его стандартная ошибка, то он статистически незначим (если нет мультиколлинеарности, или коррелированности объясняющих переменных). В данном случае это правило срабатывает, и на следующем шаге мы заменим переменную RSR.

Теперь рассчитаем F- статистику оцененного уравнения:

По таблице распределения  Фишера с (2;57) степенями свободы находим, что критическое значение F равно 3,16 при 5%-ном уровне значимости и 5,0 при 1%-ном. Таким образом, гипотеза о равенстве нулю одновременно всех коэффициентов регрессии заведомо отвергается (что, впрочем, ясно и из того, что коэффициент при GNP уже до этого получился значимым). Итак, даже небольшая величина =0,29 при довольно большом числе наблюдений значимую величину F- статистики. В то же время если величина рассматривается как самостоятельный критерий качества регрессии (а не только как средство проверки нулевой гипотезы для всех коэффициентов одновременно), позволяющий оценить его в сравнении с качеством линии , то значение =0,29 вряд ли можно считать хорошим. Это говорит о необходимости дальнейшего поиска объясняющих переменных для показателя RNX.

    Для оценки  качества множественной линейной  регрессии и проверки наличия   предполагающихся свойств отклонений нужна также статистика Дарбина-Уотсона DW. В рассматриваемом примере она равна 0,43. Невооруженным взглядом видна положительная автокорреляция : DW близка к нулю. Проверим статистику DW по таблице n=60; m=2 при уровне значимости 5%. Критические значения ; . Поскольку DW= 0,43<1,44= принимается гипотеза о наличии положительной автокорреляции остатков первого порядка. Таким образом, значение статистики Дарбина-Уотсона говорит о том, что оцениваемая зависимость имеет другой вид: действовали какие-то неучтенные факторы либо сама формула связи была нелинейной. Заметим, что если оцениваются регрессионные связи макроэкономических показателей по временным рядам наблюдений за столь длительный период времени, то статистика DW чаще всего оказывается близкой к нулю. Практически всегда какие-то факторы действуют на протяжении некоторых периодов времени, «уводя» зависимую переменную вверх или вниз от линии (или поверхности) регрессии. Идентификация таких факторов и определение периодов их действия является важной задачей эконометрики.

     Указанные  недостатки оцененного уравнения  регрессии проявляются и на  графике. На рис. 18.1, где показаны  зависимости от времени действительных  и рассчитанных по уравнению  регрессии значений RNX, а также отклонений первых от вторых, можно видеть, что оцененное уравнение не описывает колебаний переменной RNX, а объясняет лишь ее общий тренд. Здесь же видно, что отклонения зависимой переменной от линии регрессии не являются независимыми и, кроме того, дисперсия их для разных периодов не постоянна.

     Воздействие  процентной ставки на величину  чистого экспорта происходит  с определенным временным запаздыванием  (лагом). Заключаемые контракты ориентируются  на текущий валютный курс (который, в свою очередь, с некоторой задержкой реагирует на изменения процентной ставки), а их исполнение обычно происходит лишь через несколько месяцев. Поэтому естественно в качестве первого шага в развитии модели чистого экспорта не исключать объясняющую переменную RSR, а ввести ее с лагом в один год, то есть заменить RSR на RSR(-1). В результате расчетный период сокращается на одну точку, т.е. охватывает 1932-1990 гг. Получается следующее уравнение регрессии:

Здесь обе объясняющие  переменные статистически значимы; их f-статистики превышают по модулю 2. Однако обобщающие показатели качества модели и DW по сравнению с уравнением (2) существенно не улучшились. На графике (рис. 18.2) можно видеть, что некоторые периоды, особенно во второй половине 1940-х – первой половине 1950-х годов, эта модель описывает уже не только общий тренд величины RNX, но и отклонения от этого тренда. В то же время она, безусловно, не подходит для всего периода 1931-1990 гг.