Ирина Эланс

Автор который поможет с любыми образовательными и учебными заданиями

Классическая модель множественной регрессии

Содержание

Введение…………………………………………………………………………6

1 Классическая модель множественной регрессии……………………………..8

1.1 Понятие классической линейной модели множественной регрессии……..8

1.2 Оценка коэффициентов КЛММР методом наименьших квадратов……….9

1.3 Проверка гипотезы о значимости уравнения множественной регрессии…………………...…………………………………………………….10

2 Исследование модели на мультиколлинеарность……………………..…….14

3 Исследование модели на гетероскедастичность…………………………….16

3.1 Понятие гетероскедастичности……………………………………………..16

3.2 Тесты на гетероскедастичность…………………………………………….17

3.2.1 Тест ранговой корреляции Спирмана…………...………………..............17

3.2.2 Тест Голдфелда—Квандта………………………………………………...19

3.3 Несмещенная оценка ковариационной матрицы оценок коэффициентов регрессии………………………………………………………...……………….20

3.3.1 Стандартные ошибки в форме Уайта………………...…………………..20

3.3.2 Стандартные ошибки в форме Ньюи-Веста……………………………...21

4 Исследование модели на наличие автокорреляции регрессионных остатков…………………………………………………………………………..23

Заключение……………………………………………………………………….25

Список использованных источников…………………………………………...26

Приложение А…………………………………………………………………....27

Введение

Эконометрика – это наука, в которых на базе реальных статистических данных строятся, анализируются и совершенствуются математические модели экономических явлений (наука, которая дает количественное выражение взаимосвязей экономических процессов и явлений.

Эконометрика возникла на стыке 3-х областей знаний: экономической теории, математической экономике и математической статистики.

Предмет эконометрики есть экономические явления и процессы. Однако, в отличие от экономической теории, эконометрика делает упор на количественные, а не на качественные аспекты этих явлений. Изучение экономических явлений в эконометрике осуществляется через эконометрические модели на базе эмпирических данных.

Цель курсовой работы: исследование влияния социально-экономических показателей на объем инвестиций в основной капитал на душу населения.

Задачами данной работы являются:

Построить МНК-оценки коэффициентов линейной модели множественной регрессии и провести ее исследование.
Провести анализ построенной линейной модели множественной регрессии на наличие/отсутствие мультиколлинеарности; в случае необходимости устранить мультиколлинеарность.
Исследовать регрессионные остатки на наличие гетероскедастичности, используя различные тесты; при необходимости построить ОМНК-оценки параметров регрессионной модели или найти несмещенную оценку ковариационной матрицы вектора оценок коэффициентов в форме Уайта и Невье-Веста.
Исследовать регрессионные остатки на наличие автокорреляции; при необходимости, используя процедуру Кохрейна-Оркатта, построить ОМНК-оценки параметров ОЛММР с автокоррелированными остатками.

Объектом исследования являются 47 муниципальных образований Оренбургской области, характеризующиеся социально-экономическими показателями.

Предметом исследования является количественный аспект социально - экономических явлений.

Исходные данные:

Сведения по 47 муниципальных образований Оренбургской области, характеризующимся пятью социально-экономическими показателями:

- удельный вес убыточных предприятий и организаций, в процентах от общего числа предприятий;

– задолженность организаций по заработной плате, в процентах от общего фонда заработной платы;

- среднегодовая численность работников, занятых в промышленности;

- сальдированный финансовый результат (прибыль минус убыток) на одно предприятие;

- уровень рентабельности реализованной продукции сельского хозяйства в сельскохозяйственных организациях.

1 Классическая модель множественной регрессии

1.1 Понятие классической линейной модели множественной регрессии

Предположим наличие между результативным и факторными признаками прямой линейной зависимости. Рассмотрим модель множественной регрессии [2]:

;
– детерминированные величины. Вектора линейно независимы;
– не зависит от;
при i ≠ j – статистическая независимость (некоррелированность) ошибок для разных наблюдений;
Ошибка имеет совместное нормальное распределение: .

Или в матричном виде.

Пусть - вектор наблюдений результирующего признака;

- вектор коэффициентов модели;

–вектор ошибок;

– матрица наблюдений факторных признаков.

Тогда модель множественной регрессии примет вид:

– спецификация модели;
X – детерминированная матрица имеет максимальный ранг;
– дополнительные условия;
, ε –нормально распределенный случайный вектор.

1.2 Оценка коэффициентов КЛММР методом наименьших квадратов

Целью данного метода является выбор вектора оценок коэффициентов регрессии , минимизирующего сумму квадратов остатков . Решением данной задач минимизации будет:

Найдем оценки коэффициентов регрессии методом наименьших квадратов.

Воспользовавшись стандартными функциями: МУМНОЖ, МОБР программного средства MS Excel вычислим оценки коэффициентов регрессии.

Рисунок 1 – Результат вычисления модели

Получим следующую модель:

Данное уравнение означает, что при увеличении удельного веса убыточных предприятий и организаций от общего числа предприятий на 1 процент объем инвестиций в основной капитал на душу населения уменьшиться на 14,265 рублей. В свою очередь при увеличении задолженности организаций по заработной плате на 1 процент от общего фонда заработной платы уменьшит объем инвестиций в основной капитал на душу населения на 496,958 рубля. Увеличение среднегодовой численности работников, занятых в промышленности на 1 человека увеличит объем инвестиций в основной капитал на душу населения на 0,292 рубля. Увеличение сальдированного финансового результата (прибыль минус убыток) на одно предприятие на 1 рубль увеличит объем инвестиций в основной капитал на душу населения на 0,006 рублей. А увеличение уровня рентабельности реализованной продукции сельского хозяйства в сельскохозяйственных организациях на 1 процент увеличит объем инвестиций в основной капитал на душу населения на 50,46 рублей, соответственно.

1.3 Проверка гипотезы о значимости уравнения множественной регрессии

Вариацию зависимой переменной можно разбить на две части: объясненную регрессионным уравнением и необъясненную [2]:

где

Для определения качества построенной регрессионной модели используется коэффициент детерминации:

Используя MS Excel получим .

Рисунок 2 – Результат вычисления коэффициента детерминации

Таким образом, в среднем 81,7% вариации объема инвестиций в основной капитал на душу населения объясняется вариацией выбранных нами факторных признаков, а 18,3% зависит от вариации неучтенных в модели факторов.

Для проверки значимости построенного уравнения регрессии выдвигается нулевая гипотеза о том, что линейная модель множественной регрессии не адекватна выборочным данным и альтернативная гипотеза о том, что ЛММР адекватна выборочным данным

Рассмотрим следующие гипотезы:

(уравнение не значимо);

(уравнение значимо).

Для проверки нулевой гипотезы вычислим статистику [1]:

распределенную по закону Фишера с p и с n-p-1 степенями свободы.

Так как, гипотеза о не значимости уравнения регрессии отвергается. Уравнение регрессии значимо.

Проверим значимость полученных оценок коэффициентов регрессии при уровне значимости α=0,05. Рассмотрим следующие гипотезы:

Вычислим статистику распределенную по закону Стьюдента с k=n-p-1 степенями свободы. Где

Таблица 1. Среднее квадратичное отклонение и t-статистика оценок коэффициентов регрессии

i
1	31,43177766	-0,454
2	944,7751317	-0,526
3	0,075791773	3,852
4	0,000555234	11,169
5	47,1932874	1,070

Условие выполняется только для для остальных регрессоров гипотеза о не значимости коэффициента регрессии принимается.

Построим доверительный интервал коэффициентов регрессии. Имеет смысл строить доверительные интервалы только для значимых коэффициентов регрессии и по формуле:

Таблица 2. Доверительные интервалы значимых оценок коэффициентов регрессии

i
3	0,1389	0,445
4	0,0051	0,0073

Таким образом, с вероятностью 0,95 можно предполагать, что увеличение среднегодовой численности работников, занятых в промышленности на 1 человека увеличит объем инвестиций в основной капитал на душу населения в пределах от 0,1389 до 0,445 рублей. А увеличение сальдированного финансового результата (прибыль минус убыток) на одно предприятие на 1 рубль увеличит объем инвестиций в основной капитал на душу населения в пределах от 0,0051 до 0,0073 рублей.

2 Исследование модели на мультиколлинеарность

Одним из условий классической регрессионной модели является предположение о линейной независимости объясняющих переменных, что означает линейную независимость столбцов матрицы регрессоров X или (эквивалентно) что матрица имеет полный ранг p. При нарушении этого условия, т.е. когда один из столбцов матрицы X есть линейная комбинация остальных столбцов, говорят, что имеет место полная коллинеарность. В этой ситуации нельзя построить МНК-оценку коэффициентов регрессии. Если есть полная коллинеарность, то можно выделить в матрице X максимальную линейно независимую систему столбцов и, удалив остальные столбцы, провести новую регрессию.

На практике полная коллинеарность встречается исключительно редко. Гораздо чаще приходится сталкиваться с ситуацией, когда матрица X имеет полный ранг, но между регрессорами имеется высокая степень корреляции, т.е. когда матрица , говоря нестрого, близка к вырожденной. Тогда говорят о наличии мультиколлинеарности. В этом случае МНК-оценка формально существует, но обладает «плохими» свойствами.

Мультиколлинеарность может возникать в силу разных причин. Например, несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания. В частности, так может случиться, когда значения одной независимой переменной являются лагированными значениями другой.

Выделим некоторые наиболее характерные признаки мультиколлинеарности.

1. Небольшое изменение исходных данных (например, добавление новых наблюдений) приводит к существенному изменению оценок коэффициентов модели.

2. Оценки имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой (высокое значение коэффициента детерминации и соответствующей F-статистики).

3. Оценки коэффициентов имеют неправильные с точки зрения теории знаки или неоправданно большие значения.

Для выявления мультиколлинеарности рассчитаем матрицу парных коэффициентов корреляции по формуле

Вычислим используя MS Excel парные коэффициенты корреляции.

Рисунок 3 - Парные коэффициенты корреляции

Коэффициенты детерминации каждой объясняющей переменной на все остальные рассчитанные по формуле:

где – определитель матрицы парных коэффициентов, – i-главный минор матрицы парных коэффициентов.

И учитывая, что и, что все парные коэффициенты корреляции между объясняющими признаками достаточно малы, можно сделать вывод об отсутствии мультиколлинеарности между объясняющими признаками.

3 Исследование модели на гетероскедастичность

3.1 Понятие гетероскедастичности

Рассмотрим обобщенную регрессионную модель с гетероскедастичностью. Этот термин применяется в ситуации, когда матрица ковариаций Ω вектора ошибок ε является диагональной, но элементы главной диагонали, вообще говоря, различны. Иными словами, ошибки в разных наблюдениях некоррелированы, но их дисперсии — разные. (Классическая модель с постоянными дисперсиями ошибок называется гомоскедастичной.) Гетероскедастичность довольно часто возникает, если анализируемые объекты, говоря нестрого, неоднородны. Например, если исследуется зависимость прибыли предприятия от каких-либо факторов, скажем, от размера основного фонда, то естественно ожидать, что для больших предприятий колебание прибыли будет выше, чем для малых.

Наличие гетероскедастичности можно предположить по графику зависимости остатков от упорядоченных по возрастанию значений той объясняющей переменной, вариацией которой возможно порождается гетероскедастичность. Для построения графика можно воспользоваться MS Excel.

Рисунок 4- График зависимости модуля значений регрессионных остатков и значений объясняющей переменной

На графике видно, что модули регрессионных остатков имеют тенденцию к росту при увеличении значений объясняющей переменной. Следовательно, можно заподозрить гетероскедастичность по переменной x₄. Кроме визуального анализа, существуют различные критерии (тесты) с помощью которых выявляется гетероскедастичность.

3.2 Тесты на гетероскедастичность

3.2.1 Тест Ранговой корреляции Спирмана

Будем считать, что абсолютные величины остатков регрессии являются оценками , поэтому в случае гетероскедастичности абсолютные величины остатков и значения регрессоров будут коррелированы.

Для нахождения коэффициента ранговой корреляции следует ранжировать наблюдения по значениям переменной и остатков и вычислить по формуле [1]

где – разность между рангами значений и .

Используя MS Excel вычислим коэффициент ранговой корреляции Спирмана.

Рисунок 5 – Результат вычисления коэффициент ранговой корреляции Спирмана

Таким образом, . Проверим гипотезу о значимости коэффициента ранговой корреляции Спирмана.

(нет гетероскедастичности),

(есть гетероскедастичность).

Коэффициент ранговой корреляции значим на уровне значимости α при n > 10, если статистика распределенная по закону Стьюдента с n-2 степенями свободы

В данном случае , а . Таким образом, гипотеза отвергается, то есть коэффициент ранговой корреляции Спирмана значим. Данная модель обладает гетероскедастичностью остатков.

3.2.2 Тест Голдфелда—Квандта

Предположим наличие прямой зависимости дисперсии остатков от величины от сальдированного финансового результата на одно предприятие.

Рассмотрим следующие гипотезы:

(регрессионные остатки гомоскедастичны);

регрессионные остатки гетероскедастичны.

Для проверки данных гипотез выполним следующие действия [2]:

Упорядочим данные наблюдений по убыванию сальдированного финансового результата на одно предприятие;
Сформируем две выборки данных из первых 18 и последних наблюдений;
Проведем две независимые регрессии двух полученных выборок данных;
Рассчитаем статистику , распределенную по закону Фишера с 18-5=13 и 18-5=13 степенями свободы.

После выполнения вышеописанных действий нами были получены следующие модели регрессии

Таблица 3. Оценки коэффициентов регрессии, их среднеквадратичные отклонения и t-статистики для моделей регрессии построенных по выборкам первых и последних наблюдений

	I модель			II модель
i
1	-183,605	165,889	-1,107	31,016	28,282	1,097
2	-1736,41	4965,024	-0,35	3,412	444,522	0,0077
3	0,264	0,124	2,133	3,341	1,449	2,306
4	0,0059	0,00089	6,615	-0,018	0,025	-0,7499
5	112,918	106,231	1,063	-95,2	72,191	-1,319

Сравнивая t-статистики с табличным значением можно сделать вывод, что для первой модели значим только регрессор , а для второй .

F-статистика для проверки гипотезы о гомоскедастичности остатков равна: F=14,307. И так как , гипотеза об отсутствии гетероскедастичности остатков отвергается.

3.3 Несмещенная оценка ковариационной матрицы оценок коэффициентов регрессии

3.3.1 Стандартные ошибки в форме Уайта

Так как, оценки коэффициентов регрессии полученные классическим методом наименьших квадратов состоятельны, а оценка ковариационной матрицы оценок коэффициентов регрессии не состоятельная и смещенная, найдем ее не смещенную оценку.

Предположим, что Ω, матрица ковариации вектора ошибок ε, диагональная. Тогда оценка матрицы ковариаций оценок коэффициентов регрессии рассчитывается по формуле

Для расчета матрицы был написан скрипт на языке Visual Basic for Applications (VBA) в MS Excel. Листинг, которого приведен в приложении А.

Таким образом матрица ковариации приведена в Таблице 4.

Таблица 4. Оценка матрицы ковариаций оценок коэффициентов регрессии

Номер регрессора	1	2	3	4	5
1	745,749	-394,657	0,342	-0,00016	-90,3996
2	-394,657	153465,532	-3,452	0,0086	564,458
3	0,342	-3,452	0,0077	0,0000041	-1,323
4	-0,00016	0,0086	0,0000041	0,000000187	-0,018
5	-90,3996	564,458	-1,323	-0,018	3822,919

3.3.2 Стандартные ошибки в форме Ньюи-Веста

Для случая, когда в матрице Ω ковариаций ошибок ε ненулевые элементы стоят не только на главной диагонали, но и на соседних диагоналях, отстоящих от главной не более чем на L оценка матрицы ковариаций оценок коэффициентов регрессии рассчитывается как:

где весовые коэффициенты берутся по методу Перзен

В качестве оценки L возьмем рекомендуемую

В результате получим следующую оценку матрицы ковариаций оценок коэффициентов регрессии.

Таблица 5. Оценка матрицы ковариаций оценок коэффициентов регрессии

Номер регрессора	1	2	3	4	5
1	727,342	-486,129	0,141	0,002	-100,239
2	-486,129	136602,323	-3,854	0,026	-3178,646
3	0,141	-3,854	0,0056	0,0000031	-0,971
4	0,002	0,026	0,0000031	0,00000012	-0,016
5	-100,239	-3178,646	-0,971	-0,016	3678,584

4 Исследование модели на наличие автокорреляции регрессионных остатков

При анализе временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. Применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать, что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле.

Для визуального анализа регрессионных остатков построим график с использованием MS Excel.

Рисунок 6 – Регрессионные остатки

По графику регрессионных остатков можно предположить отсутствие в регрессионных остатках автокорреляции.

Кроме визуального анализа, существует критерий Дарбина-Уотсона, с помощью которого выявляется автокорреляции первого порядка.

Предполагается, что регрессионные остатки коррелированны между собой и образуют наиболее простой процесс автокорреляции первого порядка :

где - коэффициент корреляции между регрессионными остатками, - случайная величина, которая удовлетворяет всем условиям Гаусса-Маркова.

Рассмотрим следующие гипотезы:

автокорреляция остатков регрессии отсутствует;

наличие автокорреляции остатков регрессии.

Для проверки данной гипотезы будем использовать статистику Дарбина-Уотсона [1]:

Для полученной нами модели d=2,262 , что, в силу того, что для 1% уровня значимости при количестве наблюдений n=47 и количестве регрессоров p=5, и так как , свидетельствует, что гипотеза об отсутствии автокорреляции остатков регрессии принимается, что не удивительно, так как выборка данных пространственная.

Заключение

В результате данной курсовой работы было получено уравнение регрессии, которое не подтвердилось на наличие автокорреляции, но в ней присутствует гетероскедастичность остатков.

Регрессионная зависимость объема инвестиций в основной капитал на душу населения от различных факторов описывается множественным уравнением регрессии:

(0,0758) (0,00056)

Уравнение оказалось значимым, коэффициент при объясняющей переменной так же значим, поэтому можно сделать вывод, что увеличение среднегодовой численности работников, занятых в промышленности на 1 человека увеличит объем инвестиций в основной капитал на душу населения на 0,292 рубля. А увеличение сальдированного финансового результата (прибыль минус убыток) на одно предприятие на 1 рубль увеличит объем инвестиций в основной капитал на душу населения на 0,006 рублей.

R²=0,817 обозначает, что вариация результативного признака на 81,7% объясняется вошедшим в модель фактором, а остальные 18,3% не учтенными в модели факторами.

Список использованных источников

Кремер Н.Ш. Эконометрика./ Н.Ш. Кремер, Б.А. Путко – Москва, 2002.
Магнус Я.Р. Эконометрика. Начальный курс. / Я.Р. Магнус, П.К. Катышев, А.А. Пересецкий – Москва, 2004

Приложение А.

Скрипт на языке Visual Basic for Applications (VBA) для расчета матрицы используемой в вычислении стандартной ошибки в форме Уайта для модели с гетероскедастичностю.

Sub Wait()

Dim i As Integer

Dim j As Integer

Dim s As Integer

Dim X(1 To 6, 1 To 47) As Double

Dim e2(1 To 47) As Double

Dim Res(1 To 6, 1 To 6) As Double

For i = 1 To 47

e2(i) = CDbl(ActiveCell.Offset(i - 1, 7))

For j = 1 To 6

X(j, i) = CDbl(ActiveCell.Offset(i - 1, j - 1))

Next j

Next i

Dim sum As Double

For i = 1 To 6

For j = 1 To 6

sum = 0

For s = 1 To 47

sum = sum + e2(s) * X(i, s) * X(j, s)

Res(i, j) = sum

Next j

Next i

For i = 1 To 6

For j = 1 To 6

ActiveCell.Offset(55 + i, j - 1) = Res(i, j)

Next j

Next i

End Sub

Скрипт на языке Visual Basic for Applications (VBA) для расчета матрицы используемой в вычислении стандартной ошибки в форме Ньюи-Веста для модели с гетероскедастичностю.

Sub NewWest()

Dim i As Integer

Dim j As Integer

Dim s As Integer

Dim L As Integer

Dim w As Double

L = 3

Dim X(1 To 6, 1 To 47) As Double

Dim e2(1 To 47) As Double

Dim Res(1 To 6, 1 To 6) As Double

For i = 1 To 47

e2(i) = CDbl(ActiveCell.Offset(i - 1, 7))

For j = 1 To 6

X(j, i) = CDbl(ActiveCell.Offset(i - 1, j - 1))

Next j

Next i

Dim sum1 As Double

Dim sum2 As Double

For i = 1 To 6

For j = 1 To 6

sum1 = 0

sum2 = 0

Классическая модель множественной регрессии 📙 Курсовая → 🆔 103900