Математическое моделирование экономических процессов методом наименьших квадратов

МОРДОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ИМ. Н.П. ОГАРЁВА

 

Факультет математический

 
Кафедра прикладной математики

 
 
 
 
 

КУРСОВАЯ РАБОТА

 
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ЭКОНОМИЧЕСКИХ  ПРОЦЕССОВ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ 

 
 
 
 
 
 
 
Автор курсовой работы                   10.05.2011                   Ерёмкина К.А.

Специальность       01051        прикладная математика

Обозначение курсовой работы     КР-

Руководитель работы                       10.05.2011                   Шамонин П.А.

Заведующий кафедрой, 
кандидат ф.-м. н., доцент

 

 

 

                                                                                              Оценка

 

 

 

 

 

 

Саранск 2011

Содержание Введение
1. Постановка задачи множественной  линейной регрессии                                      3
2. Расчётные формулы с  помощью метода наименьших квадратов                        4
3. Достаточное условие  применения метода наименьших  квадратов                      6     Теорема Гаусса-Маркова
4. Проверка адекватности  модели                                                                              16     Коэффициент детерминации
Список использованной литературы                                                                         18

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Сегодня  для любого гражданина России не секрет, что экономика  его страны практически перешла  на рыночные рельсы и функционирует  исключительно по законам рынка. Каждое предприятие отвечает за свою работу само и само принимает решения о дальнейшем развитии. Современные условия рыночного хозяйствования предъявляют к методам прогнозирования очень высокие требования, ввиду всё возрастающей важности правильного прогноза для судьбы предприятия, да и экономики страны в целом.

Именно прогнозирование функционирования экономики регионов или даже страны, на мой взгляд нужно уделять пристальное  внимание на данный момент, потому что  за пеленой сиюминутных собственных  проблем все почему-то забыли о  том, что экономика страны тоже должна управляться, а следовательно и  прогнозирование показателей ее развития должно быть поставлено на твердую  научную основу.

В данной курсовой работе мною был приведён метод наименьших квадратов (МНК), как один из способов прогнозирования экономических показателей.

 

 

 

 

 

 

 

 

 

 

 

1. Постановка задачи множественной линейной регрессии

Классическая нормальная линейная модель  множественной  регрессии 

Экономические явления, как  правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной зависимой переменной Y от нескольких объясняющих переменных Х₁, Х₂,…,Х_n. Эта задача решается с помощью множественного регрессионного анализа.

Обозначим i-е наблюдение зависимой переменной y_i, a объясняющих переменных — х_i1,x_i2,…x_ip. Тогда модель множественной линейной регрессии можно представить в виде:

y_i =β₀ +β₁x_i1+β₂x_i2+...+β_px_ip+ε_i                                                                                                                    (4.1)

где i = 1,2,..., n; ε_i удовлетворяет предпосылкам :

1. M(ε_i)=0
2. D(ε_i)=δ²
3. M(ε_i ε_j)=0 (i≠j)

Модель (4.1), в которой зависимая переменная y_i возмущения ε_i и объясняющие переменные

x_i1,x_i2,…,x_ip удовлетворяют предпосылкам  регрессионного анализа и, кроме того, предпосылке о невырожденности матрицы (независимости столбцов) значений объясняющих переменных, называется классической нормальной линейной моделью множественной регрессии (Classic Normal Linear Multiple Regression model).

Включение в регрессионную  модель новых объясняющих переменных усложняет получаемые формулы и вычисления. Это приводит к целесообразности использования матричных обозначений. Матричное описание регрессии облегчает как теоретические концепции анализа, так и необходимые расчетные процедуры.

Введем обозначения: y=(y₁ y₂ … y_n)^’— матрица-столбец, или вектор, значений зависимой переменной размера n;

— матрица значений объясняющих  переменных, или матрица плана  размера n×(p+1) (обращаем внимание на то, что в матрицу X дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что в модели (4.1) свободный член β₀ умножается на фиктивную переменную х_i0, принимающую значение 1 для всех i: х_i0 = 1 (i= 1,2,..., n);

Β=(β₀ β₁ … β_p)^’ - матрица-столбец, или вектор, параметров размера (p+1)

ε=(ε₁ ε₂ … ε_n) - матрица-столбец, или вектор, возмущений (случайных ошибок, остатков) размера n.

Тогда в матричной форме  модель (4.1) примет вид:

Y=Xβ+ε.                                                                  (4.2)

Оценкой этой модели по выборке  является уравнение 

Y= Xb+e,                                                                  (4.2')

где b = (b_o b₁... b_p)^’, e = (e₁ e₂... e_n)^’.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Расчётные формулы с помощью метода наименьших квадратов

Для оценки вектора неизвестных  параметров β применим метод наименьших квадратов. Так как произведение транспонированной матрицы е’ на саму матрицу е

то условие минимизации  остаточной суммы квадратов запишется  в виде:

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Хb)’=b’X;

после раскрытия скобок получим:

S = Y′Y-b′Х^’Y-Y′Xb + b^′X′Xb.

Произведение Y’Xb есть матрица размера (l×n)[n×(p+1)]×[(p+1)×1]=(1×1), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. У′Xb = (Y′Xb)′ = b′X′Y.

Поэтому условие минимизации (4.3) примет вид:

На основании необходимого условия экстремума функции нескольких переменных S(b₀,b₁...b_p), представляющей (4.3), необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных

Для вектора частных производных  доказаны следующие формулы:

где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.

Поэтому, полагая с= X’Y, а матрицу А = X’X (она является симметрической), найдем

Откуда получаем систему нормальных уравнении в матричной форме для определения вектора b:

X’Xb = X’Y.                                        (4.5)

Найдем матрицы, входящие в это уравнение. Матрица Х’Х представляет матрицу сумм первых степеней, квадратов и попарных произведений n наблюдений объясняющих переменных:

Матрица X'Y есть вектор произведений n наблюдений объясняющих и зависимой переменных:

В частном случае из рассматриваемого матричного уравнения (4.5) с учетом (4.6) и (4.7) для одной объясняющей переменной (р=1) нетрудно получить систему нормальных уравнений. Действительно, в этом случае матричное уравнение (4.5) принимает вид:

откуда непосредственно  следует система нормальных уравнений.

Для решения матричного уравнения (4.5) относительно вектора оценок параметров b необходимо ввести еще однупредпосылку для множественного регрессионного анализа: матрица X'X является неособенной, т.е. ее определитель не равен нулю. Следовательно, ранг матрицы Х'Х равен ее порядку, т.е. r(Х'Х)=р+1. Из матричной алгебры известно, что r(Х'Х)=r(Х), значит, r(Х)=р+1, т. е. ранг матрицы плана X равен числу ее столбцов. Это позволяет сформулировать предпосылку  множественного регрессионного анализа в следующем виде:

Векторы значений объясняющих переменных, или столбцы матрицы плана X, должны быть линейно независимыми, т. е. ранг матрицы X — максимальный (г (Х)=р+1).

Кроме того, полагают, что  число имеющихся наблюдений (значений) каждой из объясняющих и зависимой переменных превосходит ранг матрицы X, т. е. n>r(X) или n>р+1, ибо в противном случае в принципе невозможно получение сколько-нибудь надежных статистических выводов.

Предпосылки для множественного регрессионного анализа могут быть записаны следующим образом:

1. В модели (4.2) ε - случайный вектор, X — неслучайная (детерминированная) матрица.

2. M(ε)=0_n.

3, 4. ∑_ε=M(εε’)=δ²E_n.

5. ε — нормально распределенный случайный вектор, т.е. ε~N_n(0;δ²E_n).

6. r(Х) =р+1<n.

Как уже отмечено в модель (4.2), удовлетворяющая приведенным предпосылкам 1—6, называется классической нормальной линейной моделью множественной регрессии; если же среди приведенных не выполняется лишь предпосылка 5 о нормальном законе распределения вектора возмущений е, то модель (4.2) называется просто классической линейной моделью множественной регрессии.

Решением уравнения (4.5) является вектор

                                                                b = (X'X)^-1X’Y,                                                                   (4.8)

где (Х'Х)^-1 — матрица, обратная матрице коэффициентов системы (4.5), X'Y — матрица-столбец, или вектор, ее свободных членов.

 

 

 

 

 

 

 

 

3. Достаточное условие применения метода наименьших квадратов

Теорема Гаусса—Маркова.

 

Теорема Гаусса—Маркова

Если регрессионная модель y_i=β₀+β₁x_i+ε_i удовлетворяет предпосылкам

1. В этой модели возмущение ε_i (или зависимая переменная y_i) есть величина случайная, а объясняющая переменная x_i - величина неслучайная.

2. Математическое ожидание возмущения ε_i равно нулю:

                                                                    M(ε_i)=0                                                                          (3.23)

(или математическое ожидание  зависимой переменной у_i равно линейной функции регрессии:       M(y_i)=β₀+β₁x_i).

3. Дисперсия возмущения  е_i (или зависимой переменной у_i) постоянна для любого i:

                                                                    D(ε_i)=δ²                                                                                                     (3.24)

(или D(у_i)=δ²— условие гомоскедастичности или равноизменчивости возмущения (зависимой переменной)).

4. Возмущения ε_i  и ε_j (или переменные у_i и y_j) не коррелированы:

                                                                  M(ε_iε_j)=0 (i≠j)                                                                  (3.25) 

то оценки b₀, b₁ имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (Best Linear Unbiased Estimator, или BLUE).

Таким образом, оценки b₀ и b₁ в определенном смысле являются наиболее эффективными линейными оценками параметров β₀ и β₁.

Теорема Гаусса—Маркова, рассмотренная выше для парной регрессионной модели, оказывается верной и в общем виде для модели (4.2) множественной регрессии:

При выполнении предпосылок  множественного регрессионного анализа  оценка метода наименьших квадратов  b = (Х'Х)^-1X'Y является наиболее эффективной, т. е. обладает наименьшей дисперсией в классе линейных несмещенных оценок (Best Linear Unbiased Estimator, или BLUE).

Зная вектор b, выборочное уравнение множественной регрессии представим в виде:

                                                                         y=X₀b,                                                                         (4.9)

где у— групповая (условная) средняя переменной Y при заданном векторе значений объясняющей переменной

Х₀=(1 х₁₀ х₂₀ ... х_р0).

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии b_j’ и коэффициенты эластичности E_j (j = 1,2,..., р):

Стандартизованный коэффициент регрессии b_j’ показывает, на сколько величин s_y изменится в среднем зависимая переменная Y при увеличении только j-й объясняющей переменной на s_xj, а коэффициент эластичности E_j — на сколько процентов (от средней) изменится в среднем Yпри увеличении только X_j на 1%.

Преобразуем вектор оценок (4.8) с учетом (4.2):

т.е. оценки параметров (4.8), найденные по выборке, будут содержать случайные ошибки.

Так как математическое ожидание оценки b равно оцениваемому параметру β, т. е.

Т.к. M(ε)=0, то, очевидно, что вектор b есть несмещенная оценка параметра β.

Вариации оценок параметров будут в конечном счете определять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают так называемую ковариационную матрицу вектора оценок параметров ∑_b,  являющуюся матричным аналогом дисперсии одной переменной:

где элементы δ_ij — ковариации (или корреляционные моменты) оценок параметров β_i и β_j. Ковариация двух переменных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий. Поэтому

Ковариация характеризует  как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

В силу того, что оценки b_j, полученные методом наименьших квадратов, являются несмещенными оценками параметров β_j, т. е. M(b_j)=β_j , выражение (4.13) примет вид:

(в этом легко убедиться,  перемножив векторы (b - β) и (b - β)’).

Учитывая (4.12), преобразуем это выражение:

ибо элементы матрицы X — неслучайные величины.

Матрица М(εε') представляет собой ковариационную матрицу вектора возмущений

в которой все элементы, не лежащие на главной диагонали, равны нулю в силу предпосылки 4 о  некоррелированности возмущений ε_i и ε_j между собой, а все элементы, лежащие на главной диагонали, в силу предпосылок 2 и 3 регрессионного анализа равны одной и той же дисперсии δ²:

Поэтому матрица

где Е_n — единичная матрица n-го порядка. Следовательно, в силу (4.15) ковариационная матрица вектора оценок параметров:

Итак, с помощью обратной матрицы (Х’Х)^-1 определяется не только сам вектор b оценок параметров (4.8), но и дисперсии и ковариации его компонент.

Теперь мы имеем возможность  привести доказательство теоремы Гаусса—Маркова.

Выше мы уже показали, что оценка метода наименьших квадратов b = (Х'Х)^-1 X'Y есть несмещенная оценка для вектора параметров β, т. е. М(b) = β. Любую другую оценку b₁ вектора β без ограничения общности можно представить в виде

где С — некоторая матрица размера (р+1)хn.

Так как рассматриваемые  в теореме оценки относятся к  классу несмещенных оценок, то и 

М(b₁) =β или М(b₁) =  M[(X'X)^-1X' + C]Y = β.

Учитывая, что матрица  в квадратных скобках — неслучайная, а в силу предпосылки 2 регрессионного анализа M(ε)=0, получим

откуда следует, что СХ = 0.

Далее

Так как 

Теперь с помощью преобразований, аналогичных проведенным при  получении формул (4.15), (4.16), найдем, что ковариационная матрица вектора оценок b₁, т. е.

Или, учитывая (4.16),

Диагональные элементы матрицы СС’ неотрицательны, ибо они равны суммам квадратов элементов соответствующих строк этой матрицы. А так как диагональные элементы матриц ∑_b и ∑_b есть дисперсии компонент векторов оценок b_1i и b_i то дисперсия   Это означает, что оценки коэффициентов регрессии, найденных методом наименьших квадратов, обладают наименьшей дисперсией, что и требовалось доказать.

Итак, мы доказали, что оценка b метода наименьших квадратов является «наилучшей» линейной оценкой параметра β. Перейдем теперь к оценке еще одного параметра - дисперсии возмущений δ².

Рассмотрим вектор остатков е, равный в соответствии с (4.2') е= Y- Хb.

 В силу (4.2) и (4.8)

(учли, что произведение (Х’Х)^-1(Х'Х)=Е, т. е. равно единичной матрице Е_p+1 (p+1)-го порядка).

Найдем транспонированный  вектор остатков е'. Так как при транспонировании матрица (Х'Х)^-1 не меняется, т. е.

Так как последние два  слагаемых взаимно уничтожаются, то

Первое слагаемое выражения (4.17)

ибо в силу предпосылок 2,3 регрессионного анализа

Матрица В=Х(Х’Х)^-1 X' симметрическая, так как

Поэтому ε'Вε представляет квадратическую форму

Её математическое ожидание

Последнюю сумму можно  разбить на две составляющие суммы  элементов на главной диагонали  матрицы В и вне ее:

Второе слагаемое равно  нулю в силу предпосылки 4 регрессионного анализа, т.е. M(ε_iε_j)=0. Сумма диагональных элементов матрицы В образует след матрицы tr(B). Получим

Заменив матрицу В ее выражением, получим

так как след матрицы не меняется при ее транспонировании, т. е. tr(AC)= tr(CA), а след единичной матрицы (т.е. сумма ее диагональных элементов) равен порядку этой матрицы.

Теперь по формуле (4.17), учитывая (4.18) и (4.19), получим:

т.е.:

Равенство (4.20) означает, что несмещенная оценка s² параметра δ² или выборочная остаточная дисперсия s² определяется по формуле:

Полученная формула легко  объяснима. В знаменателе выражения (4.21) стоит n-(р+1), а не n-2. Это связано с тем, что теперь (р+1) степеней свободы (а не две) теряются при определении неизвестных параметров, число которых вместе со свободным членом равно (р+1). Можно показать, что рассмотренные оценки b и s² параметров β и δ² при выполнении предпосылки 5 регрессионного анализа о нормальном распределении вектора возмущений ε(ε~N_n(0;δ²E_n)) являются независимыми. Для этого в данном случае достаточно убедиться в некоррелированности оценок b и s².

Перейдем теперь к оценке значимости коэффициентов регрессии b_j и построению доверительного интервала для параметров регрессионной модели β_j (j=1,2,..., р).

В силу (4.14), (4.16) и изложенного выше оценка s_b² дисперсии δ_b² коэффициента регрессии b_j определится по формуле:

где s² — несмещенная оценка параметра δ²;

[(Х'Х)^~1]_jj — диагональный элемент матрицы (X'Х)^-1.

Среднее квадратическое отклонение (стандартная ошибка) коэффициента регрессии b_j примет вид:

Значимость коэффициента регрессии b_j мoжно проверить, если учесть, что статистика (b_j -β_j)/s_b. имеет t-распределение Стьюдента с k =n-р-1 степенями свободы. Поэтому b_j значимо отличается от нуля (иначе — гипотеза H₀ o равенстве параметра β_j нулю, т. е. H₀: β_j = 0, отвергается) на уровне значимости α, если - табличное значение t-критерия Стьюдента, определенное на уровне значимости α при числе степеней свободы k=n-р-1.

В общей постановке гипотеза H₀ о равенстве параметра β_j заданному числу β_j0, т. е. Н₀:β_j=β_j0, отвергается, если

Поэтому доверительный интервал для параметра β_j есть

Наряду с интервальным оцениванием коэффициентов регрессии  по (4.23') весьма важным для оценки точности определения зависимой переменной (прогноза) является построение доверительного интервала для функции регрессии или для условного математического ожидания зависимой переменной M_x(Y), найденного в предположении, что объясняющие переменные Х₁,X₂,..., Х_р приняли значения, задаваемые вектором Х^'₀ =(l х₁₀ х_2о … х_р0). Выше такой интервал получен для уравнения парной регрессии. Обобщая соответствующие выражения на случай множественной регрессии, можно получить  доверительный интервал для M_X(Y):

где у — групповая средняя, определяемая по уравнению регрессии,

— ее стандартная ошибка.

Аналогичный доверительный интервал для индивидуальных значений зависимой переменной y₀^* примет вид:

Доверительный интервал для  параметра δ² в множественной регрессии строится аналогично парной модели по формуле (3.39) с соответствующим изменением числа степеней свободы критерия χ².

 

 

 

 

 

 

 

4. Проверка адекватности модели.

Коэффициент детерминации.

Как и в случае парной регрессионной модели, в модели множественной  регрессии общая вариация Q — сумма квадратов отклонений зависимой переменной от средней (3.41) может быть разложена на две составляющие:

Q=Q_R+Q_e ,

где Q_R, Q_e — соответственно сумма квадратов отклонений, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.

Получим более удобные, формулы  для сумм квадратов Q, Q_R и Q_e, не требующие вычисления значений y_i , обусловленных регрессией, и остатков е_i.

Наконец,

Уравнение множественной  регрессии значимо (иначе - гипотеза Hо о равенстве нулю параметров регрессионной модели, т. е. Ho: β₁ = β₂ =...=β_p= 0, отвергается), если при m = р+1)

где F_{α;p;n-p-1 -} табличное значение F- критерия Фишера-Снедекора, а Q_R и Q_e определяются по формулам (4.31) и (4.30).

Kоэффициент детерминации R² как одна из наиболее эффективных оценок адекватности регрессионной модели, мера качества уравнения регрессии, характеристика его  прогностической силы.

Коэффициент детерминации (или множественный коэффициент детерминации) R² определяется по формуле:

R² характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных; чем ближе R² к единице, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.

Вместе с тем использование  только одного коэффициента детерминации R² для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определенная модель регрессии может дать сравнительно высокий коэффициент R². Недостатком коэффициента детерминации R² является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно означает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный  (адаптированный, поправленный (adjusted)) коэффициент детерминации R², определяемый по формуле

Из (4.34) следует, что чем больше число объясняющих переменных р, тем меньше R² по сравнению с R². В отличие от R² скорректированный коэффициент R² может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную. Однако даже увеличение скорректированного коэффициента детерминации R² при введении в модель новой объясняющей переменной не всегда означает, что ее коэффициент регрессии значим (это происходит, как можно показать, только в случае, если соответствующее значение t-статистики больше единицы (по абсолютной величине), т.е. |t|>1. Другими словами, увеличение R² еще не означает улучшения качества регрессионной модели. Если известен коэффициент детерминации R², то критерий значимости (4.32) уравнения регрессии может быть записан в виде:

где к₁=р, к₂₌n-р-1, ибо в уравнении множественной регрессии вместе со свободным членом оценивается m=р+1 параметров.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Список использованной литературы

1. Кремер Н.Ш., Путко Б.А.  Эконометрика: Учебник для вузов /

Под ред. проф. Н.Ш. Кремера. - М.: ЮНИТИ-ДАНА, 2002. — 311 с.