Классический метод наименьших квадратов

     Классический  метод наименьших квадратов. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Содержание.

     Введение…………………………………………………………………….3

     1. Процедура оценки параметров  по методу наименьших квадратов…..5

     2. Свойства оценок МНК…………………………………………………..9

     Заключение………………………………………………………………..21

     Список  использованной литературы…………………………………….22 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Введение.

     Эконометрика (econometrics) — наука о применении статистических и математических методов  в экономическом анализе для  проверки правильности экономических  теоретических моделей и способов решения экономических проблем. Эконометрика позволяет расширить инструментарий построения статистических моделей экономических показателей.

     В этой связи можно сказать, что  основная задача эконометрики состоит  в построении моделей специфического типа (эконометрических моделей), описывающих взаимообусловленное развитие социально-экономических процессов, на основе информации, отражающей распределение их уровней во времени или (и) в пространстве однородных объектов. Эти модели используются в анализе и прогнозировании общих закономерностей и конкретных количественных характеристик рассматриваемых процессов, определении управляющих воздействий.

     Наш мир не идеален, ни в чем нельзя быть уверенным с абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

     Метод наименьших квадратов (далее МНК), о  котором пойдет речь в работе, является одним из способов противостоять  ошибкам измерений.

     Метод наименьших квадратов (МНК) является одним  из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения.

     Актуальность  данной темы и определила тему работы.

     Целью работы является рассмотрение методики классического метода наименьших квадратов.

     Для достижения поставленной цели необходимо решить следующие задачи:

• рассмотреть применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии;
• изучить свойства оценок МНК;
• рассмотреть применение МНК на конкретном примере.

     Объектом  исследования является метод наименьших квадратов. Предметом изучения является процедура оценки параметров по методу наименьших квадратов, а также свойства оценок МНК.

     Работа  состоит из введения, основной части, которая включает в себя рассмотрение теоретических вопросов, заключения.

     При анализе различных источников информации  предпочтение отдано работам, описывающим  не просто математический и статистический базисы исследуемых методов, но и  их практическое применение. 
 
 
 
 
 
 
 

1. Процедура оценки параметров по методу наименьших квадратов.

     В “классическом” варианте МНК в отношении свойств ошибки модели e_t  выдвигаются следующие предположения:

     – ошибка имеет нулевое математическое ожидание, M[e_t]=0;

     – ее дисперсия конечна и постоянна, s_e²=const;

     – автокорреляционные связи в ряду ошибки отсутствуют, т. е. r₁=r₂=...=0, где r_i – коэффициент автокорреляции рядов e_t и e_t–i, i=1,2,... ;

     – ряд значений ошибки статистически  не связан с рядами значений независимых переменных модели [5, с.358].

     Рассмотренные предположения определяют ошибку модели как процесс белого шума с ковариационной матрицей ее вектора ошибки, имеющей следующий вид: Cov(e)=s_e²×Е.

     Рассмотрим  общую схему процедуру оценки параметров линейной эконометрической модели на основе МНК более подробно. Такая модель в общем виде представлена уравнением (1):

  y_t=a₀+a₁ х_1t +...+a_nх_nt +e_t.          (1)

     Исходными данными при оценке параметров a₀, a₁,..., a_n являются измеренные (наблюдаемые) значения зависимой переменной, которые можно представить в виде вектора-столбца,

   Наблюдаемые значения независимых переменных объединим в матрицу следующего вида:

                                    Х =           

     Cвое  название МНК получил, исходя  из смыслового содержания критерия, которому должны удовлетворять полученные на его основе оценки параметров эконометрической модели: сумма квадратов значений фактической ошибки модели должна быть минимальной.

     Иными словами, найденные с помощью МНК оценки a₀, a₁,..., a_n,  обеспечивают минимум следующей квадратичной формы на множестве всех других комбинаций значений таких оценок:

где e_t  – значение фактической ошибки модели в момент t=1,2,..., Т,  полученное после подстановки в выражение (1) вместо неизвестных истинных значений параметров a₀, a₁,..., a_n  их оценок a₀, a₁,..., a_n.

     Оптимальные по данному критерию значения оценок в этом случае могут быть найдены путем решения следующей системы так называемых “нормальных” уравнений, вытекающей из условия равенства нулю частных производных функции s² (a₀, a₁,..., a_n) по своим параметрам в точке минимума:

     В системе (2.3) неизвестными являются оценки параметров a₀, a₁,..., a_n, а ее известные коэффициенты сформированы на основе исходных данных и представлены в виде следующих сумм: i,j=1,2,..., п. Решения, получаемые на основе развернутой формы системы (2.3), достаточно громоздки, и поэтому в дальнейшем в математических выкладках общего характера будем использовать векторно-матричную форму представления ее составляющих.

     Векторно-матричная  форма записи линейной эконометрической модели (1) имеет следующий вид:

                                          у=Х×a+e,                                     (2.4)

где у – вектор-столбец, состоящий из Т компонент; Х – матрица размера Т´(п+1) (если в модели присутствует “свободный” коэффициент a₀); a=(a₀, a₁,..., a_n)¢– вектор-столбец параметров, состоящий из п+1-й компоненты; e – вектор-стобец ошибки модели, состоящий, как и вектор у, из Т компонент.

     Соответственно  векторно-матричный вариант модели, в котором вместо неизвестных  истинных коэффициентов a и ошибок e используются их оценки, т. е. вектора а и е, запишем в следующем виде:

                                       у=Х×а+е,                                     (2.5)

где а=(а₀, а₁,..., а_n)¢, е=(е₁, е₂,..., е_Т)¢– вектора значений оценок коэффициентов линейной эконометрической модели и значений ее фактической ошибки соответственно [4, с.175].

     Сумму квадратов значений ошибки s² можем представить в виде скалярного произведения вектора-строки е¢ на вектор-столбец е. Проводя несложные преобразования с учетом правил произведения векторов и матриц, получим следующий результат:

s² =(е¢, е)=(у–Х×a)¢(у–Х×a)= у¢у–a¢Х¢у–у¢Хa+a¢Х¢Хa=у¢у–2a¢Х¢у+a¢Х¢Хa.   (2.6)

     При проведении преобразований учитывалось  правило транспонирования векторно-матричного произведения (z×W)¢=(W¢×z¢).

     Условие (2.3) в векторной форме записи приобретает  следующий вид:

                                   ¶s²/¶a=0.                                     (2.7)

     Заметим, что в выражении (2.7) операция дифференцирования  осуществляется по вектору.

     С учетом выражения (2.6) уравнение (2.7) приводится к следующему виду:

           ¶s²/¶a=¶(у¢у–2a¢Х¢у+a¢Х¢Хa)/¶a=–2Х¢у+2Х¢Хa=0

или                               Х¢Хa=Х¢у.

     Откуда  следует, что “оптимальный” вектор оценок параметров a определяется на основе следующего векторно-матричного выражения:

                                        a=(Х¢Х)^–1×Х¢у.                                             (2.8)

     Все переменные в правой части выражения (2.8) являются известными – это исходные данные, сведенные в матрицу  Х  и вектор у.

     Рассмотрим  применение МНК на конкретном примере. Имеются данные о цене на нефть x (долларов за баррель) и индексе акций  нефтяной компании y (в процентных пунктах). Требуется найти эмпирическую формулу, отражающую связь между ценой  на нефть и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными линейна и описывается функцией вида yi=β0+β1xi. Зависимой переменной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

     Для нахождения коэффициентов β0 и β1 построим вспомогательную таблицу 1.

                                                                                                            Таблица 1

     Таблица для нахождения коэффициентов β0 и β1

     Запишем систему нормальных уравнений исходя из данных таблицы:

     1988,52β  + 110,13β = 59847,06,

     110,13β  + 6β = 3288.

     Решением  данной системы нормальных уравнений  будут следующие числа:  β1=15,317; β0=266,86. Таким образом, уравнение регрессии, описывающее зависимость между ценой на нефть и индексом акций нефтяной компании, можно записать как: y = 15,317x + 266,86.

     На  основании полученного уравнения  регрессии можно сделать вывод  о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяется примерно на 15,317 процентных пункта.

2. Свойства оценок МНК.

     Рассмотрим  основные условия, при которых оценки коэффициентов линейной эконометрической модели, во-первых, могут быть в принципе найдены, а, во-вторых, их “качество” будет “достаточно высоким”, что является определенным свидетельством и достаточного качества построенной модели.

       “Качество” оценок, их свойства тесно связаны со “статистической” трактовкой исходных данных и,  в первую очередь, независимых переменных. Рассмотрим сначала случай, когда измеренные (наблюдаемые) значения независимых факторов трактуются как детерминированные (неслучайные) величины.

     В этом случае матрица Х представляет собой матрицу, состоящую из констант, и элементы матриц (Х¢Х) и (Х¢Х)^–1 также рассматриваются как константы.

     Прежде  всего заметим, что выражение (2.3) и аналогичное ему выражение (2.7) представляют собой систему (n+1) уравнений с (n+1) неизвестными. Вследствие этого решение, т. е. вектор a, на основе выражения (2.8) теоретически можно получить почти всегда, кроме тех случаев, когда матрица   Х¢Х   является вырожденной и, следовательно, обратная ей матрица (Х¢Х)^–1  не существует.

     Вырожденная матрица Х¢Х будет иметь место в том случае, если хотя бы один из столбцов матрицы Х представим в виде линейной комбинацией нескольких других ее столбцов. От свойства вырожденности матрицы  Х¢Х следует отличать ее плохую обратимость. Это свойство может быть обусловлено существованием почти линейной зависимости между столбцами матрицы Х. В этом случае определитель матрицы Х¢Х близок к нулю и при расчете элементов обратной ей матрицы могут возникнуть проблемы вычислительного характера, когда неизбежные в расчетах на ЭВМ ошибки округления будут значительно искажать конечный результат. Это, в свою очередь, может повлечь существенные искажения оценок параметров модели, т. е. элементов вектора a.

     Другое  достаточно естественное ограничение  для получения решения состоит  в том, что количество измерений факторов Т должно быть больше их числа n+1 (Т>n+1). В противном случае получить однозначную оценку параметров модели невозможно, так как количество неизвестных в системе (2.3) превысит число  ее уравнений [5, с.367].

     Наряду  с отмеченными трудностями “вычислительного характера” проблема получения “хороших” оценок параметров эконометрических моделей усложняется еще из-за ряда обстоятельств. Дело в том, что найденные с помощью выражения (2.8) оценки a_i, i=0,1,..., n являются случайными величинами. Их можно представить как сумму истинного значения a_i  и некоторой случайной ошибки Da_i .

     Для доказательства справедливости этого  утверждения подставим   в   выражение  (2.8)   вместо  вектора  у   его выражение Х×a+e,  где   a  – вектор истинных значений параметров a_i,  i=0,1,..., n. После подстановки получим:

     a=(Х¢Х)^–1×Х¢(Х×a+e)=(Х¢Х)^–1Х¢Х×a+(Х¢Х)^–1Х¢×e=

=a+(Х¢Х)^–1Х¢×e,                                        (2.9)

где (Х¢Х)^–1Х¢×e=Da – вектор ошибки оценок параметров a_i .

     При случайном характере оценок коэффициентов модели a_i,  i=0,1,..., n; их “высокое качество” подтверждается наличием у них свойств несмещенности и эффективности.

     Рассмотрим  сначала условие несмещенности  этих оценок. Оно означает, что математическое ожидание оценки a_i, i=0,1,..., n; равно истинному значению параметра a_i, т. е. M[a_i]=a_i.

     При условии, что матрица (Х¢Х) обратима, возьмем математическое ожидание от правой и левой частей выражения (2.9). Получим

                                        М[a]=a+М[(Х¢Х)^–1Х¢×e].               (2.10)

     Из  выражения (2.10) непосредственно вытекает, что для того, чтобы значения a_i,  i=0,1,..., n; полученные из выражения (2.8), были несмещенными оценками параметров эконометрической модели a_i необходимо выполнение следующего условия:

                М[(Х¢Х)^–1Х¢×e] = 0.                             (2.11)

     Поскольку матрица Х является ненулевой, то  для выполнения условия (2.11) необходимо, чтобы

  а) М[e]=0;                                                                                                (2.12)

  б) факторы х_it и ошибка e_t были независимыми между собой, i=0,1,..., n.

     В этом случае математическое ожидание произведения    (Х¢Х)^–1Х¢×e  можно представить как произведение математических ожиданий двух величин (постоянной матрицы (Х¢Х)^–1Х¢ на случайный вектор ошибки e, т. е. М[(Х¢Х)^–1Х¢×e]=М[(Х¢Х)^–1Х¢]×М[e], откуда следует, что при справедливости (2.12) условие (2.11) выполняется.

     Оценка  a_i  параметра модели a_i  считается эффективной, если ее дисперсия является минимальной среди дисперсий всех  других возможных оценок данного параметра.

     Дисперсии оценок a_i,  i=0,1,..., n;  можно найти как диагональные элементы их ковариационной матрицы. Напомним, что ковариационная матрица вектора оценок a (в общем случае) определяется следующим выражением:

    Сov(a)=   ,    (2.13)

где s_i²=D(a_i) – дисперсия i-ой оценки; cov(a_i, a_j)  – ковариация оценок i-го и j-го параметров.

     Ковариационная  матрица вектора оценок а может быть представлена как математическое ожидание произведения вектора-столбца ошибки на ее вектор-строку, т. е. Сov(a)=М[Da×Da¢]. С учетом (2.9) получим:

Сov(a)=М[(Х¢Х)^–1Х¢×e×e¢×Х(Х¢Х )^–1].            (2.14)

     Поскольку матрица Х образована постоянными величинами, то выражение (2.14) можно переписать в следующем виде:

  Сov(a)=(Х¢Х)^–1Х¢×М[e×e¢]×Х(Х¢Х)^–1=

                    =(Х¢Х)^–1Х¢×Сov(e)×Х(Х¢Х)^–1,                  (2.15) 

где Сov(e) является ковариационной матрицей вектора “идеальной” ошибки модели, определяемой следующим выражением:

Сov(e)=      ,      (2.16)