Метод наименьших квадратов

 

СОДЕРЖАНИЕ

ВВЕДЕНИЕ………………………………………………………………………………….….3

  1. Определение метода наименьших квадратов…………………………….…..….……4
  2. Предпосылки метода наименьших квадратов……………………………………...….4
  3. История…………………………………………………………………………….….…5
  4. Суть метода наименьших квадратов (МНК)…………………………………….…….5
  5. Вывод формул для нахождения коэффициентов……………………………….……..6
  6. Примеры………………………………………………………………………….………6
  7. Парная линейная регрессия. Метод наименьших квадратов………………….………9
  8. Взвешенный метод наименьших квадратов

СПИСОК  ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ. 
 
 
 
 
 
 
 
 
 
 
 
 

                                                             ВВЕДЕНИЕ 
 
               Метод наименьших квадратов обычно используется как составная часть некоторой более общей проблемы. Например, при необходимости проведения аппроксимации наиболее часто употребляется именно метод наименьших квадратов. На этом подходе основаны: регрессионный анализ в статистике, оценивание параметров в технике и т.д.

     Цель  данной контрольной работы – рассмотреть  метод наименьших квадратов. 
Исходя из поставленной цели, необходимо решить следующие задачи: 
• рассмотреть парную регрессию, метод наименьших квадратов; 
• исследовать взвешенный метод наименьших квадратов; 
• рассмотреть нелинейную регрессию. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  1. Определение метода наименьших квадратов

     Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки.

     Регрессионный (линейный) анализ — статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X1,X2,...,Xp. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные —критериальными. Терминолоия зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

     Метод наименьших квадратов применяется  также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

     Когда искомая величина может быть измерена непосредственно, как, например, длина  отрезка или угол, то, для увеличения точности, измерение производится много  раз, и за окончательный результат  берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов. 

  1. Предпосылки метода наименьших квадратов.
 
 

     При оценке параметров уравнения регрессии  применяется МНК. При этом делаются определенные предпосылки относительно составляющей  , которая представляет собой в уравнении ненаблюдаемую величину.

     Исследования  остатков   предполагают проверку наличия следующих пяти предпосылок МНК:

1) случайный  характер остатков. С этой целью  строится график отклонения остатков  от теоретических значений признака. Если на графике получена горизонтальная полоса, то остатки представляют собой случайные величины и применение МНК оправдано. В других случаях необходимо применить либо другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

2. нулевая средняя величина остатков, т.е. , не зависящая от хi. Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. С этой целью наряду с изложенным графиком зависимости остатков от теоретических значений  результативного признака ух строится график зависимости случайных остатков от факторов, включенных в регрессию хi . Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xj. Если же график показывает наличие зависимости и хj то модель неадекватна. Причины неадекватности могут быть разные.

3. Гомоскедастичность  — дисперсия каждого отклонения  одинакова для всех значений хj. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из поля корреляции.

4. Отсутствие  автокорреляции остатков. Значения  остатков  распределены независимо друг от друга. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Отсутствие автокорреляции остаточных величин обеспечива­ет состоятельность и эффективность оценок коэффициентов ре­грессии.

5. Остатки  подчиняются нормальному распределению.

В тех  случаях, когда все пять предпосылок  выполняются, оценки, полученные по МНК  и методу максимального правдоподобия, совпадают между собой.

Если  распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель, изменить ее спецификацию, добавить (исключить) некоторые факторы, преобразовать исходные данные, что в конечном итоге позволяет получить оценки коэффициентов регрессии aj, которые обладают свойством несмещаемости, имеют меньшее значение дисперсии остатков, и в связи с этим более эффективную статистическую проверку значимости параметров регрессии. 

  1. История.

     До  начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) иГауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятностей, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов

  1. Суть метода наименьших квадратов (МНК).

       Задача заключается в нахождении  коэффициентов линейной зависимости,  при которых функция двух переменных а и b  принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов.

       Таким образом, решение примера  сводится к нахождению экстремума  функции двух переменных.

  1. Вывод формул для нахождения коэффициентов.

 Составляется  и решается система из двух  уравнений с двумя неизвестными. Находим частные производные функции  F(a,b)= (yi-(axi+b))2по переменным а и b, приравниваем эти производные к нулю. 

       Решаем полученную систему уравнений  любым методом (например методом  подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

     При данных  а  и  b  функция  принимает наименьшее значение. Доказательство этого факта приведено ниже по тексту в конце страницы.

     Вот и весь метод наименьших квадратов. Формула для нахождения параметра a содержит суммы , , ,   и параметр n - количество экспериментальных данных.

  1. Примеры

Пусть надо решить систему уравнений
    (1)

число которых более числа неизвестных x, y, 

     Чтобы решить их по способу наименьших квадратов, составляют новую систему уравнений, число которых равно числу  неизвестных и которые затем  решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной x и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной y и, сложив почленно, получают второе нормальное уравнение и т. д. Если обозначить для краткости:

  

то нормальные уравнения представятся в следующем  простом виде:
    (2)

     Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

  

Составив  значения [aa], [ab], получаем следующие нормальные уравнения:
    ,

     Проще говоря перемножается матрица X и  транспонированная матрица Xт. Размерности этих матриц 3x6 и 6x3, соответственно в итоге получается матрица 3x3, которая и есть итоговое уравнение.

откуда

x = 3,55;

y = − 0,109

     При составлении обычной регрессионной  модели используется та же методика, и  данные коэффициенты представляют собой  коэффициенты уравнения регрессии.

     Уравнения (1) представляют систему линейных уравнений, то есть уравнений, в которых все  неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые  величины, бывают высших степеней и  даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями всегда можно найти величины искомых с таким приближением, что затем, разложив соответствующие функции в ряды и пренебрегая высшими степенями искомых поправок, можно привести любое уравнение к линейному.

(Пример  кривой, проведённой через точки,  имеющие нормально распределённое  отклонение от истинного значения).

     Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым. 

  1. Парная  линейная регрессия. Метод наименьших квадратов 
     
      
     
                                                                  Рис.1 
    На рисунке 1 изображены три ситуации:

• на графике (а) взаимосвязь х и у близка к линейной; прямая линия (1) здесь  близка к точкам наблюдений, и последние отклоняются от нее лишь в результате сравнительно небольших случайных воздействий;

• на графике (b) реальная взаимосвязь величин  х и у описывается нелинейной функцией (2), и какую бы мы ни провели  прямую линию (например, 1), отклонения точек наблюдений от нее будут существенными и неслучайными; 
 
• на графике (с) явная взаимосвязь между переменными х и у отсутствует; какую бы мы ни выбрали формулу связи, результаты ее параметризации будут здесь неудачными. В частности, прямые линии 1 и 2, проведенные через "центр" "облака" точек наблюдений и имеющие противоположный наклон, одинаково плохи для того, чтобы делать выводы об ожидаемых значениях переменной у по значениям переменной х. 
 
Начальным пунктом эконометрического анализа зависимостей обычно является оценка линейной зависимости переменных. Если имеется некоторое "облако" точек наблюдений, через него всегда можно попытаться провести такую прямую линию, которая является наилучшей в определенном смысле среди всех прямых линий, то есть "ближайшей" к точкам наблюдений по их совокупности. Для этого мы вначале должны определить понятие близости прямой к некоторому множеству точек на плоскости; меры такой близости могут быть различными. Однако любая разумная мера должна быть, очевидно, связана с расстояниями от точек наблюдений до рассматриваемой прямой линии (задаваемой уравнением у= а + bх).

     Обычно  в качестве критерия близости используется минимум суммы квадратов разностей  наблюдений зависимой переменной у  и теоретических, рассчитанных по уравнению регрессии значений (а + bхi): Q = Sei2 =S (yi-(a+bxi))2® min           (1) 
считается, что у и х - известные данные наблюдений, а и b - неизвестные параметры линии регрессии. Поскольку функция Q непрерывна, выпукла и ограничена снизу нулем, она имеет минимум. Для соответствующих точке этого минимума значений а и b могут быть найдены простые и удобные формулы (они будут приведены ниже). Метод оценивания параметров линейной регрессии, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от искомой линейной функции, называется Методом наименьших квадратов (МНК), или Least Squares Method (LS). 
 
           "Наилучшая" по МНК прямая линия всегда существует, но даже наилучшая не всегда является достаточно хорошей. Если в действительности зависимость y=f(х) является, например, квадратичной (как на рисунке 1(b)), то ее не сможет адекватно описать никакая линейная функция, хотя среди всех таких функций обязательно найдется "наилучшая". Если величины х и у вообще не связаны (рис. 1 (с)), мы также всегда сможем найти "наилучшую" линейную функцию у = а+bх для данной совокупности наблюдений, но в этом случае конкретные значения а и Ь определяются только случайными отклонениями переменных и сами будут очень сильно меняться для различных выборок из одной и той же генеральной совокупности. Возможно, на рис. 1(с) прямая 1 является наилучшей среди всех прямых линий (в смысле минимального значения функции Q), но любая другая прямая, проходящая через центральную точку "облака" (например, линия 2), ненамного в этом смысле хуже, чем прямая 1, и может стать наилучшей в результате небольшого изменения выборки.

     Рассмотрим  теперь задачу оценки коэффициентов  парной линейной регрессии более формально. Предположим, что связь между х и .у линейна: у = a+bх. Здесь имеется в виду связь между всеми возможными значениями величин х и у, то есть для генеральной совокупности. Наличие случайных отклонений, вызванных воздействием на переменную у множества других, неучтенных в нашем уравнении факторов и ошибок измерения, приведет к тому, что связь наблюдаемых величин xi и yi приобретет вид уi=a+bхi+єi,. Здесь єi. - случайные ошибки (отклонения, возмущения). Задача состоит в следующем: по имеющимся данным наблюдений {xi}, {уi} оценить значения параметров айв, обеспечивающие минимум величины Q. Если бы были известны точные значения отклонений єi, то можно было бы (в случае правильности предполагаемой линейной формулы) рассчитать значения параметров a и b. Однако значения случайных отклонений в выборке неизвестны, и по наблюдениям xi и уi можно получить оценки параметров с и р, которые сами являются случайными величинами, поскольку соответствуют случайной выборке. Пусть а - оценка параметра a, b - оценка параметра b. Тогда оцененное уравнение регрессии будет иметь вид: 
yi=а+bxi+еi, где еi - наблюдаемые значения ошибок єi. 
Для оценки параметров a и b воспользуемся МНК, который минимизирует сумму квадратов отклонений фактических значений уi от расчетных. Минимум ищется по переменным а и b. Для того, чтобы полученные МНК оценки а и b обладали желательными свойствами, сделаем следующие предпосылки об отклонениях єi:

     1) величина єi является случайной  переменной;

     2) математическое ожидание єi равно  нулю: М (єi) = 0;

     3) дисперсия є постоянна: D(єi) = D(єi) = s2 для всех i, j;

     4) значения єi независимы между  собой. Откуда вытекает, в частности,  что 
    (2) 
Известно, что, если условия 1)-4) выполняются, то оценки, сделанные с помощью МНК, обладают следующими свойствами: 
 
1) Оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению: М(а) =a; М(b)=b. Это вытекает из того, что М(єi) = 0, и говорит об отсутствии систематической ошибки в определении положения линии регрессии. 
 
2) Оценки состоятельны, так как дисперсия оценок параметров при возрастании числа наблюдений стремится к нулю: ;  . Иначе говоря, если п достаточно велико, то практически наверняка а близко к a, а b близко к b: надежность оценки при увеличении выборки растет.

     3) Оценки эффективны, они имеют наименьшую дисперсию по сравнению с любыми другими оценками данного параметра, линейными относительно величин уi . В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators - наилучшие линейные несмещенные оценки).

     Перечисленные свойства не зависят от конкретного вида распределения величин єi, тем не менее, обычно предполагается, что они распределены нормально N(0;y2). Эта предпосылка необходима для проверки статистической значимости сделанных оценок и определения для них доверительных интервалов. При ее выполнении оценки МНК имеют наименьшую дисперсию не только среди линейных, но среди всех несмещенных оценок.

     Если предположения 3) и 4) нарушены, то есть дисперсия возмущений непостоянна и/или значения є. связаны друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности - нет.

     Рассмотрим теперь процедуру оценивания параметров парной линейной регрессии а и b. Для того, чтобы функция Q = Sei2 =S (yi-(a+bxi))2 достигала минимума, необходимо равенство нулю ее частных производных: 
    (3) (4) 
 
Если уравнение (3) разделить на п, то получим у=а+bх (здесь   - средние значения х и у). Таким образом, линия регрессии проходит через точку со средними значениями х и у. Подставив величину а из (3) в (4), получаем 
 

Откуда      (5) (6) 
Иначе можно записать, что  (где r коэффициент корреляции х и у). Таким образом, коэффициент регрессии пропорционален показателю ковариации и коэффициенту корреляции х и у, а коэффициенты этой пропорциональности служат для соизмерения перечисленных разноразмерных величин. Оценки a и b, очевидно, являются линейными относительно yi (если xi считать коэффициентами) - выше об этом упоминалось. 
 
Итак, если коэффициент r уже рассчитан, то легко рассчитать коэффициент парной регрессии, не решая системы уравнений. Ясно также, что если рассчитаны линейные регрессии х(у) и у(х), то произведение коэффициентов dx и by, равно r2: 
       (7)

  1. Взвешенный метод наименьших квадратов

     Далеко  не все задачи исследования взаимосвязей экономических переменных описываются обычной линейной регрессионной моделью. Во-первых, исходные данные могут не соответствовать тем или иным предпосылкам линейной регрессионной модели и требовать либо дополнительной обработки, либо иного модельного инструментария. Во-вторых, исследуемый процесс во многих случаях описывается не одним уравнением, а системой, где одни и те же переменные могут быть в одних случаях объясняющими, а в других - зависимыми. В-третьих, исследуемые взаимосвязи могут быть (и обычно являются) нелинейными, а процедура линеаризации не всегда легко осуществима и может приводить к искажениям. В-четвертых, структура описываемого процесса может обусловливать наличие различного рода связей между оцениваемыми коэффициентами регрессии, что также предполагает необходимость использования специальных методов.

     Наиболее распространенным в практике статистического оценивания параметров уравнений регрессии является метод наименьших квадратов. Этот метод основан на ряде предпосылок относительно природы данных и результатов построения модели. Основные из них - это четкое разделение исходных переменных на зависимые и независимые, некоррелированность факторов, входящих в уравнения, линейность связи, отсутствие автокорреляции остатков, равенство их математических ожиданий нулю и постоянная дисперсия. Эмпирические данные не всегда обладают такими характеристиками, т.е. предпосылки МНК нарушаются. Применение этого метода в чистом виде может привести к таким нежелательным результатам, как смещение оцениваемых параметров, снижение их состоятельности, устойчивости, а в некоторых случаях может и вовсе не дать решения. Для смягчения нежелательных эффектов при построении регрессионных уравнений, повышения адекватности моделей существует ряд усовершенствований МНК, которые применяются для данных нестандартной природы.

     Одной из основных гипотез МНК является предположение о равенстве дисперсий  отклонений еi, т.е. их разброс вокруг среднего (нулевого) значения ряда должен быть величиной стабильной. Это свойство называется гомоскедастичностью. На практике дисперсии отклонений достаточно часто неодинаковы, то есть наблюдается гетероскедастичность. Это может быть следствием разных причин. Например, возможны ошибки в исходных данных. Случайные неточности в исходной информации, такие как ошибки в порядке чисел, могут оказать ощутимое влияние на результаты. Часто больший разброс отклонений єi, наблюдается при больших значениях зависимой переменной (переменных). Если в данных содержится значительная ошибка, то, естественно, большим будет и отклонение модельного значения, рассчитанного по ошибочным данным. Для того, чтобы избавиться от этой ошибки нам нужно уменьшить вклад этих данных в результаты расчетов, задать для них меньший вес, чем для всех остальных. Эта идея реализована во взвешенном МНК.

     Пусть на первом этапе оценена линейная регрессионная модель с помощью  обычного МНК. Предположим, что остатки еi независимы между собой, но имеют разные дисперсии (поскольку теоретические отклонения еi нельзя рассчитать, их обычно заменяют на фактические отклонения зависимой переменной от линии регрессии ^., для которых формулируются те же исходные требования, что и для єi). В этом случае квадратную матрицу ковариаций cov(ei, ej) можно представить в виде: 
  
где cov(ei, ej)=0 при i ¹ j; cov(ei, ej)=S2; п - длина рассматриваемого временного ряда. 
 
Если величины   известны, то далее можно применить взвешенный МНК, используя в качестве весов величины   и минимизируя сумму 
  
 
 
Формула Q, записана для парной регрессии; аналогичный вид она имеет и для множественной линейной регрессии. При использовании IVLS оценки параметров не только получаются несмещенными (они будут таковыми и для обычного МНК), но и более точными (имеют меньшую дисперсию), чем не взвешенные оценки.

     Проблема заключается в том, чтобы оценить величины s2, поскольку заранее они обычно неизвестны. Поэтому, используя на первом этапе обычный МНК, нужно попробовать выяснить причину и характер различий дисперсий еi. Для экономических данных, например, величина средней ошибки может быть пропорциональна абсолютному значению независимой переменной. Это можно проверить статистически и включить в расчет МНК веса, равные  .

     Существуют  специальные критерии и процедуры  проверки равенства дисперсий отклонений. Например, можно рассмотреть частное  от деления cумм самых больших и самых маленьких квадратов отклонений, которое должно иметь распределение Фишера в случае гомоскедастичности.

     Использование взвешенного метода в статистических пакетах, где предоставлена возможность задавать веса вручную, позволяет регулировать вклад тех или иных данных в результаты построения моделей. Это необходимо в тех случаях, когда мы априорно знаем о не типичности какой-то части информации, т.е. на зависимую переменную оказывали влияние факторы, заведомо не включаемые в модель. В качестве примера такой ситуации можно привести случаи стихийных бедствий, засух. При анализе макроэкономических показателей (ВНП и др.) данные за эти годы будут не совсем типичными. В такой ситуации нужно попытаться исключить влияние этой части информации заданием весов. В разных статистических пакетах приводится возможный набор весов. Обычно это числа от О до100. По умолчанию все данные учитываются с единичными весами. При указании веса меньше 1 мы снижаем вклад этих данных, а если задать вес больше единицы, то вклад этой части информации увеличится. Путем задания весового вектора мы можем не только уменьшить влияние каких - либо лет из набора данных, но и вовсе исключить его из анализа. Итак, ключевым моментом при применении этого метода является выбор весов. В первом приближении веса могут устанавливаться пропорционально ошибкам не взвешенной регрессии. 

Список  использованной литературы

  1. http://ru.wikipedia.org
  2. О.О. Замков, А.В. Толстопятенко, Р.Н. Черемных Взвешенный метод наименьших квадратов Взвешенный метод наименьших квадратов Математические методы в экономике. - М.: Дис, 1997