Нелинейная регрессия и ее виды
Содержание
Вопрос 17. Нелинейная регрессия и ее виды……………………………………3
Вопрос
42. Аналитический способ выравнивания
ряда и используемые при этом функции……………………………………………………………
Задача 1. Парная регрессия и корреляция в экономических
исследованиях……………………………………………
Задача 2.Временные ряды в эконометрических исследованиях……………...25
Список используемых источников……..................
Вопрос 17. Нелинейная регрессия и ее виды.
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций: например, равносторонней гиперболы, параболы второй степени и др.
Различают два класса нелинейных регрессий:
- регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;
- регрессии, нелинейные по оцениваемым параметрам.
Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:
- полиномы разных степеней –у = а +bх + с2 + ε,
у =а + bх +сх +dx3+ ε,
- равносторонняя гипербола
К нелинейным регрессиям по оцениваемым параметрам относятся функции:
- степенная — y = axbε
- показательная – у = аbх ε
- экспоненциальная – y=ea+bxε
Приведение к линейному виду регрессий, нелинейных по объясняющим переменным
Нелинейная регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяется, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени
у= а0 + а1 х + а2 х2 + ε
заменяя переменные х1 =х, х2 = х2, получим двухфакторное уравнение линейной регрессии:
у= а0 + а1 х1 + а2 х2 + ε
для оценки параметров которого, как будет показано далее, используется МНК.
Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, среди нелинейной полиномиальной регрессии чаще всего используется парабола второй степени; в отдельных случаях – полином третьего порядка. Ограничения в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и соответственно менее однородна совокупность по результативному признаку.
Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное) значение результативного признака: приравниваем к нулю первую производную параболы второй степени.
Если же исходные данные не обнаруживают изменения направленности связи, то параметры параболы второго порядка становятся трудно интерпретируемыми, а форма связи часто заменяется другими нелинейными моделями.
Применение МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений: при b > 0 и с < 0 кривая симметрична относительно высшей точки, т. е. точки перелома кривой, изменяющей направление связи, а именно рост на падение.
Такого рода функцию можно наблюдать в экономике труда при изучении зависимости заработной платы работников физического труда от возраста – с увеличением возраста повышается заработная плата ввиду одновременного увеличения опыта и повышения квалификации работника. Однако с определенного возраста ввиду старения организма и снижения производительности труда дальнейшее повышение возраста может приводить к снижению заработной платы работника.
Если параболическая форма связи демонстрирует сначала рост, а затем снижение уровня значений результативного признака, то определяется значение фактора, при котором достигается максимум. Ввиду симметричности кривой парабола второй степени далеко не всегда пригодна в конкретных исследованиях. Чаще исследователь имеет дело лишь с отдельными сегментами параболы, а не с полной параболической формой. Кроме того, параметры параболической связи не всегда могут быть логически истолкованы. Поэтому если график зависимости не демонстрирует четко выраженной параболы второго порядка (нет смены направленности связи признаков), то она может быть заменена другой нелинейной функцией, например степенной. В частности, в литературе часто рассматривается парабола второй степени для характеристики зависимости урожайности от количества внесенных удобрений. Данная форма связи мотивируется тем, что с увеличением количества внесенных удобрений урожайность растет лишь до достижения оптимальной дозы вносимых удобрений. Дальнейший же рост их дозы оказывается вредным для растения, и урожайность снижается. Несмотря на несомненную справедливость данного утверждения, следует отметить, что внесение в почву минеральных удобрений производится на основе учета достижений агробиологической науки. Поэтому на практике часто данная зависимость представлена лишь сегментом параболы, что и позволяет использовать другие нелинейные функции.
Среди класса нелинейных функций, параметры которых без особых затруднений оцениваются МНК, следует назвать хорошо известную в эконометрике равностороннюю гиперболу
Для равносторонней гиперболы такого вида, заменив на z, получим линейное уравнение регрессии y = a +bz +ε оценка параметров которого может быть дана МНК.
Она может быть использована
не только для характеристики связи
удельных расходов сырья,материалов,топлива
с объемом выпускаемой продукци
В отдельных случаях может
так называемая обратная модель, являющаяся
разновидностью гиперболы Но, если в равносторонней
гиперболе преобразованию подвергается
объясняющая переменная z = 1/x и y = а + bz + ε, то для получения линейной формы зависимости
в обратной модели преобразовывается у, а именно: z =1/y и z = a + bx +
В результате обратная модель оказывается внутренне нелинейной и требование МНК выполняется не для фактических значений признака у, а для их обратных величин 1/у, а именно
следовательно полученная методом наименьших квадратов оценка уже не будет эффективной.
Приведение к линейному виду регрессий, нелинейных по параметрам
Данный класс нелинейных моделей подразделяется на два типа: нелинейные модели внутренне линейные и нелинейные модели внутренне нелинейные.
Если нелинейная модель внутренне линейна, то она с помощью соответствующих преобразований может быть приведена к линейному виду.
Если нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции.
Например, в эконометрических исследованиях при изучении эластичности спроса от цен широко используется степенная функция:
y = axbε
где у – спрашиваемое количество;
х – цена;
ε – случайная ошибка.
Данная модель нелинейна относительно оцениваемых пaраметров, ибо включает параметры а и b неаддитивно. Однако ее можно считать внутренне линейной, ибо логарифмирование данного уравнения по основанию е приводит его к линейному виду:
lпу = lпа + b lnx + ln ε.
Соответственно оценки параметров а и b могут быть найдены МНК.
Если же модель представить в виде y = axbε, то она становится внутренне нелинейной, ибо ее невозможно превратить в линейный вид. Внутренне нелинейной будет и модель вида — у = а + bхc + ε, ибо это уравнение не может быть преобразовано в уравнение, линейное по коэффициентам.
В специальных исследованиях по регрессионному анализу часто к нелинейным относят модели, только внутренне нелинейные по оцениваемым параметрам, а все другие модели, которые внешне нелинейны, но путем преобразований параметров могут быть приведены к линейному виду, относятся к классу линейных моделей.
В этом плане к линейным относят, например, экспоненциальную модель y = еa+bхε, ибо логарифмируя ее по натуральному основанию, получим линейную форму модели
lnу = а + b х +lnε.
Если модель внутренне не линейна по параметрам, то для оценки параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода. Модели внутренне нелинейные по параметрам могут иметь место в эконометрических исследованиях. Однако гораздо большее распространение получили модели, приводимые к линейному виду.
Среди нелинейных функций, которые могут быть приведены к линейному виду, в эконометрических исследованиях очень широко используется степенная функция y = axbε.
Связано это с тем, что параметр b в ней имеет четкое экономическое истолкование, т. е. он является коэффициентом эластичности. Это значит, что величина коэффициента b показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1%.
В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется к преобразованным уравнениям.
Если в линейной модели и моделях, нелинейных по переменным, при оценке параметров исходят из критерия
,
то в моделях, нелинейных по оцениваемым параметрам, требование МНК применяется не к исходным данным результативного признака, а к их преобразованным величинам, т. е. lпу, 1/у.
Так, в степенной функции y = axbε МНК применяется к преобразованному уравнению lпу = lnа + xlnb.
Это значит, что оценка параметров основывается на минимизации суммы квадратов отклонений в логарифмах:
Вследствие этого оценки параметров для линеаризуемых функций МНК оказываются несколько смещенными. При исследовании взаимосвязей среди функций, использующих ln у, в эконометрике преобладают степенные зависимости – это и кривые спроса и предложения, и кривые Энгеля, и производственные функции, и кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производства в период освоения выпуска нового вида изделий, и зависимость валового национального дохода от уровня занятости.
При использовании линеаризуемых функций, затрагивающих преобразования зависимой переменной y, следует особенно проверять наличие предпосылок МНК, чтобы они не нарушались при преобразовании.
Вопрос 42. Аналитический способ выравнивания ряда и используемые при этом функции.
Более совершенным приемом выявления основной
тенденции развития в рядах динамики является аналитическое выравнивание. При изучении общей тенденции методом аналитическо
Целью аналитического выравнивания динамического ряда является определение аналитической или графической зависимости y=f(t). Функцию y=f(t) выбирают таким образом, чтобы она давала содержательное объяснение изучаемого процесса. Это могут быть различные функции.
Системы уравнений вида y=f(t) для оценки параметров полиномов по МНК
Графическое представление полиномов n-порядка
Если изменение уровней
ряда характеризуется равномерным увеличением (уменьшением) уров
Если в результате анализа типа тенденции динамики установлена криволинейная зависимость, примерно с постоянным ускорением, то форма тенденции выражается уравнением параболы второго порядка.
Если рост уровней ряда динамики происходит в геометрической прогрессии, т.е. цепные коэффициенты роста более или менее постоянны, выравнивание ряда динамики ведется по показательной функции.
После выбора вида уравнения
необходимо определить параметры уравнения.
Самый распространенный способ определения
параметров уравнения – это метод наименьших
квадратов, в котором в качестве решения принимается точка минимума суммы квадратов отклонений между теоретическими (
Выравнивание по прямой (определение
линии тренда) имеет выражение: yt=a0+a1t, где t—
Система уравнений упрощается, если значения t подобрать так, чтобы их сумма равнялась Σt = 0, т. е. начало отсчета времени перенести в середину рассматриваемого периода. Если до переноса точки отсчета t = 1, 2, 3, 4…, то после переноса:
- если число уровней ряда нечетное t = -4 -3 -2 -1 0 +1 +2 +3 +4
- если число уровней ряда четное t = -7 -5 -3 -1 +1 +3 +5 +7
Таким образом, ∑t в нечетной степени всегда будет равна нулю.
Аналогично находятся параметры параболы 2-го порядка из решения системы уравнений:
Выравнивание по среднему абсолютному приросту или среднему коэффициенту роста:
- Δ-средний абсолютный прирост;
- К-средний коэффициент роста;
- У0-начальный уровень ряда;
- Уn-конечный уровень ряда;
- t-порядковый номер уровня, начиная с нуля.
Построив уравнение регрессии, проводят оценку его надежности. Значимость выбранного уравнения регрессии, параметров уравнения и коэффициента корреляции следует оценить, применив критические методы оценки:
F-критерий Фишера, t–критерий Стьюдента, при этом, расчетные значения критериев сравниваются с табличными (критическими) при заданном уровне значимости и числе степеней свободы. Fфакт > Fтеор - уравнение регрессии адекватно.
n – число наблюдений (уровней ряда), m – число параметров уравнения (модели) регрессии.
Проверка адекватности уравнения регрессии ( качества модели в целом) осуществляется с помощью средней ошибки аппроксимации, величина которой не должна превышать 10-12% (рекомендовано).
Задача 1. Парная регрессия и корреляция в экономических исследованиях.
Оценка параметров уравнения парной регрессии и количества экономической модели.
Определение формы связи, оценка параметров уравнений для различной формы связи, тесноты связи, качества уравнений по средней ошибке аппроксимации, статистической надёжности уравнения с помощью F – критерии Фишера, выбор уравнения наиболее адекватно отражающего существующую связь, прогнозирование.
Методика выполнения:
- Для построения экономической модели используются данные по субъектам Приволжского федерального округа об уровне денежных доходов и оборотов розничной торговли 2000г и 2001г соответственно.
- Для определения формы связи строится корреляционное поле, где по оси абцисс в определённом масштабе откладываются значения факторного признака, а по оси ординат – результативного.
- Определение параметров уравнений производится по 3-м формам связи: линейной, степенной и равносторонней гиперболы
- Для расчёта параметров «а» и «в» линейной регрессии ух = а + вх необходимо решить систему нормальных уравнений относительно «а» и «в»
По исходным данным определяем
Параметры «а» и «в» рассчитываем по формулам:
в = ух – у х ; а = у – вх;
= х – х = 231,31-195,44 = 35,87
= у – у = 319,27-291,04 = 28,23
Таблица 1 – Расчёт показателей для оценки параметров модели парной линейной регрессии
№ субъекта федер-ии |
y |
x |
yx |
x |
y |
yx |
/yi – yx/ |
/yi – yx/ yi |
1 |
20.8 |
16.0 |
332.8 |
256 |
432,64 |
18,66 |
2,14 |
0,102 |
2 |
11.6 |
8.3 |
96.28 |
68,89 |
134,56 |
12,577 |
0,97 |
0,083 |
3 |
13.1 |
8.8 |
115.28 |
77,44 |
171,61 |
12,972 |
0,13 |
0,009 |
4 |
21.3 |
16.2 |
345.06 |
262,44 |
453,69 |
18,818 |
2,48 |
0,116 |
5 |
16.9 |
11.7 |
197.73 |
136,89 |
285,61 |
15,263 |
1,64 |
0,097 |
6 |
12.1 |
9.9 |
119.79 |
98,01 |
146,41 |
13,841 |
1,74 |
0,143 |
7 |
11.1 |
10.7 |
118.77 |
114,49 |
123,21 |
14,473 |
3,37 |
0,303 |
8 |
18.2 |
15.9 |
289.38 |
252,81 |
331,24 |
18,581 |
0,38 |
0,020 |
9 |
16.7 |
9.9 |
165.33 |
98,01 |
278,89 |
13,841 |
2,86 |
0,171 |
10 |
11.9 |
11.3 |
134.47 |
127,69 |
141,61 |
14,947 |
3,05 |
0,256 |
11 |
25.7 |
18.5 |
475.45 |
342,25 |
660,49 |
20,635 |
5,06 |
0,197 |
12 |
29.0 |
32.7 |
948.3 |
1069,29 |
841,00 |
31,853 |
2,85 |
0,098 |
13 |
16.6 |
13.7 |
227,42 |
187,69 |
275,56 |
16,843 |
0,24 |
0,014 |
14 |
13.9 |
12.1 |
168,19 |
146,41 |
193,21 |
15,579 |
1,68 |
0,120 |
Итого |
238,9 |
195,7 |
3734,25 |
3238,31 |
4469,73 |
238,883 |
28,59 |
1,729 |
среднее |
17,06 |
13,98 |
266,73 |
231,31 |
319,27 |
X |
X |
0,123 |
28,23 |
35.87 |
X |
X |
X |
X |
X |
X | |
5,313 |
5.99 |
X |
X |
X |
X |
X |
X |
3.2. Уравнение равносторонней гиперболы у = а + в*1/х мианизируется при замене: Z = 1/х, тогда у = а + в*z. Для расчётов используются данные таблицы 2. Значение для параметров регрессии «а» и «в» определяется аналогично 3.1.
Таблица 2. – Расчёт показателей для оценки параметров модели равносторонней гиперболы
№ |
Y |
Z |
YZ |
Z |
Y |
yz |
/yi – yz/ |
(yi – yz) |
/yi – yz/ yi |
1 |
20.8 |
0.063 |
1.310 |
0,00396 |
432,64 |
19,44 |
1,36 |
1.849 |
0,088 |
2 |
11.6 |
0.120 |
1.392 |
0,0144 |
134,56 |
9,76 |
1,84 |
3.386 |
0,292 |
3 |
13.1 |
0.114 |
1,493 |
0,01299 |
171,61 |
10,78 |
2,32 |
5.382 |
0,411 |
4 |
21.3 |
0.062 |
1,320 |
0,00384 |
453,69 |
19,61 |
1,69 |
2.856 |
0,134 |
5 |
16.9 |
0.085 |
1,436 |
0,00722 |
285,61 |
15,70 |
1,2 |
1.44 |
0,085 |
6 |
12.1 |
0.101 |
1,222 |
0,01020 |
146,41 |
12,98 |
0,88 |
0.774 |
0,064 |
7 |
11.1 |
0.093 |
1,032 |
0,00865 |
123,21 |
14,34 |
3,24 |
10,498 |
0,946 |
8 |
18.2 |
0.062 |
1,128 |
0,00384 |
331,24 |
19,61 |
1,41 |
1,988 |
0,109 |
9 |
16.7 |
0.059 |
0,985 |
0,00348 |
278,89 |
20,12 |
3,42 |
11,696 |
0,700 |
10 |
11.9 |
0.084 |
0,999 |
0,00706 |
141,61 |
15,87 |
3,97 |
15,761 |
1,324 |
11 |
25.7 |
0.054 |
1,387 |
0,00292 |
660,49 |
20,97 |
4,73 |
22,373 |
0,871 |
12 |
29.0 |
0.030 |
0,871 |
0,0009 |
841,00 |
25,04 |
3,96 |
15,682 |
0,541 |
13 |
16.6 |
0.073 |
1,212 |
0,00533 |
275,56 |
17,74 |
1,14 |
1,299 |
0,078 |
14 |
13.9 |
0.083 |
1,154 |
0,00689 |
193,21 |
16,04 |
2,14 |
4,579 |
0,329 |
Итого |
238,9 |
1.083 |
16,941 |
0,09141 |
4469,73 |
238,0 |
33,3 |
99,563 |
5,972 |
Среднее |
17,06 |
0.077 |
1,210 |
0,00653 |
319,27 |
X |
X |
7,112 |
0,427 |
28,23 |
0,00061 |
X |
X |
X |
X |
X |
X |
X | |
5,313 |
0,02469 |
X |
X |
X |
X |
X |
X |
X |
4. Теснота связи для 1-й формы уравнения определяем по линейному коофициенту парной корреляции
Для 2-й и 3-й форм модели рассчитываем индекс корреляции:
Рху =
Коофициент детерминации, объясняющий долю дисперсии, вызванной факторным признаком, для всех случаев можно определить по формуле:
5. Величина средней ошибки аппроксимации определяется как среднее отклонение расчётных значений от фактического (допустимый предел значений А не более 8-10%)
А = 1/n *
Для таб.1: А = 1/14 * 1,729 * 100 = 12,34%
Для таб.2: А = 1/14 * 5,972 * 100 = 42,65%
- Fтест – оценивание качества уравнения регрессии состоит в проверке гипотезы «Но» о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого производится сравнение фактического и критического (табличного) значений F – критерий Фишера. Fфакт – определяется из соотношений значений факторной и остаточной дисперсии, рассчитывается на одну степень свободной вариации:
Fфакт = или
Fфакт = , где
n – число единичной совокупности,
m – число параметров при переменной «х».
Fтабл. – это максимальное возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости «
Уровень значимости « - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно принимают = 0,05 или 0,01. Если Fтабл. Fфакт., то Но – гипотеза о случайной природе оценивает характеристик отклонений и признаётся их статистическая значимость и надёжность. Если F табл. Fфакт. Гипотеза Но не отклоняется и признаётся статистическим незначимым, надёжность уравнения регрессии.
1) Fфакт. =
2) Fфакт. =
7.Сравнивая экономическое содержание моделей, величину показателей тесноты связи, статистическую значимость уравнений регрессий и показателей тесноты связи, размер средней ошибки аппроксимации по различным вариантам выбирают наиболее качественное уравнение регрессии.
8. Прогнозное значение «уn» определяется путём подстановки в уравнение регрессии прогнозного значения «хn» (в данном случае прогнозное значение факторного признака можно определить путём увеличения последнего значения фактора на средней коофициент роста).
Вычислим среднюю стандартную ошибку прогноза:
myn =
Строится доверительный интервал:
Вывод: При анализе доходов населения и оборотов в розничной торговле было выявлено 2 связи:
- парной линейной регрессии:
ух = 6,02 + 0,79х
- равносторонней гиперболы:
уz = 30,14 – 169,87z
При оценке параметров данного уравнения было выявлено, что для первого уравнения теснота связи выше, чем для второго, а также ошибка аппроксимации ниже, чем для второго уравнения. Следовательно, наиболее качественным является оценка параметров модели, парной линейной регрессии, таким образом при увеличении дохода населения на 1 руб., оборот розничной торговли увеличится на 79 коп.
Задача 2. Временные ряды в эконометрических исследованиях
По данным о динамике цен произвести
моделирование тенденции
20,3 |
18,8 |
19,6 |
20,7 |
19,6 |
19,3 |
18,6 |
18,2 |
16,8 |
16,6 |
14,3 |
12,5 |
1.Расчет коэффициентов
20,3 |
0,92 | ||||||||||
18,8 |
20,3 |
0,87 | |||||||||
19,6 |
18,8 |
20,3 |
0,84 | ||||||||
20,7 |
19,6 |
18,8 |
20,3 |
0,70 | |||||||
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
0,48 | ||||||
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
-0,21 | |||||
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
-0,10 | ||||
18,2 |
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
-0,55 | |||
16,8 |
18,2 |
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
0,53 | ||
16,6 |
16,8 |
18,2 |
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
1,00 | |
14,3 |
16,6 |
16,8 |
18,2 |
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
20,3 |
|
12,5 |
14,3 |
16,6 |
16,8 |
18,2 |
18,6 |
19,3 |
19,6 |
20,7 |
19,6 |
18,8 |
