Анализ данных житлового фонду України у 1990-2009 роках

Міністерство науки та освіти України

Дніпропетровський національний університет ім. О.Гончара

Факультет прикладної математики

Кафедра комп’ютерних технологій

 

 

 

 

 

 

Курсова робота

з курсу "Аналіз даних"

 

 

 

 

Виконала:

студентка групи ПК-08-2

Обласова М.В.

 

Перевірив:

Бердник М.Г.

 

 

 

 

Варіант № 11

 

 

 

 

2010 р.

Зміст

 

1) Вступ 3

2) Постановка задачі та початкові дані 4

1) Дано: 4

2) Потрібно: 4

3) Розв’язок 6

І) Побудова та перевірка  простої лінійної регресійної моделі: 6

1) Побудова простої лінійної регресійної моделі: 6

2) Побудова графіку простої лінійної регресійної моделі: 7

3) Знаходження коефіцієнтів кореляції: 8

4) Перевірка регресійної модель на адекватність: 8

5) Знаходження дисперсії для значень b₀ та b₁: 9

6) Перевірка значущості одержаних значень b₀ та b₁: 9

7) Побудова інтервалів довіри для β₀ та β₁: 10

8) Побудова інтервалів довіри для прогнозованих значень: 11

II) Побудова та перевірка  багатовимірної регресійної моделі: 12

1) Аналіз та вибір факторів: 12

2) Математично-статистичний аналіз на мультиколінеарність: 12

3) Оцінка невідомих параметрів b₀…b_m.: 13

4) Перевірка на адекватність за допомогою критерія Фішера: 14

5) Побудова множинного коефіцієнта кореляції: 15

6) Побудова варіаційно-коваріаційної матриці параметрів: 16

7) Перевірка значущості коефіцієнтів b_i: 17

8) Побудова інтервалів довіри для знайдених параметрів b_i : 18

9) Побудова інтервалів довіри: 18

• Побудова довірчого інтервалу для індивідуального значення y_n+k: 19
• Побудова довірчого інтервалу для математичного сподівання y_n+k: 19

10) Перевірка наявності мультиколінеарності методом Фаррара-Глобера: 20

11) Побудова t–статистики факторів і визначення мультиколінеарності: 21

12) Оцінка наявності гетероскедастичності 23

4) Висновки 29

5) Використана література 31

 

1. Вступ

 

Метою роботи є побудова регресійної моделі для аналізу даних житлового фонду України у 1990-2009 роках.

Дані взяті з офіційного сайту  Держкомстату України http://ukrstat.gov.ua/

 

Перша частина присвячена побудові простої лінійної регресійної моделі та перевірці її на адекватність та значущість одержаних значень b₀ та b_1.

Друга частина присвячена побудові багатовимірної лінійної регресійної моделі та перевірці її на мультиколінеарність, адекватність, значущість одержаних коефіцієнтів b_і та гомоскедастичність.

 

Актуальність даної теми обумовлена можливістю застосування отриманих результатів для подальших спостережень.

 

2. Постановка задачі та початкові дані

1. Дано:

 

З Держкомстату України отримана інформація, що характеризує житловий фонд України у 1990-2009 роках.

 

Житловий фонд України

 

	Весь житловий фонд, загальної площі, млн.м2	У середньому на одного жителя, м2	Кількість квартир, усього, тис.					Кількість сімей та одинаків, які  перебували на квартирному обліку на кінець року, тис.	Кількість сімей та одинаків, які  одержали житло протягом року, тис.
			всього	з них:
				1-кімнатних	2-кімнатних	3-кімнатних	чотири- і більше кімнатних
1990	922,1								235
1991	932,7								179
1992	944,7								166
1993	960,6								144
1994	962,9								104
1995	978,3	19,2	18303	3557	6766	6199	1781	2411	82
1996	995,2	19,7	18565	3633	6930	6190	1812	2297	56
1997	1002,6	20,0	18784	3662	7010	6262	1850	2164	47
1998	1008,4	20,2	18858	3675	7027	6278	1878	2029	37
2000	1015,0	20,7	18921	3677	7046	6299	1899	1765	32
2001	1026,13	21,0	18960	3676	7063	6301	1920	1624	29
2002	1031,7	21,3	19023	3692	7098	6303	1930	1533	25
2003	1035,7	21,6	19049	3702	7106	6303	1938	1460	25
2004	1040,0	21,8	19075	3699	7118	6308	1950	1414	23
2005	1046,4	22,0	19132	3697	7132	6331	1967	1323	20
2006	1049,2	22,2	19107	3688	7112	6313	1987	1300	20
2007	1057,6	22,5	19183	3693	7127	6339	2006	1252	17
2008	1066,6	22,8	19255	3705	7145	6352	2025	1216	17
2009	1072,2	23,0	19288	3709	7154	6358	2039	1174	11

 

2. Потрібно:

 

І) Побудова та перевірка простої лінійної регресійної моделі:

1. Для отриманих даних побудувати просту лінійну регресійну модель між х та у;
2. Побудувати графік отриманої моделі, і на цьому графіку нанести точки спостереження;
3. Знайти коефіцієнт кореляції. Зробити висновок про адекватність;
4. Перевірити регресійну модель на адекватність за допомогою критерію Фішера;
5. Знайти значення дисперсії для b₀ та b₁;
6. Перевірити значущість b₀ та b₁ за допомогою критерія Стьюдента;
7. Побудувати інтервали довіри для β₀ та β₁;
8. Побудувати інтервали довіри для двох прогнозованих значень:

x_n+1 = ͞ + 0,5;

x_n+2 – довільне.

 

IІ) Побудова та перевірка багатофакторної лінійної регресійної моделі:

1. Зробити аналіз і вибрати фактори для багатофакторної лінійної регресійної моделі;
2. Зробити математично – статистичний аналіз на мультиколінеарність. Результати цього аналізу сформулювати в багатофакторну лінійну регресійну модель;
3. Зробити оцінку невідомих параметрів b₀…b_m;
4. Перевірити на адекватність побудовану багатофакторну лінійну регресійну модель за допомогою F– критерію Фішера;
5. Побудувати множинний коефіцієнт кореляції. І зробити висновок наскільки знайдені данні відповідають фактичним даним;
6. Побудувати варіаційно-коваріаційну матрицю параметрів багатофакторної регресійної моделі;
7. Перевірити значущість коефіцієнтів побудованої багатофакторної регресії;
8. Побудувати інтервали довіри для знайдених параметрів ;
9. Знайти деяке прогнозне значення і побудувати інтервали довіри для індивідуального значення прогнозного і для його математичного сподівання;
10. Перевірити присутність загальної мультиколінеарності серед випадкових величин, використовуючи тест Фаррара-Глобера;
11. Побудувати t-статистику для всіх факторів і визначити мультиколінеарність між цими факторами;
12. За допомогою теста Гольдфельда-Квандта оцінити наявність гетероскедастичності.

 

За отриманими даними зробити висновки.

 

 

3. Розв’язок

 

І) Побудова та перевірка простої лінійної регресійної моделі:

1. Побудова простої лінійної регресійної моделі:

 

	Кількість сімей та одинаків, які  одержали житло протягом року, тис.	Весь житловий фонд, загальної площі, млн.м2
	хi	yi	xi2	xiyi
1990	235	922,1	55 225	216 693,5
1991	179	932,7	32 041	166 953,3
1992	166	944,7	27 556	156 820,2
1993	144	960,6	20 736	138 326,4
1994	104	962,9	10 816	100 141,6
1995	82	978,3	6 724	80 220,6
1996	56	995,2	3 136	55 731,2
1997	47	1 002,6	2 209	47 122,2
1998	37	1 008,4	1 369	37 310,8
2000	32	1 015,0	1 024	32 480,0
2001	29	1 026,1	841	29 756,9
2002	25	1 031,7	625	25 792,5
2003	25	1 035,7	625	25 892,5
2004	23	1 040,0	529	23 920,0
2005	20	1 046,4	400	20 928,0
2006	20	1 049,2	400	20 984,0
2007	17	1 057,6	289	17 979,2
2008	17	1 066,6	289	18 132,2
2009	11	1 072,2	121	11 794,2
∑/n	66,8	1 007,8	8 681,8	64 577,9

 

Рівняння  лінійної регресії має вигляд:

 ŷ  = b₀ + b₁x   , де

 

 

 

 

Підставимо  значення з таблиці:

 

 

Таким чином, рівняння лінійної регресії має вигляд:

 ŷ = 1 051,21 – 0,65х

2. Побудова графіку простої лінійної регресійної моделі:

 

3. Знаходження коефіцієнтів кореляції:

 

Коефіцієнт  кореляції обчислюється за формулою:

 

де:

 

 

 

var(x) – дисперсія величини x;

var(y) – дисперсія величини y;

 

cov(y,x) = –2731,87

var(x) = 4221,01

var(y) = 2017,28

 

 

|r_xy| > 0,9

 

На основі отриманого значення коефіцієнту  кореляції можна зробити висновок про значимий вплив х на у.

 

4. Перевірка регресійної модель на адекватність за допомогою критерія Фішера:

 

Регресійна  модель для отриманих даних має  вигляд:

 

 

 

Для застосування критерія Фішера необхідно:

1. Обчислити розрахункове число Фішера F_1,n–2;

 

 

F_1,17  = 121,65

2. Задати коефіцієнт значущості α;

 

3. Якщо  F_1,n-2 > F_кр(α; n – 2) , то дана регресійна модель адекватна спостереженим даним.

 

Перевіримо модель на адекватність:

1. Коефіцієнт значущості α = 0,05:

F_кр(0,05; 17) = 4,45

F_1,17 > F_кр(0,05; 17)

 

Модель є адекватною спостереженим  даним на рівні значущості 5%.

2. Коефіцієнт значущості α = 0,01:

F_кр(0,01; 17) = 8,4

F_1,17 > F_кр(0,01; 17)

 

Модель є адекватною спостереженим  даним на рівні значущості 1%.

 

5. Знаходження дисперсії для значень b₀ та b₁:

 

Дисперсія значень b₀ та b₁обчислюється за формулами:

 

 

 

де:

 

 

 

 

 

 

 

 

6. Перевірка значущості одержаних значень b₀ та b₁ за допомогою критерія Стьюдента:

 

Щоб визначити значущість одержаних значень b₀ та b₁ за допомогою критерія Стьюдента необхідно:

 

1. Обчислити розрахункове

,    i = 0, 1;    де:    

 

     

 

2. Задати рівень значущості α і, користуючись таблицею критичних точок розподілу Стьюдента знайти теоретичне значення розподілу Стьюдента, t(α/2;n–2)

 

3. Якщо виконується умова:

 t_i > t (α/2, n–2) ,  i = 0, 1;

то даний коефіцієнт є значимим.

 

1. Коефіцієнт значущості α = 0,05:

 t_кр(0,025; 17) = 2,11

 

t₁  > t _кр(0,025; 17)

t₀  > t _кр(0,025; 17)

b₁ є значимим коефіцієнтом;

b₀ є значимим коефіцієнтом, на рівні значущості α = 0,05.

 

2. Коефіцієнт значущості α = 0,01:

 t_кр(0,005; 17) = 2,898

 

t₁ > t _кр(0,005; 17)

t₀ > t _кр(0,005; 17).

b₁ є значимим коефіцієнтом;

b₀ є значимим, на рівні значущості α = 0,01.

 

7. Побудова інтервалів довіри для β₀ та β₁:

 

Інтервали довіри для β₀ та β₁ обчислюються за формулами:

 b_i – t(α/2;n–2) ∙ σ _bi < β_i < b_i + t(α/2;n–2) ∙ σ _bi ,   i = 0,1.

 

1. Коефіцієнт значущості α = 0,05:

1051,21 – 2,11∙  < β₀ < 1051,21 + 2,11 ∙

 

1039,62 < β₀ < 1062,8

 

–0,65 – 2,11 ∙  < β₁ < –0,65 + 2,11 ∙

 

 –0,77< β₁ < –0,53

 

2. Коефіцієнт значущості α = 0,01:

1051,21 – 2,89∙  < β₀ < 1051,21 + 2,89 ∙

 

1035,34 < β₀ < 1067,08

 

–0,65 – 2,89 ∙  < β₁ < –0,65 + 2,89 ∙

 

 –0,82 < β₁ < –0,48

 

8. Побудова інтервалів довіри для прогнозованих значень:

 

Інтервали довіри для прогнозованих значень мають  вигляд:

 

 

 

 

 

Прогнозовані значення:

x_n+1 = ͞ + 0,2 = 67

x_n+2 = 8

y_n+1 = 1007,7

y_n+2 = 1046

 

1. Коефіцієнт значущості α = 0,05:

1007,7 – 2,11 ∙  < y_n+1 < 1007,7 + 2,11 ∙

971,54  < y_n+1 < 1043,8

 

1046 – 2,11 ∙  < y_n+2 < 1046 + 2,11 ∙

1009,15 < y_n+2 <  1082,87

 

2. Коефіцієнт значущості α = 0,01:

1007,7 – 2,89 ∙  < y_n+1 < 1007,7 + 2,89 ∙

958,18  < y_n+1 < 1057,15

 

1046 – 2,89 ∙  < y_n+2 < 1046 + 2,89 ∙

995,52  < y_n+2 <  1096,5

 

 

 

II) Побудова та перевірка багатовимірної регресійної моделі:

 

1. Аналіз та вибір факторів для багатофакторної лінійної регресійної моделі:

 

Оберемо такі фактори для багатовимірної регресійної моделі:

X₁ – Кількість сімей та одинаків, які одержали житло протягом року, тис.

X₂ – У середньому на одного жителя, м²

X₃ – Кількість квартир, усього, тис.

X₄ – Кількість однокімнатних квартир, тис.

X₅ – Кількість двокімнатних квартир, тис.

X₆ – Кількість трикімнатних квартир, тис.

X₇ – Кількість чотири- і більше кімнатних квартир, тис.

X₈ – Кількість сімей та одинаків, які перебували на квартирному обліку на кінець року, тис.

 

2. Математично-статистичний аналіз на мультиколінеарність:

 

Для математично-статистичного аналізу  необхідно побудувати кореляційну  матрицю R:

 

 

Побудуємо кореляційну матрицю для заданих  числових даних:

 

 

 

Якщо |r_xiyi|>0,9 то будемо вважати що між x_i та x_j присутнє явище мультиколінеарності.

В цьому випадку один із факторів   треба виключити з моделі. Виключаємо той фактор для якого |r_xiyi| буде меншим.

Аналізуючи  значення їх значення відкидаємо такі фактори: X₁, X₃, X₄, X₅, X₆.

Отже маємо таблицю:

 

Рік	y	x2	x7	x8
1995	978,3	19,2	1781	2411
1996	995,2	19,7	1812	2297
1997	1002,6	20	1850	2164
1998	1008,4	20,2	1878	2029
2000	1015	20,7	1899	1765
2001	1026,13	21	1920	1624
2002	1031,7	21,3	1930	1533
2003	1035,7	21,6	1938	1460
2004	1040	21,8	1950	1414
2005	1046,4	22	1967	1323
2006	1049,2	22,2	1987	1300
2007	1057,6	22,5	2006	1252
2008	1066,6	22,8	2025	1216
2009	1072,2	23	2039	1174
Середнє	1030,36	21,29	1927,29	1640,14

 

3. Оцінка невідомих параметрів b₀…b_m.:

 

Вибірка з багатофакторної регресійної  моделі має вигляд:

 

,де

 

x_1i … x_mi  – значення x₁ … x_m в i – ому спостережені.

 

Введемо позначення:

 

 

 

 

Тоді вибірка з багатофакторної  регресійної матиме вигляд:

 

 

 

Невідомі параметри b₀…b_m обчислюються за формулою:

 

 b = (X '∙X)^-1∙X'∙Y

Знайдемо невідомі параметри  b₀…b_m:

 

 

 

Отримана регресійна модель буде мати вигляд:

 

 

 

4. Перевірка на адекватність за допомогою критерія Фішера:

 

Для перевірки будемо розглядати нульову  гіпотезу H₀:

H₀ = β₀= β₁= …= β_m=0;

Проти альтернативної:

H₁ = β_i ≠ 0.

 

Для того, щоб перевірити нульову гіпотезу необхідно:

 

1. Обчислити розрахункове число Фішера F_m,n–m–2;

 

 

 

Обчислимо число Фішера:

F_3,9  = 902,08;

 

2. Задати коефіцієнт значущості α;

 

3. Якщо F_m,n–m–2 > F_кр(m; n – m – 2), то гіпотеза H₀ відхиляється, дана регресійна модель адекватна спостереженим даним.

 

Перевіримо  модель на адекватність:

1. Коефіцієнт значущості α = 0,05:

F_кр(3; 9) = 3,86;

F_3,9  > F_кр(3; 9).

 

Гіпотеза H₀ відхиляється

Модель є адекватною спостережуваним  даним на рівні значущості 5%.

 

2. Коефіцієнт значущості α = 0,01:

F_кр(3; 9) = 6,99;

F_3,9  > F_кр(3; 9).

 

Гіпотеза H₀ відхиляється

Модель є адекватною спостережуваним  даним на рівні значущості 1%.

 

5. Побудова множинного коефіцієнта кореляції:

 

y – весь житловий фонд, загальної  площі, млн.м² ;

х₂ – у середньому на одного жителя, м² ;

х₇ – кількість чотири- і більше кімнатних квартир, тис. ;

х₈ – кількість сімей та одинаків, які перебували на квартирному обліку на кінець року, тис.;

 

Вибіркова багатофакторна лінійна  регресійна модель має вигляд:

 

,  де

 

 – це помилка (відхилення),

 – це випадкові величини.

 

Для наших початкових даних вона приймає такий вигляд:

 

 

 

Корисною мірою ступеня відповідності  даних ŷ ( ) одержаних з регресійної моделі фактичним даним є коефіцієнт множинної кореляції . Він визначається як коефіцієнт кореляції між змінними ŷ та у, тобто:

 

 

де:

 – коваріаційний коефіцієнт,

 та

 – дисперсії величин ŷ та у.

 

Позитивне значення свідчить про прямий зв'язок, а негативне про зворотній.

Значення  коефіцієнту лежить в межах  . Якщо значення коефіцієнта кореляції близьке до нуля, то статистичний зв'язок між ŷ та у відсутній. На практиці будемо вважати, що якщо – то статистичний зв'язок відсутній. А якщо значення коефіцієнта близьке до 1 – , то вважається, що вплив є значним.

 

Порахуємо множинний коефіцієнт кореляції  для наших початкових даних:

 

 

 

Вплив є значним. Знайдені дані точно відповідають фактичним.

 

6. Побудова варіаційно-коваріаційної матриці параметрів багатофакторної регресійної моделі:

 

Дисперсійно-коваріаційна матриця має вигляд:

 

 

В матричному вигляді вона записується так:

 

 

Варіаційно-коваріаційна матриця може бути обчислена за формулою:

 

,  де  - це є дисперсія випадкової величини .

 

Оцінку  будемо робити за допомогою величини:

 

,  де    e_i = ŷ_i – у_i°°

 

Можна показати, що  .

 

Тоді  величина – перепишеться :

 

.

 

Спираючись  на наші початкові данні ми отримаємо:

 

 

 

тоді  варіаційно-коваріаційна матриця має вигляд:

 

 

 

7. Перевірка значущості коефіцієнтів b_i побудованої багатофакторної регресійної моделі:

 

Для перевірки будемо розглядати нульову  гіпотезу H₀:

H₀ = β₀= β₁= …= β_m=0;

Проти альтернативної:

H₁ = β_i ≠ 0.

 

Для перевірки справедливості нульової гіпотези будується так звана t-статистика:

,   .

Задаємо рівень значущості та і користуючись таблицею критичних точок розподілу Стьюдента знаходимо .

Зробити висновок чи є параметри  значимими (якщо , , то не виконується і відповідні параметри побудованої багатофакторної регресійної моделі  є значимими).

 

Спираючись  на наші початкові данні ми маємо:

 

Обираємо  та , тоді

 

 t(0,01/2; 14 – 3 – 1) = t(0,005; 10) = 3,17 

 

 t(0,05/2; 14 – 3 – 1) = t(0,025; 10) = 2,23

 

t0 > t(0,005; 10)	t0 > t(0,025; 10)
t1 > t(0,005; 10)	t1 > t(0,025; 10)
t2 < t(0,005; 10)	t2 < t(0,025; 10)
t3 < t(0,005; 10)	t3 < t(0,025; 10)

 

Отримані  нами данні говорять про те, що на рівні значущості α = 0,01 та α = 0,05 коефіцієнти b₀ та b₁ є значимими, а коефіцієнт b₂ та b₃ не є значимим.

 

8. Побудова інтервалів довіри для знайдених параметрів b_i :

 

Інтервали довіри для коефіцієнтів мають вигляд:

 

, .

 

Робимо інтервальну оцінку для по даній вибірці. але він знаходиться в межах інтервалу з довірчою імовірністю .

 

Спираючись на наші початкові данні  ми маємо:

 

165,65 < β0 < 572,88	226,30 < β0 < 512,50
6,16 < β1 < 28,64	9,49 < β1 < 25,31
–0,02 < β2 < 0,30	0,03 < β2 < 0,25
–0,01 < β3 < 0,03	–0,003 < β3 < 0,02

 

9. Побудова інтервалів довіри для прогнозного значення і його математичного сподівання:

 

Якщо побудована регресійна модель є адекватною, а це можна перевірити за допомогою критерію Фішера, то можна  знаходити прогнозне значення залежної змінної  y. Нехай нам відомі значення в – період, тоді прогнозне значення нашого показника в цей період дорівнює:

 

 

 

З іншого боку

, де 

.