Статистические методы анализа данных. Проверка гипотез

Министерство образования Российской Федерации

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Санкт-Петербургский государственный технологический институт

(технический университет)»

Кафедра бизнес - информатики

Форма обучения: очная

Направление подготовки: Бизнес-информатика

Степень (квалификация): бакалавр

Учебная дисциплина: Анализ данных

Курсовая работа на тему «Статистические методы анализа данных. Проверка гипотез».

Студент группы № 6119    Верещагина. П. И.

Руководитель      Москвичева А. И.

Санкт-Петербург

2011г. 
Содержание:

Статистические методы анализа данных. Проверка гипотез.

Введение

Жизнь идет. Она не стоит на месте. Меняется все. Меняются страны, города, поколения, наука. Все движется вперед, изменяется, словно только что нарисованный эскиз задуманного макета.

Но цель данной курсовой работы заключается не в том, чтобы говорить о том, как меняется мир, а ознакомиться с таким вопросом, как статистический метод анализа данных и проверка гипотез.

Главной задачей является понять такие вещи, как:

1. Статистика. В чем она заключается?
2. Методы статистики, используемые при анализе данных
3. Что такое наблюдение, гипотеза, теория вероятности?
4. Какими способами проверить какую – либо гипотезу?
5. Сделать необходимые выводы.

1. Статистика. В чем она заключается?

Итак. Что же такое статистика? Или как правильнее будет сказать – статистика анализа данных? В чем главная ее суть? Давайте попробуем ответить на эти вопросы.

.Понятие «статистика».

Еще в глубокой древности началась статистическая практика.

Первой статистической информацией стала глиняная табличка.

Но сам термин «статистика» появляется в 18 веке и начинает постепенно приобретать собирательное значение.

В развитие статистики внесли свой вклад такие ученые, как: Уильям Петти – основатель статистики; Адольф Кетле; русский статистик К. Ф. Герман;

Что же такое статистика? Дело в том, что понятие «статистика» имеет массу определений. Но самое достоверное, наверное, это то, что статистика это – отрасль знаний, в которой излагаются вопросы сбора, измерения и анализа массовых статистических (количественных или качественных) данных.

Так же, можно утверждать, что статистика является самостоятельной общественной наукой, которая имеет свой предмет и метод исследования. Она возникла из потребностей общественной жизни, и она изучает количественные стороны всех социально – экономических явлений.

Главной ее задачей является математически – правильно описать все собранные сведения.

Можно еще добавить, что статистика, как общественная наука, занимается сбором информации различного рода характера.

Иными словами, можно сказать, что статистика изучает: количественную сторону общественных явлений; количественную сторону явлений в неразрывной связи с их качественным содержанием; количественную сторону общественных явлений в конкретных условиях места и времени.

Следуя общей теории статистики, она согласуется, точнее она связана с другими науками и сферами.

Общая теория статистики:

I Экономическая статистика:

1. Статистика труда
2. Статистика образования
3. Статистика транспорта
4. Статистика связи

II Статистика финансового кредита

1. Высшие финансовые вычисления
2. Статистика денежного обращения
3. Статистика валютных курсов
4. Прочие

III Общая теория статистики

1. Демографическая статистика
2. Статистика образования
3. Медицинская статистика
4. Спортивная статистика.1

2.Основные методы статистики.

Ввиду того, что в основном гуманитарные и естественные науки в процессе исследований широко используют статистические методы для сбора, обработки анализа различных данных, то для ее разработки применяются специальные методы и приемы, которые, находясь в совокупности, образуют методологию статистику.

На сегодняшнее время существуют следующие статистические методы:

• диалектический метод;
• аналогия;
• гипотезы;
• наблюдения;
• анализ данных;
• группировка статистических данных;
• интерпретация данных.

Но каковы задачи статистических методов? В чем они заключаются?

1.  Статистика занимается разработкой системы гипотез, которые характеризуют развитие, динамику, состояние социально-экономических явлений.
2. Занимается организацией статистической деятельности
3. Разрабатывает методологию анализа
4. Разрабатывает системы показателей для управления хозяйством
5. Популяризирует данные статистического наблюдения.

Это, что касается основных направлений, стадий статистики, давайте все же перейдем к основной теме данной курсовой работы – статистические методы анализа данных и проверка гипотез. 2

3.Статистика исследований. Стадии.

Начальной стадией любого исследования, да и вообще любого процесса анализа какого либо явления, является наблюдение. Давайте, немного поговорим о нем.

Итак, какова суть статистического наблюдения? И в чем она заключается?

Определением статистического наблюдения считается -  сбор необходимых данных по явлениям и процессам, которые происходят в общественной жизни.

Однако, это не самый достоверный способ сбора данных, это всего лишь планомерный, научно организованный, систематический метод, направленный на регистрацию признаков, характерных для исследуемых явлений и процессов.

От качества же данных, полученных на первом этапе, зависят конечные результаты исследования.

Процесс наблюдения, включает в себя следующие формы.

На сегодняшний день известны две основные формы статистического наблюдения. Это отчетность и так называемое специально организованное наблюдение.

Поговорим о каждом немного.

Итак, отчетность.

Отчетность – определенная форма наблюдения, при которой, различные предприятия, организации представляют в статистические и вышестоящие органы постоянные сведения, которые характеризуют их деятельность.

Отчетность предоставляется по заранее определенной программе в строго определенные установленные сроки и содержит важнейшие показатели, необходимые в процессе ежедневной работы.

Следующая форма это специально организованное наблюдение.

Специально организованное наблюдение – так называемое наблюдение, которое заключается в организации со специальной целью на определенную установленную дату для получения данных, которые в силу различных причин не собираются для статистической отчетности, а также с целью проверки данных самой статистической отчетности.

Статистическое наблюдение также различается по видам.

А виды наблюдений в тоже время, делятся на подвиды.

Виды статистического наблюдения:

1. По времени регистрации фактов:

а) непрерывное

б) периодическое

в) Единовременное.

2. По охвату единиц совокупности

а) сплошные

б) не сплошные

Однако чтобы изучить какое – либо явление, процесс, одного наблюдения недостаточно.

В любом случае, требуется анализирование, а не простое наблюдение, выделение каких - либо выводов, гипотез, фактов. 
3.Анализ, синтез, гипотеза

Вся наука строится на анализе, синтезе, гипотезах и. т.д. Статистика – не исключение.

Анализ, синтез, гипотеза, моделирование. Все это методы научного познания, а значит, тоже играют большую роль для статистики.

Предлагаю немного поговорить о них.

Гипотеза – так называемое научное предположение, сформулированное на основе ряда фактов, истинное знание которого еще неопределенно и носит вероятностный характер и нуждается в доказательстве, проверке, обосновании.

Анализ – процесс мысленного или фактического разложения целого на составные части.

Синтез – процесс мысленного или фактического воссоединения целого из частей.

Моделирование – воспроизведение характеристик некоторого объекта на другом объекте, т. е. модели изучаемого объекта, специально созданной для его изучения.

Но я повторюсь.  Наша заключается в том, чтобы ответить на такой незамысловатый вопрос, в чем суть статистических методов анализа данных и проверки гипотез. 
4.Теория вероятности.

Как было сказано, гипотеза – это некое научное предположение, которое носит вероятностный характер. И это предположение нуждается в проверке.

В ходе проверки, гипотезы могут превращаться в теории, уточняются, конкретизируются, либо и вовсе отбрасываются как заблуждение.

В любом случае нужна проверка.

Методы статистического анализа, по крайней мере, их большинство, свойственны и справедливы только для наблюдений и их функции распределения могут починяться нормальному закону.

Поэтому, наверное, определение самого закона распределения наблюдаемой величины является необходимым атрибутом для любого статистического анализа данных.

Проверка согласия распределения величины с нормальным законом в статистическом анализе данных проводится в два этапа.

1.  Графический анализ
2. Проверка гипотезы о нормальности распределения.

Так как наша тема «Проверка гипотез», то и говорить мы будем о гипотезах.

Из-за своего вероятностного свойства, любую гипотезу можно проверить на основе теории вероятности.

Давайте разберемся, что такое теория вероятности и в чем она заключается, как может быть связана с гипотезой.

В основе теории вероятности лежит так называемая случайная изменчивость.  А это такие явления или ситуации, в которых результат определяется влияющими на него факторами, и эти явления называются закономерными.

Так же существуют явления, в которых установленное правило не выполняется, и поэтому это явление называется недетерминированным или стохастическим.

Для описания же явлений с неопределенным исходом используется идея случайности.

Согласно ей, результат, полученный в ходе исследования явления с неопределенным исходом, определяется случайным испытанием, при этом результат действия может быть непредсказуемым и порой случайности порождают закономерности.

И именно изучением закономерностей, которые порождаются случайным и событиями, занимается теория вероятности.

Определением самой вероятности, является численной мерой возможности наступления некоторого события.

Однако мы отошли от главной темы, вернемся к проверке гипотез.

5. Статистические  гипотезы. Виды статистических гипотез. Критерии ошибок.

Статистические гипотезы – это некое предположение о свойстве генеральной совокупности, которое можно проверить, опираясь при этом на данные выборки  -  множество случаев, с помощью определенной процедуры выбранных из генеральной совокупности для участия в исследовании.

Сама гипотеза обозначается буквой H.

Различают простые и сложные гипотезы.

Под простой гипотезой подразумевается та гипотеза, которая однозначно характеризует параметр распределения случайной величины.

Например: 3

Сложная же гипотеза состоит  из конечного ну или бесконечного числа простых гипотез, при  этом же указывается некоторая область вероятностей значений параметра.  Например:

Эта гипотеза состоит из множества простых гипотез, например: , где c – любое число, больше b.

Существуют так же  такие гипотезы, как  параметрические (гипотезы о параметрах генеральной совокупности); непараметрические (гипотезы о распределениях); нулевая гипотеза (нуль- гипотеза)  - эта гипотеза определяет, что две совокупности, сравниваемые по одному или даже нескольким признакам, никак не отличаются друг от друга.

Эта гипотеза обозначается . И при этом существует предположение, что действительное различие сравниваемых величин равно нулю, а полученное по данным отличие от нуля носит некий случайный характер. Ну, например: .

Однако нулевая гипотеза может  быть отвергнута тогда, когда например, по выборке получается результат,  который маловероятен при истинности выдвинутой нулевой гипотезы. И тогда, границей невозможного или маловероятного события, начинают считать то, что = 0, о5 или 5%; 0, 01, 0,001. А если опираться на правило «трех сигм»*, то вероятность ошибки будет равна 0, 0027.

*Правило «трех сигм»  означает то, что вероятность  того, что случайная величина  способна отклониться от своего  математического ожидания на  более высокую величину, чем утроенное  среднее квадратичное отклонение, практически равна нулю. Но правило  справедливо только для тех  случайных величин, которые распределены  по нормальному закону.

Но для данного уровня вероятности ошибки значения критериев редко табулируются. Обычно, значения критериев в статистико–математических таблицах рассчитываются для вероятностей с такими значениями ошибок, как 0,05; 0,01; 0,001.

Всегда существуют какие-нибудь ограничители, в данном случае это критерии, статистические критерии.

Статистические критерии – это определенное правило, которое ставит некие условия, при которых обычно проверяемую нулевую гипотезу следует либо отклонить, либо принять.

Так же критерий проверки статистической гипотезы занимается тем, что, пытается определить противоречит ли данная гипотеза фактическим данным или нет. 
6.Проверка гипотез.

В основе проверки статистических гипотез лежат данные случайных выборок. И при этом совершенно безразлично, оцениваются ли гипотезы в отношении реальной или гипотетической генеральной совокупности.

Процедура проверки статистических гипотез проводится в основном для оценки существенности расхождений сводных характеристик отдельных совокупностей, средних относительных величин.

В ходе проверки статистических гипотез, стоит помнить, что эта процедура гарантирует результаты с определенной вероятностью лишь по «беспристрастным» выборкам, на основе объективных данных.

Хочу отметить, что проверка статистических гипотез состоит из шести этапов:

1.  Задачи исследования формируются в виде статистической гипотезы
2. Выбирается статистическая характеристика гипотезы
3. Выбираются также испытуемая и альтернативная гипотезы на основе анализа возможных ошибочных решений и их последствий
4. Определяются область допустимых значений, критическая область, критическое значение статистического критерия по соответствующей таблице
5. Вычисляется фактическое значение статистического критерия
6. Проверяется испытуемая гипотеза на основе сравнения фактического и критического значений критерия, и в зависимости от результатов проверки гипотеза либо принимается, либо отклоняется.

Ни один процесс не проходит без ошибок, так что при проверке гипотез, используя при этом один из критериев, возможны два ошибочных решения:

1. Неправильное отклонение нулевой гипотезы: ошибка 1-го рода.
2. Неправильное принятие нулевой гипотезы; ошибка 2-го рода.

Принимают так же еще два ошибочных решения, если фактически нулевая гипотеза верна и ненулевая гипотеза не верна. Они заключаются в следующем:

1. Нулевая гипотеза отклоняется и вместо нее принимается альтернативная
2. Нулевая гипотеза не отклоняется.

Возможные решения данных гипотез можно увидеть в таблице, указанной ниже.

Возможные решения при проверке гипотез

Существуют так называемые критические области. Это такие области, попадание значения статистического критерия в которую, приводит к отклонению . И вероятность попадания значения критерия в эту область равна принятому уровню значимости.

Помимо нулевой гипотезы, существует еще альтернативная гипотеза. Обычно она обозначается . Альтернативная гипотеза или конкурирующая – это такая гипотеза, которая противоречит основной. Конкурирующих гипотез может быть несколько.

Предположим, что основной гипотезой является некое математическое ожидание случайно величины Y, равное 5, тогда возможны такие решения:

Либо H0 : My=5,

Либо в исследование начинают вступать конкурирующие гипотезы.

Например, могут быть такие вариации:

H1 :

H2 :

H3 :

В любом случае альтернативная гипотеза может быть сформулирована по-разному, в основном в зависимости о того, какие отклонения от гипотетической величины особенно беспокоят, ну скажем так положительные, отрицательные, а может и вовсе и те и другие. Следовательно, альтернативные гипотезы могут быть записаны в следующих видах:

И от того, к5ак формируется альтернативная гипотеза, зависят и границы критической области и области допустимых значений.

И хотелось бы отметить, что эта область допустимых значений дополняет критическую область, о которой мы упоминали чуть выше. И если значение критерии попадает в данную область допустимых значений, то это начинает свидетельствовать о том, что данная выдвинутая гипотеза не противоречит фактическим данным (т. е. эта гипотеза не отклоняется).

А точки, разделяющие данную критическую область и область допустимых значений, называют критическими точками или границами критической области.

В зависимости от того, как формулируется альтернативная гипотеза, критическая область может быть либо двусторонней, либо односторонней, а та же левосторонней либо правосторонней.

И если значение критерия, которое необходимо вычислить попадает в критическую область, то нулевая гипотеза отклоняется, так как она противоречит всем фактическим данным. 
7.Применение проверки гипотез на практике.

Проверка гипотезы о законе распределения.

Одной из важнейших задач анализа вариационных рядов, является выявление закономерности распределения и определения ее характера.

И основным путем в выявлении закономерностей  распределения выступает построение вариационных рядов для достаточно больших совокупностей.

Важнейшим значением для выявления закономерности распределения является правильное построение самого вариационного ряда. Важны правильный выбор числа групп и размера интервала данного варьирующего признака.

В любом случае, всегда выдвигается некая научная гипотеза, которая обосновывает тип теоретической кривой распределения, а под ней понимается некое графическое изображение ряда в виде непрерывной линии изменения частот в вариационном ряду, функционально связанного с изменением значений признака.

К тому же, теоретическое распределение, бывает, выражается аналитически, т.е. формулой, связывающей частоты вариационного ряда и соответствующие варианты.

По крайней мере, гипотезы о распределении заключаются в предположении о том, что распределение в генеральной совокупности обычно подчиняется определенному закону. Проверка же самой гипотезы состоит в выведении выводов о соответствии фактического распределения гипотетическому (теоретическому) распределению, на основе эмпирических (фактических) частот с предполагаемыми частотами.

Теоретический ряд нормального распределения строится так:

1.  Вычисляют для начала значения t (величина интервала вариационного ряда) для каждой группы хозяйств по фактическому интервальному ряду. Вычисление идет по следующей формуле:

2.  Далее выполняется вычисление вероятности попадания единицы наблюдения в  данный интервал при выполнении гипотезы о нормальном законе:

3.  Следующей, определяется теоретическая частота в данной группе, которая равна произведению объема совокупности на вероятность попадания в данный интервал:

4. На завершающем этапе находится значение критерия по формуле:

где, k – число категорий ряда распределений;

Так же можно найти по другой формуле:

где,

Всегда какое-либо действие имеет свое практическое значение. Так же и с проверкой гипотез.

В проверке гипотез важны две вещи:

1. Соответствие нормальному закону обычно позволяет прогнозировать, какая доля совокупности попадает в тот или иной интервал значений признака.
2. Нормальное распределение в основном возникает при действии на вариацию изучаемого показателя множества независимых факторов

Из этого всего, можно сделать вывод, что нельзя существенно снизить вариацию, ну например урожайности, воздействуя лишь на один-два управляемых фактора, будь это, скажем так удобрение или энергозатраты, да что угодно.

А используя критерий , можно  не только проверить гипотезу о согласии эмпирического распределения с нормальным законом, но и с любыми другими известными законами распределения, например равномерным распределением, распределением Пуассона.

Давайте немного поговорим о распределении Пуассона.

Распределение Пуассона играет важную роль  в ряде вопросов физики, теории связи, теории массового обслуживания, всюду, где в течение определенного времени может происходить случайное число каких-то событий.

Распределение Пуассона описывает вероятность редких событий. И проверка гипотезы о том, что выборка извлечена из генеральной совокупности, имеющей распределение Пуассона, проводится таким образом:

1.  По некоторому заданному дискретному вариационному ряду рассчитывают выборочную среднюю . Обычно ее значение используется в качестве оценки параметра распределения Пуассона.
2. Вычисляются вероятности:

3.  Найденные значения вероятностей умножаются на объем выборки, тем самым рассчитываются теоретические частоты распределения:

4.  Идет расчет значения критерия согласия Пирсона хи-квадрат.

Критическое значение критерия хи-квадрат находится при заданном уровне значимости и числе степеней свободы:

5.  Так же сравниваются рассчитанное (фактическое) и критическое (табличное) значения критерия хи-квадрат и делаются соответствующие выводы:
1. Если , то гипотеза о распределении случайной величины по закону Пуассона не отклоняется.
2. А если , то гипотеза отклоняется.

Существуют так же проверки гипотез о связи на основе критерия хи-квадрат; проверка гипотез о средних величинах; основы дисперсионного анализа.

Непараметрические критерии:

В основном непараметрические тесты используют вместо параметрических, когда данные измерены на номинальной или порядковой шкале и когда данные измеряются на интервальной или порядковой шкале, однако предположение о нормальности не может быть сделано.

А вот большинство параметрических тестов требуют того, чтобы в интервальной шкале или порядковой шкале были представлены данные, в то время как многие непараметрические тесты таких требований к данным не включают.

В любом случае непараметрическое тестирование имеет преимущества и недостатки, по сравнению с параметрическими тестами.

Недостатки:

1. В отличие от параметрических тестов, в непараметрическом тестировании имеющаяся в данных информация, используется менее эффективно и мощность этого типа тестирования ниже.

Именно по этой причине параметрические тесты являются более предпочтительными и используются тогда, когда требуемые предположения относительно генеральной совокупности могут быть сделаны.

2. Непараметрическое тестирование требует, точнее оно зависит от статистических таблиц, в том случае, если не используется специальный пакет прикладных программ.

Но есть и плюсы непараметрического тестирования.

Преимущества:

1. Имеется меньше предположений о генеральной совокупности, а это значит, что наиболее важное из них то, что данная совокупность не должна быть нормально распределенной или приблизительно нормальной. Поэтому непараметрические тесты не включают в себя никаких предположений о каких-либо типах распределения.
2. Методы непараметрического тестирования применяются даже тогда, когда выборка значительно, мала.
3. Используются данные, представленные в любых шкалах измерения (они либо номинальные, либо порядковые)
4. Вычисления могут проводиться на микрокалькуляторе.

И это в первую очередь связано с малым числом наблюдений, к которым и применяется непараметрическое тестирование.

Все выше перечисленное относится к проверке статистических гипотез. Но проверка проверкой, а как, же испытания?

8. Испытание  статистических гипотез

Основным принципом проведения испытаний статистических  гипотез, является использование выборочного метода. Почему именно так?

Ну, во-первых, это реальное повышение точности данных, следовательно, снижаются ошибки регистрации с уменьшением единиц наблюдения в выборке. Однако из-за неполноты охвата единиц возникает некая ошибка, связанная с репрезентативностью, т.е. представительности выборочных данных. Но в любом случае, взятые вместе ошибка наблюдения для выборки и ошибка репрезентативности, обеспечивают большую точность выборочных данных по сравнению с массовым сплошным наблюдением.

Во-вторых,  использование выборок обеспечивает большую экономию материальных, трудовых, финансовых ресурсов и времени.