Закон больших чисел. Критерий однородности Смирнова

МИНИСТЕРСТВО ОБРАЗОВАНИЯ  И НАУКИ, МОЛОДЁЖИ И СПОРТА УКРАИНЫ ХАРЬКОВСКИЙ НАЦИОНАЛЬНЫЙ УНИВЕРСИТЕТ  РАДИОЭЛЕКТРОНИКИ

КУРСОВАЯ РАБОТА

на тему: "Закон больших чисел. Критерий однородности Смирнова "

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Руководитель:                                                                                                                                  Защитил:

Сидоров М.В.                                                                                                                                    ст. гр. ПМ-09-1

                                                                                                                                                             Мозговой Н.В.

 

                                                                                                                                                            

 

 

                                                                                                                 Дата:   ____________

Харьков 2011

                                                                                                           

 

                                                                                                                Оценка:____________ 

         Харьковский  национальный университет радиоэлектроники

 

 

Факультет__________________Кафедра______________________________

 

Дисциплина______________________________________________________

 

Специальность___________________________________________________

 

Курс__________Группа___________________Семестр__________________

 

 

                            ЗАДАНИЕ НА КУРСОВУЮ РАБОТУ

Студенту________________________________________________________

 

1. Тема работы

 

 

 

 

 

                                                   Содержание

 

 

Введение

 

1 Теоретическая часть

  1.1 Предельные  теоремы теории вероятностей

      1.1.1 Сходимость последовательностей  случайных величин и 

               вероятностных распределений 

      1.1.2 Метод характеристических  функций

      1.1.3 Закон больших  чисел

  1.2 Проверка статистических  гипотез 

      1.2.1 Основные задачи математической  статистики и их краткая 

               характеристика 

      1.2.2 Проверка статистических гипотез:  основные понятия

      1.2.3 Критерий однородности Смирнова

 

2 Практическая часть

  2.1 Решение  задач о типах сходимости

  2.2 Решение  задач на закон больших чисел

  2.3 Проверка  гипотезы с помощью критерия  однородности Смирнова

 

Заключение

 

Приложения

 

Перечень  ссылок

 

 

Введение

 

Математическая  статистика – это прикладная математическая дисциплина, родственная теории вероятностей. Она базируется на понятиях и методах  последней, но решает свои специфические  задачи своими методами. Любая математическая теория развивается в рамках некоторой  модели, описывающей определенный круг реальных явлений, изучением которых  и занимается данная теория. За последние годы отделилась в самостоятельные дисциплины теория надежности, теория массового обслуживания и теория информации.

Статистический  анализ является необходимым этапом анализа и исследования любой  производственно-хозяйственной, финансовой или коммерческой деятельности как  отдельной фирмы, организации или  предприятия, так и совокупности предприятий и организаций, отрасли  или страны, в целом.

Курс  «Теория вероятностей и математическая статистика» занимает особое место  в системе математических дисциплин, которые изучаются студентами специальностей ПМ, СА, ИНФ, как базовый курс.

Целью данной курсовой работы является углубление теоретических знаний с  курса «Теория вероятностей и  математическая статистика», а именно, по теме: «Закон больших чисел» и  «Критерий однородности Смирнова»; развить навыки самостоятельной работы; приобрести навыки самостоятельной работы с необходимыми литературными источниками; научится применять теоретические знания для решения практических заданий.

 

 

                          1   ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

 

1.     Предельные теоремы теории вероятностей

 

1.1.1 Сходимость  последовательностей случайных  величин и вероятностных распределений

 

В теории вероятностей приходится иметь дело с разными видами сходимости случайных  величин. Рассмотрим следующие основные виды сходимости: по вероятности, с  вероятностью единица,  среднем порядка  р, по распределению.

Пусть , , … - случайные величины, заданные на некотором вероятностном пространстве ( , Ф , P).

Определение 1. Последовательность случайных величин , … называется сходящейся  по вероятности к случайной величине (обозначение: ), если для любого > 0

P {

> } 0, n .

Определение 2. Последовательность случайных величин  , , … называется сходящейся с вероятностью единица (почти наверное, почти всюду)  к случайной величине , если

P {

: } = 0,

т.е. если множество  исходов  , для которых ( ) не сходятся к ( ), имеет нулевую вероятность.

Этот  вид сходимости обозначают следующим  образом: , или , или .

Определение 3. Последовательность случайных величин  , , … называется сходящейся в среднем порядка р, 0 < p < , если

                                M 0, n .

Определение 4. Последовательность случайных величин  , ,… называется сходящейся  по распределению к случайной величине (обозначение: ), если для любой ограниченной непрерывной функции

M

M , n .

Сходимость  по распределению случайных величин  определяется только в терминах сходимости их функций распределения. Поэтому  об этом виде сходимости имеет смысл  говорить и тогда, когда случайные  величины заданы на разных вероятностных  пространствах.

Теорема 1.

а) Для  того чтобы  (Р-п.н.), необходимо и достаточно, чтобы для любого > 0

P {

} 0, n .

b) Последовательность { } фундаментальна с вероятностью единица тогда и только тогда, когда для любого > 0.

P {

} 0, n .

Доказательство.

       а)  Пусть А = { : | - | }, А = А .

 Тогда 

{

: }= =

Но

P (

) = P ( ),

поэтому утверждение а) является результатом следующей цепочки импликаций:

Р{ :   }= 0 P( ) = 0    = 0  Р(А ) = 0, m 1 

 P(A ) = 0, > 0 P( ) 0, n 0, > 0 P{ } 0,

n 0, > 0.

b) Обозначим  = { :  }, = ,

тогда { : { ( )} не фундаментальна } = и так же, как в а) показывается, что { : { ( )} не фундаментальна } = 0

P{ } 0,  n .

Теорема доказана.

 

Теорема 2 ( критерий Коши сходимости почти наверно).

Для того чтобы последовательность случайных  величин { } была сходящейся с вероятностью единица (к некоторой случайной величине ), необходимо и достаточно, чтобы она была фундаментальна с вероятностью единица.

Доказательство.

Если  , то +

откуда вытекает необходимость условия теоремы.

Пусть теперь последовательность { } фундаментальна с вероятностью единица. Обозначим L = { : { ( )} не фундаментальная}.  Тогда для всех числовая последовательность { } является фундаментальной и, согласно критерию Коши для числовых последовательностей, существует ( ). Положим

( ) =

Так определенная функция является случайной величиной  и 

.

Теорема доказана.

    1.1.2 Метод характеристических функций

 

Метод характеристических функций является одним из основных средств аналитического аппарата теории вероятностей. Наряду со случайными  величинами (принимающими действительные значения) теория характеристических функций требует привлечения  комплекснозначных случайных величин.

Многие  из определений и свойств, относящихся  к случайным величинам, легко  переносятся и на комплексный  случай. Так, математическое ожидание М_ξ комплекснозначной случайной величины ζ=ξ+ίη считается определенным, если определены математические ожидания М_ξ  и М_η. В этом случае по определению полагаем М_ζ = М_ξ + ίМ_η. Из определения независимости случайных элементов следует, что комплекснозначные величины ζ₁ =ξ₁+ίη₁ , ζ₂=ξ₂+ίη₂ независимы тогда и только тогда, когда независимы пары случайных величин (ξ_{1 ,} η₁) и (ξ_{2 ,} η₂), или, что то же самое, независимы  σ-алгебры F_{ξ1, η1} и   F_{ξ2, η2}.

Наряду  с пространством L₂ действительных случайных величин с конечным вторым моментом можно ввести в рассмотрение гильбертово пространство комплекснозначных случайных величин ζ=ξ+ίη с М |ζ|²<∞, где |ζ|²= ξ²+η², и скалярным произведением (ξ_{1 ,} ξ₂)= Мζ₁ζ₂¯, где ζ₂¯-  комплексно-сопряженная  случайная величина.

При алгебраических операциях векторы  Rⁿ рассматриваются как алгебраические столбцы,

,

 – как вектор-строки, a^* - (а₁,а₂,…,а_n). Если Rⁿ , то под их скалярным произведением (a,b) будет пониматься величина  . Ясно, что _.

Если  а Rⁿ  и R=||r_ij|| - матрица порядка n^хn, то

                                                        = .           (1)                                

Определение 1. Пусть F = F(х₁,….,х_n) – n-мерная  функция распределения в ( , ( )). Ее  характеристической функцией называется функция

.         (2)

Определение 2. Если ξ = (ξ₁,…,ξn) – случайный вектор, определенный на вероятностном пространстве со значениями в , то его характеристической функцией называется функция

_,                            (3)

где F_ξ = F_ξ(х₁,….,х_n) – функция распределения вектора ξ=(ξ₁, … , ξ_n).

Если  функция распределения F(х) имеет  плотность f = f(х), то тогда 

.

В этом случае характеристическая функция  есть не что иное, как преобразование Фурье функции f(x).

Из (3) вытекает, что характеристическую функцию  φ_ξ(t) случайного вектора можно определить также равенством

.     (4)

Основные  свойства характеристических функций (в случае n=1).

Пусть ξ = ξ(ω) – случайная  величина, F_ξ = F_ξ (х) – её функция распределения и – характеристическая функция.

Следует отметить, что если , то .

 

Поэтому

. (5)

Далее, если ξ₁, ξ₂, … , ξ_n – независимые с. в. и S_n= ξ1+ξ2 +… + ξ_n, то

_.                                                 (6)

В самом деле, ,

где воспользовались  тем, что математическое ожидание произведения независимых (ограниченных) случайных  величин равно произведению их математических ожиданий.

Свойство (6) является ключевым при доказательстве предельных теорем для сумм независимых  случайных величин методом характеристических функций. В этой связи, функция распределения  выражается через функции распределения отдельных слагаемых уже значительно более сложным образом, а именно, где знак * означает свертку распределений.

С каждой функцией распределения в  можно связать случайную величину, имеющую эту функцию в качестве своей функции распределения. Поэтому при изложении свойств характеристических функций можно ограничиться рассмотрением характеристических функций случайных величин .

Теорема 1. Пусть ξ – случайная величина  с функцией распределения F=F(х) и  – ее характеристическая функция.

Имеют место  следующие свойства:

1. |
2. равномерно непрерывна по ;
3. ;
4. является действительнозначной функцией тогда и только тогда, когда распределение F симметрично

(

);

5. если для некоторого n ≥ 1 , то при всех существуют производные и

,

где и

6. Если существует и является конечной , то
7. Пусть для всех  n ≥ 1 и

тогда при  всех |t|<R

Следующая теорема показывает, что характеристическая функция однозначно определяет функцию  распределения.

Теорема 2 (единственности). Пусть F и G – две  функции распределения, имеющие  одну и ту же характеристическую функцию, то есть для всех

        Тогда .

        Теорема  говорит о том, что функция распределения F = F(х) однозначно восстанавливается по своей характеристической функции . Следующая теорема дает явное представление функции F через .

Теорема 3 (формула обобщения). Пусть F = F(х) –  функция распределения и  – ее характеристическая функция.

 

 

а) Для любых  двух точек a, b (a < b), где функция  F = F(х) непрерывна,

b) eсли то функция распределения F(х) имеет плотность f(x),

.

Теорема 4. Для того чтобы компоненты случайного вектора  были независимы, необходимо и достаточно, чтобы его характеристическая функция была произведением характеристических  функций компонент:

.

Теорема  Бохнера – Хинчина. Пусть  - непрерывная функция, Для того, чтобы была характеристической, необходимо и достаточно, чтобы она была неотрицательно-определенной, то есть для любых действительных t₁, … , t_n и любых комплексных чисел

.

Теорема 5. Пусть  - характеристическая функция случайной величины .

а) Если для некоторого , то случайная величина является решетчатой с шагом , то есть

где а –  некоторая константа.

 

b) Если  для двух различных точек , где - иррациональное число, то случайная величина ξ является вырожденной:

,

где а – некоторая константа.

с) Если , то случайная величина ξ вырождена.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.1.3 Закон больших чисел.

 

Пусть x_n – последовательность случайных величин, для которых существуют Мx_n. Законом больших чисел называются теоремы, утверждающие, что разность

сходится  к нулю по вероятности.

Теорема Чебышева. Пусть x_n – последовательность независимых случайных величин, Мx_n=a, Dx_n ≤ c. Тогда

.

Доказательство. Докажем даже больше, что  в среднеквадратическом. Так как , то на основании свойств последовательностей сходящихся по вероятности [Для того, чтобы последовательность x_n сходилась в среднеквадратическом к некоторой постоянной с, необходимо и достаточно, чтобы ], для доказательства теоремы достаточно показать, что . Вследствие независимости величин x_k

.

Следствие. Пусть  – последовательность независимых случайных величин такая, что

, n=1, 2, …

Тогда для  каждого x > 0

.

Этот  частный случай теоремы Чебышева дает обоснование правилу среднего арифметического в теории обработки  результатов измерений. Предположим, что нужно измерить некоторую  физическую величину а. Повторив измерения  n раз в одинаковых условиях, наблюдатель получает результаты измерений В качестве приближенного значения а принимается среднее арифметическое результатов измерений

.

Если  наблюдения лишены систематической  ошибки, т. е. Мx_n = а, то согласно сформулированному выше следствию,

.

Теорема Хинчина. Если {x_n} — последовательность независимых одинаково распределенных случайных величин, то закон больших чисел к такой последовательности применим и без предположения о существовании дисперсий. Имеет место следующее утверждение.

Теорема Хинчина. Пусть {x_n} — последовательность независимых одинаково распределенных величин, имеющих конечное математическое ожидание Мx_n = а. Тогда для каждого ε > 0

.

Теорема Бернулли. Рассмотрим еще один частный  случай теоремы Чебышева. Пусть имеем последовательность испытаний, в каждом из которых может быть два исхода — успех У (с вероятностью р) или неудача Н (с вероятностью q=1—р) независимо от исходов других испытаний. Образуем последовательность случайных величин следующим образом. Пусть x_k = 1, если в k-м испытании произошел успех, и x_k = 0, если в k-м испытании произошла неудача. Тогда {x_k} есть последовательность независимых одинаково распределенных случайных величин, Мx_n = р, . Случайная величина

представляет  собой частоту появления успеха в первых п испытаниях. Так как для последовательности {x_k} выполнены условия теоремы Чебышева, то мы из теоремы Чебышева получаем следующее утверждение.

Теорема Бернулли. Для любого ε > 0 при .

Смысл этого  утверждения состоит в том, что  введенное нами определение вероятности  соответствует интуитивному пониманию  вероятности как предела частоты.

Многочлены  Бернштейна. Закон больших чисел  можно использовать для доказательства известной из курса математического анализа теоремы Вейерштрасса о равномерном приближении непрерывной функции многочленами.

Предположим, что производятся независимые испытания, в каждом из которых может произойти либо событие А (успех) с вероятностью х, либо противоположное событие (неудача) с вероятностью 1 — х (0 < х < 1). Пусть — число появлений А при п испытаниях, a f (х) — непрерывная функция на [0, 1]. Как известно,

.

Поэтому

                              .         (1)

Многочлен В_п(х) называется многочленом Бернштейна для функции f(x).

Выше  мы отметили, что  . Естественно ожидать, что при . Докажем следующее утверждение.

Теорема Бернштейна. Последовательность многочленов  В_n(х), определенных равенством (1), сходится к функции f(х) равномерно относительно х Î [0, 1].

Так как  f (х) равномерно непрерывна на [0,1], то для каждого ε > 0 найдется такое, что , как только . Функция f(x) ограничена на [0,1]. Поэтому существует такая постоянная С, что |f(x)|≤ C для всех х Î [0,1]. Заметим также, что

.

Поэтому

и имеем  далее

,

.

Вследствие неравенства Чебышева,

.

Пусть такое, что .   Тогда при

  при всех х Î [0,1]. Теорема доказана.

 

 

 

  1.2 Проверка статистических гипотез

 

1.2.1 Основные  задачи математической статистики  их краткая характеристика

 

Установление  закономерностей, которым подчинены  массовые случайные явления, основано на изучении статистических данных –  результатах наблюдений. Первая задача математической статистики – указать  способы сбора и группировки  статистических сведений. Вторая задача математической статистики – разработать  методы анализа статистических данных, в зависимости от целей исследования.

При решении  любой задачи математической статистики располагают двумя источниками  информации. Первый и наиболее определенный(явный) – это результат наблюдений (эксперимента) в виде выборки из некоторой генеральной  совокупности скалярной или векторной  случайной величины. При этом объем  выборки n может быть фиксирован, а  может и увеличиваться в ходе эксперимента (т. е. могут использоваться так называемые последовательные процедуры  статистического анализа).

Второй  источник – это вся априорная  информация об интересующих свойствах  изучаемого объекта, которая накоплена  к текущему моменту. Формально объем  априорной информации отражается в  той исходной статистической модели, которую выбирают при решении  задачи. Однако и о приближенном в обычном смысле определении  вероятности события по результатам  опытов говорить не приходится. Под  приближенным определением какой-либо величины обычно подразумевают, что  можно указать пределы погрешностей, из которых ошибка не выйдет. Частота  же события случайна при любом  числе опытов из-за случайности результатов  отдельных опытов. Из-за случайности результатов отдельных опытов частота может значительно отклоняться от вероятности события. Поэтому, определяя неизвестную вероятность события как частоту этого события при большом числе опытов, не можем указать пределы погрешности  и гарантировать, что ошибка не выйдет из этих пределов. Поэтому в математической статистике обычно говорят не о приближенных значениях неизвестных величин, а об их подходящих значениях, оценках.

Задача  оценивания неизвестных параметров возникает в тех случаях, когда  функция распределения генеральной  совокупности известна с точностью  до параметра  . В этом случае необходимо найти такую статистику , выборочное значение которой для рассматриваемой реализации x_n случайной выборки можно было бы считать приближенным значением параметра . Статистику , выборочное значение которой для любой реализации x_n  принимают за приближенное значение неизвестного параметра , называют его точечной оценкой или просто оценкой, а - значением точечной оценки. Точечная оценка должна удовлетворять вполне определенным требованиям для того, чтобы её выборочное значение соответствовало истинному значению параметра .

Возможным  является и иной подход к решению  рассматриваемой задачи: найти такие  статистики и ,чтобы с вероятностью γ выполнялось неравенство:

P {

} = γ.

В этом случае говорят об интервальной оценке для  . Интервал

(

)

называют  доверительным интервалом для  с коэффициентом доверия γ.

Оценив  по результатам опытов ту или иную статистическую характеристику, возникает  вопрос: насколько согласуется с  опытными данными предположение (гипотеза) о том, что неизвестная характеристика имеет именно то значение, которое получено в результате её оценивания? Так возникает второй важный класс задач математической статистики – задачи проверки гипотез.

В некотором  смысле задача проверки статистической гипотезы является обратной к задаче оценивания параметра. При оценивании параметра мы ничего не знаем о  его истинном значении. При проверке статистической гипотезы из каких-то соображений  предполагается известным его значение и необходимо по результатам эксперимента проверить данное предположение.

Во многих  задачах математической статистики  рассматриваются последовательности случайных величин  , сходящиеся в том или ином смысле к некоторому пределу (случайной величине или константе), когда .

Таким образом, основными задачами математической статистики являются разработка методов  нахождения оценок и исследования точности их приближения к оцениваемым  характеристикам и разработка методов  проверки гипотез.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.2.2 Проверка  статистических гипотез: основные  понятия

 

Задача  разработки рациональных методов проверки статистических гипотез – одна из основных задач математической статистики. Статистической гипотезой (или просто гипотезой) называют любое утверждение  о виде или свойствах  распределения  наблюдаемых  в эксперименте случайных  величин.