Теория вероятностей. 4

Валентин  Михайлович Калинин

(1936-2006)

Теория  вероятностей

Последний подарок студентам, инженерам и ученым России будущего 

Предисловие

      Теория  вероятностей - бурно развивающаяся  область современной математики. Ее развитие состоит, в основном, в  развитии приложений, ставших самостоятельными специальностями. К ним можно отнести математическую статистику, теорию случайных процессов, теорию информации, теорию массового обслуживания, теорию надежности, метод наименьших квадратов, метод Монте- Карло, теорию игр, теорию случайных блужданий, планирование эксперимента, распознавание образов и т.п. В одной книге невозможно изложить все эти разделы, - по ним написаны сотни книг и тысячи статей. Как заметил Козьма Прутков, нельзя объять необъятное.

      Настоящий учебник подробно излагает классическую теорию вероятностей и ее главное ответвление - математическую статистику. С сожалением я отказался от включения в текст последовательного анализа Вальда, робастности и новейших идей в теории оценок. Из других областей я старался дать наиболее характерные примеры. Так, из теории случайных процессов я выбрал для подробного изложения пуассоновский процесс, из теории игр - матричную игру с конечным числом стратегий, из метода Монте- Карло - вычисление интегралов, хотя этим методом можно решать самые разнообразные задачи: искать решения алгебраических уравнений, численного решать дифференциальные уравнения в частных производных и многое другое. Теория блужданий и теория информации представлены лишь конкретными примерами.

      Превращение технических вузов в технические университеты не могло не повлиять на содержание курса. Однако если в старых университетах развитие пошло в направлении функционального анализа, то возникающие в технике конкретные задачи потребовали обратиться к исключенным из курсов анализа и теории вероятностей полиномам Бернулли и формуле Эйлера - Маклорена.  Здесь нашли свое место мои результаты и я надеюсь, это не будет слишком раздражать моих читателей.

      Вообще  в теории вероятностей вклад русских  математиков особенно велик. Имена Чебышева, Ляпунова, Маркова, Колмогорова, Линника и многих-многих других - среди создателей теории вероятностей. Я объясняю это особым характером русской души. Недаром такие вероятностные термины как "авось", "небось" и "кажись", понятные и простые для русского человека, встают непреодолимой преградой перед иностранными переводчиками.

      В заключение несколько технических  замечаний. Книга разделена на главы, главы - на параграфы. Формулы нумеруются заново в каждом параграфе. Ссылка на формулу в пределах параграфа содержит лишь номер формулы. Ссылка на формулу в другом параграфе в той же главе содержит два числа: номер параграфа и номер формулы. И, наконец, ссылка на формулу в другой главе содержит три числа: номер главы, номер параграфа и номер формулы.

    Для сокращения текста я иногда  пользовался сокращениями: с.в. – случайная величина, ф.р. – функция распределения, п.в.- плотность вероятности, х.ф. – характеристическая функция, з.р. – закон распределения, м.о. – математическое ожидание. Думаю, что по контексту нетрудно установить, в каком падеже стоят эти сокращения. С этой же целью интеграл по всей оси иногда пишется без указания пределов интегрирования.

         Еще одна особенность изложения:  при длинном выводе какой-либо  математической формулы, если нужно вставить необходимые замечания, я обрываю вывод на знаке равенства и, сделав словесные вставки, продолжаю вывод со знака равенства. Еще одно новшество в учебнике  -  отсутствие вычислительных таблиц в приложениях. Причина этого  -  в широком распространении компьютеров и средств программирования.  Нет никакого смысла пользоваться таблицами, обычно дающими небольшое количество знаков, и вносить дополнительную ошибку при интерполяции и экстраполяции. По этой же причине я не наполнил книгу рисунками, их обычно можно при индивидуальной работе получить на экране собственного монитора, нажав несколько клавишей.    

      В заключение хочу выразить мою признательность  старшему преподавателю В.И. Сушкову и научному сотруднику С.В. Ганцевичу, которым я обязан помощью в создании макета книги, многочисленными советами и замечаниями. 

Доктор  физико-математических наук 
профессор В. М. Калинин 

Глава 1. Случайные события.

§ 1. Алгебра событий.

     В основе теории вероятностей лежит следующая  модель: имеется комплекс условий, который можно воспроизводить, хотя бы принципиально, неограниченное число раз. Каждое его воспроизведение называется опытом, испытанием, экспериментом. Предполагается, что в каждом опыте происходит одно и только одно так называемое элементарное событие w.  Все множество элементарных событий, которые могут происходить в опыте, называется пространством элементарных событий W. Элементарные события называют также исходами опыта. Понятия “элементарное событие” и “происходит” являются первоначальными неопределенными понятиями, подобно геометрическим понятиям “точка” и “лежит”. Считаем, что нам изначально ясно, что они означают. При общих рассуждениях полезно иметь в виду какой-либо простой конкретный эксперимент типа общепонятного бросания монеты, игральной кости, извлечения карты из колоды и т.п.

     В этой схеме понятие “событие”  уже определяется. Событием назовем  любое утверждение, любой факт, справедливость или несправедливость которого можно  установить, зная какое элементарное событие произошло. Если утверждение оказалось справедливо, факт подтвердился, то будем говорить, что событие произошло. В W таким образом выделяется подмножество тех w ,  при которых данное событие А имеет место. Они называются элементарными событиями, благоприятствующими событию А или составляющими событие А. Если мы знаем подмножество элементарных событий, благоприятствующих событию А, то, поставив опыт и посмотрев, какое элементарное событие w  произошло, мы сразу скажем, имело место или нет событие А: определить событие А равносильно заданию этого подмножества благоприятствующих А элементарных событий, и можно его обозначить той же буквой А.

     Отсюда  ясно, что можно заменить наше самодельное  домотканое определение события, кажущееся  излишне беллетристическим, на формально  математическое определение: будем называть событием любое подмножество в пространстве элементарных событий; если имеющее место в опыте элементарное событие wÎА, то будем говорить, что событие А произошло; если , то будем говорить, что А не произошло, (или, что то же самое: произошло не А). Теория вероятностей изучает события только в этом весьма узком смысле. Первоначально сформулированное определение показывает, что этот смысл все же достаточно широк. Теория вероятностей и стала математической наукой прежде всего тогда, когда она сузила и ограничила понятие “события”, понимая под ним лишь подмножество в пространстве исходов.

     Договоримся об обозначениях и определим операции над событиями.

     1. Достоверным событием называется  такое событие, которое происходит при любом исходе опыта. Ему благоприятствуют все элементарные события w , и его можно поэтому обозначить W.

     2. Невозможным событием называется  событие, которое не происходит  при любом исходе опыта. Множество  благоприятствующих ему элементарных событий пусто. Обозначим его Æ.

     3. Будем говорить, что два события  равны: A=B, если а) всякий раз, когда происходит А, происходит и В;  б) всякий раз, когда не происходит А, не происходит и В. Пункт б) можно, очевидно, заменить следующим: всякий раз, когда происходит В, происходит и А . Ясно, что А=ВÛВ=А .

Равные  события составлены из одних и  тех же элементарных событий.

     4. Назовем событие  противоположным событию А , если происходит, когда не происходит А, и наоборот, не происходит, когда происходит А. Логически - отрицание А, не А. Из определения следует, что событием, противоположным , является А:  . Если А=В, то .

     5. Суммой n событий назовем событие, которое происходит, когда происходит хотя бы одно из событий , и которое не происходит, когда не происходят все эти события. Очевидно, ему благоприятствуют исходы любого из слагаемых. Название “сумма” естественно из-за того, что исходы всех событий складываются, объединяются вместе.

     6. Произведением n событий назовем событие, которое происходит, когда происходят все события , и которое не происходит, когда не происходит хотя бы одно из событий .  Событие составлено из тех исходов w ,  которые входят во все множители.

     Из  определения суммы и произведения непосредственно следуют формулы:  ,    ,

которые можно еще переписать, переходя к  противоположным событиям:

     Для двух событий:  . Эти формулы позволяют выразить сумму событий через произведение и наоборот.

     7. События А и В называются несовместимыми, если они в одном опыте оба произойти не могут: АВ=Æ. Несовместимые (или несовместные) события не имеют ни одного общего благоприятствующего исхода.

     8. События  образуют разбиение пространства W, если они попарно несовместимы, а одно из них при любом опыте происходит:

A_iA_j=Æ  для i¹j ,

     Разбиение называют также полной группой попарно несовместимых событий.  Пример разбиения: А и , т.к. А =Æ,  А+ =W .

В логике эти формулы соответствуют закону исключенного третьего.

     Разбиение пространства W можно осуществить с помощью двух произвольных событий А и В. Именно пространство W разлагается на сумму четырех попарно несовместимых событий и . Если АÌВ  или АВ=Æ, это разбиение вырождается в три слагаемых или даже в два, если АÌВ и или если АВ=Æ и . Вырождение может дойти и до одного слагаемого, если, например, А=W, В=Æ.

Рис. 1.

     9. Говорят, что событие А влечет за собой событие В (здесь А стоит в именительном падеже, а В - в винительном), если всякий раз, когда происходит событие А, происходит и В. Любой исход, благоприятствующий А, благоприятствует и В: АÌВ, множество В включает в себя А (здесь В стоит в именительном, а А - в винительном падеже).

     10. Введенные действия с событиями  обладают свойствами, как напоминающими  свойства алгебраических действий  с числами, так и свойствами, непохожими на них. Например, если  А=В , то АС=ВС :  равенство не нарушается, если его умножить на любое событие; если А=В, то А+С=В+С :  равенство не нарушается, если к нему прибавить любое событие, но сокращать равенство на общий множитель или общее слагаемое нельзя. Выполняются для сложения и умножения переместительный, сочетательный и дистрибутивный законы:

АВ=ВА,  А+В=В+А,  А(В+С)=АВ+АС , (A+B)+C=A+(B+C), (AB)C=A(BC).

     События можно возводить в целую положительную  степень, но Aⁿ=A ; среди чисел этим свойством обладают только 0 и 1.

     Специфичны  действия с достоверным и невозможным  событиями:

А+W=W ,  А+Æ=А ,  АÆ=Æ ,  АW=А .

     Соотношение АÌВ эквивалентно равенству АВ=А .

     Существенно, что, введя сложение и умножение, мы не определяем двух других алгебраических действий: вычитания и деления. Если вычитание мы не вводим за ненадобностью, поскольку его полностью заменяют уже введенные действия, то деление, кажется, еще никто не определял.

     Иногда  определяют A–B как A, которое не B. У нас оно заменяется равенством A–B=A .

     Задача. Еще одно свойство дистрибутивности, - слагаемых относительно сомножителей: A+BC=(A+B)(A+C). 

§ 2. Классическое определение вероятности. Основные формулы исчисления вероятностей.

     Разберем  весьма частный, однако часто встречающийся  случай: W состоит из конечного числа N равновероятных событий. Понятие “равновероятности” здесь является исходным, неопределимым. Основанием для суждения о равноценности, равновероятности обычно служит физическая симметрия, равноправие исходов. Понятие вероятности здесь уже является производным: вероятностью Р(А) события А называется P(A)=N(A)/N, где N(A) - число элементарных событий, благоприятствующих событию А .

     В этих условиях выведем основные формулы  исчисления вероятностей.

   1. Вероятность достоверного события  равна 1:  Р(W)=1,  поскольку N(W)=N .

   2. Вероятность невозможного события  равна 0: Р(Æ)=0, поскольку N(Æ)=0 .

   3.  , поскольку .

   4.  0£P(A)£1  для "А , поскольку 0£N(A) £N .

   5. Если АÌВ, то Р(А) £Р(В), поскольку N(A) £N(B) .

   6. Для любых событий А и В     Р(АВ) £Р(А) £Р(А+В) , т.к. N(AВ) £N(А) £N(А+B) .

7. Теорема   сложения   для   несовместных  событий. Если     АВ=Æ,  то Р(А+В)=Р(А)+Р(В) :  вероятность суммы несовместимых событий равна сумме их вероятностей, поскольку N(А+В)=N(А)+N(В) .

   8. Теорема сложения в общем  случае для двух событий:

     Р(А+В)=Р(А)+Р(В)-Р(АВ) .

Действительно, N(А+В)=N(А)+N(В)-N(AB) по определению суммы событий. Остается разделить это равенство на N.

   9.  Обобщение теоремы сложения  на n событий:

Доказательство  этой формулы методом математической индукции несложно, но громоздко. Во внутренней сумме число слагаемых, очевидно, равно , и суммирование ведется по всевозможным наборам различных целых индексов.

   10. Условная вероятность.

  Добавим  к комплексу условий, реализация которых интерпретируется как опыт, еще одно условие: произошло событие В.  Все опыты, когда В не произошло, как бы игнорируем. Чтобы мы могли время от времени наблюдать событие В,  следует предположить Р(В)>0, т.е. N(B)>0. Считаем, что добавление события В к комплексу условий не нарушает равновероятности исходов и не меняет природы самих исходов. Теперь опыт может иметь лишь один из N(B) исходов, а из них событию А благоприятствуют N(AB) исходов. По классическому определению вероятность события А при условии, что произошло событие В,  равна

Условная  вероятность по существу ничем не отличается от безусловной, обычной, так  что выведенные ранее свойства вероятности  переносятся и на условную.

     В случае, если АÌВ, формула для условной вероятности упрощается:

P(A|B)= P(A)/ P(B) ,  так как здесь АВ=А .

  11. Теорема умножения: вероятность  совместного наступления двух  событий равна произведению вероятности  одного из них на условную  вероятность другого при условии, что первое произошло: Р(АВ)=Р(В)Р(А|В)=Р(А)Р(В|А).

     Первая  из этих формул является лишь формой записи формулы для условной вероятности  пункта 10; вторая получена из нее перестановкой  местами А и В.  Напомню, что мы вводили понятие условной вероятности лишь для условий ненулевой вероятности, т.е. предполагаем, что Р(А)>0, P(B)>0.

   12. Теорема умножения для n событий:

     Действительно, воспользуемся сочетательным законом  для умножения и теоремой умножения  для двух событий:

учитывая, что условные вероятности ничем  принципиальным не отличаются от безусловных, - лишь к комплексу условий добавляется  еще одно, которое в дальнейшем терять или отбрасывать нельзя, можем  продолжить:

  13. Понятие независимости событий.  Пусть Р(А)>0, P(B)>0. Будем говорить, что событие А не зависит от события В, если Р(A|B)=P(B). Понятие независимости взаимно: если А не зависит от В, то и В не зависит от А:

     Теорема умножения для двух независимых событий упрощается: вероятность произведения двух независимых событий равна произведению их вероятностей:  Р(АВ)=Р(А)Р(В) .

     Нетрудно  доказать и обратное утверждение: если для двух событий А и В ненулевой вероятности выполняется равенство: Р(АВ)=Р(А)Р(В) ,  то  события А и В независимы.   Действительно,       ,

что и  требовалось доказать.

     Таким образом, мы получили эквивалентное  определение независимости двух событий: события А и В, имеющие положительные вероятности, называются независимыми, если вероятность их произведения равна произведению их вероятностей: Р(АВ)=Р(А)Р(В). События А и В в этом определении симметричны: если событие А не зависит от В, то и В не зависит от А. Второе определение можно распространить и на события нулевой вероятности: если хотя бы одно из событий А или В имеет нулевую вероятность, то равенство Р(АВ)=Р(А)Р(В) тривиально выполняется (0=0). Если одно из событий достоверно, например, В=W, то равенство также выполняется (Р(А)=Р(А)). Поэтому можно сказать, что достоверное и невозможное события независимы от любых событий, что вполне отвечает интуитивному смыслу независимости.

     Если  события А и В независимы, то независимы также события А, . Действительно, . Ясно, что независимы также и , . Если события А и В положительной вероятности независимы, то они не могут быть несовместимыми; если события А и В  положительной вероятности несовместимы, то они не могут быть независимыми. Действительно, несовместимость означает Р(АВ)=0, а независимость: Р(АВ)=Р(А)Р(В), т.е. независимость и несовместимость потребовали бы равенства нулю вероятности хотя бы одного из событий.

     Обобщим понятия независимости на n событий: события называются независимыми в совокупности, если для любого набора индексов   вероятность произведения событий равна произведению их вероятностей:  .

     Можно было бы подумать, что для независимости событий в совокупности достаточно попарной независимости. Конкретные примеры, однако, доказывают, что это не так.

     Для n событий также нетрудно сформулировать второе эквивалентное определение независимости в совокупности: события , имеющие положительные вероятности, независимы в совокупности, если для любых наборов неравных индексов: , что легко устанавливается по теореме умножения и формуле для условных вероятностей.

   14. Формула полной вероятности.

Пусть -  любое разбиение пространства W,  В  -  любое событие. Тогда В=ВW=В(A₁+ ... +A_n)=BA₁+ .... +BA_n  , и, воспользовавшись несовместимостью слагаемых и теоремой умножения, получаем формулу полной вероятности .

     Обычно  - взаимоисключающие друг друга ситуации, в которых может происходить событие В.

   15. Формулы Байеса.

В обозначениях предыдущего пункта

     Получили  формулы Байеса, которые называют также формулами вероятностей гипотез: если событие В может произойти лишь с одним из событий , и оно действительно произошло, то спрашивается, с каким из событий А_j  оно произошло? Можно высказать n гипотез, и соответственно формулы Байеса дают апостериорные вероятности Р(А_k|B)  для этих гипотез, выражая их через априорные вероятности Р(А_j) и условные вероятности Р(В| А_j)  того, что в условиях  j-ой гипотезы произойдет событие В.

     Таковы  основные формулы исчисления вероятностей. Они получены в условиях весьма частной модели - классической схемы, для пространства конечного числа N равновероятных элементарных событий. В этой схеме число событий, которым благоприятствуют ровно k   исходов, равно , а всего различных событий, следовательно,  2^N .

     Весьма  неожиданно, что все выведенные формулы  являются на самом деле общими и  в действительности сохраняют свою силу для любого пространства элементарных событий. Пожалуй, нет другой большой  математической дисциплины, где простой  пример позволял бы получить все основные ее формулы. 

§ 3. Комбинаторика.

     Вычисления  на основе классического определения  вероятностей обычно осуществляется с  помощью специальной математической дисциплины - комбинаторики. Комбинаторика - это теория подсчета числа подмножеств некоторого множества, образованных по определенным правилам. При этом множества могут быть самые различные: предметы, люди, операции, числа, слова, знаки и т.д. Перед подсчетом нужно точно уславливаться, какие элементы множества считаются различными, какие одинаковыми, учитывается ли последовательность и порядок отбора элементов в подмножествах, какие подмножества считаются в принципе одинаковыми, неразличимыми (так обстоит часто дело в физике элементарных частиц), иногда мы договариваемся считать их одинаковыми, хотя и могли бы их различать.

     Педагогическая  практика в настоящее время показывает, что выпускники школ, как правило, совершенно не знают комбинаторики. Для того, чтобы дальнейшее было им понятно, приходится здесь дать краткое  знакомство с основными простейшими комбинаторными процедурами.

     1. Выбор с возвращением.

Имеется n различных предметов. Требуется выбрать из них m  предметов. После выбора очередного предмета выбранный предмет возвращается обратно в множество и участвует в выборах следующих предметов. Два набора считаются различными, если хотя бы на одном этапе были выбраны  различные предметы. Число различных наборов, очевидно, равно n^m.

     2. Выбор без возвращения.

Отличие от предыдущего случая в том, что  выбранный предмет не участвует в дальнейшем отборе. Число различных наборов, очевидно, равно n(n-1) ... (n-m+1). Необходимое условие для выбора без возвращения: m£n.

     3. Размещения.

Имеется n различных мест, на которых нужно разместить m различных предметов, по одному на место. Два размещения считаются различными, если хотя бы на одном месте располагаются разные предметы (либо в одном из наборов это место занято, а в другом свободно). Число размещений обозначают . Очевидно, . Необходимое условие для того, чтобы размещение было возможно: m£n . Размещение  -  частный случай выбора без возвращения. Если разрешить располагать на одном месте сколько угодно предметов, то число размещений было бы равно n^m  и являлось бы частным случаем выбора с возвращением.

     4. Перестановки.

Требуется n различных предметов разместить на n различных местах, по одному на место. Число перестановок P_n  - частный случай числа размещений: .

     5. Сочетания.

Имеется n различных предметов. Нужно выделить из них m, причем порядок отбора не учитывается. Два набора считаются различными, если в одном из них есть хотя бы один предмет, которого нет в другом. Число сочетаний принято обозначать   или .  Из каждого сочетания, если всевозможными способами переставлять порядок вошедших предметов,  можно получить m! размещений: , т.е.

Несколько другая интерпретация числа сочетаний: имеется n  различных мест. Нужно разместить на них m одинаковых предметов, по одному на место. Два размещения считаются различными, если в каждом есть хотя бы одно занятое место, свободное в другом.  Числа называются также биномиальными коэффициентами, так как появляются в формуле бинома Ньютона: