Информационные математические основы

Введение

Теория вероятности возникла как наука из убеждения, что в основе массовых случайных событий лежат детерминированные закономерности. Теория вероятности изучает данные закономерности.

Испытанием в теории вероятностей называется опыт (эксперимент), который может быть многократно повторен при фиксированной совокупности условий S. Событием называется исход испытания. События делятся на достоверные, невозможные, случайные. Знание закономерностей, которым подчинены массовые случайные события, позволяет прогнозировать, когда эти события наступят.

Целью работы является изучение и усвоение основных понятий и аксиомы теории вероятности, закон больших чисел, случайные процессы и выборки, элементы теории массового обслуживания.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Основные понятия теории вероятностей

 

Теория вероятностей – это раздел математики, изучающий закономерности случайных массовых явлений. Испытанием в теории вероятностей называется опыт (эксперимент), который может быть многократно повторен при фиксированной совокупности условий S. Событием называется исход испытания. События делятся на достоверные, невозможные, случайные.

Все события делятся на:

• Достоверные события наступают всегда, когда создан определенный комплекс обстоятельств. Например, если сдали экзамены и выдержали конкурс, то достоверно можем рассчитывать на то, что включены в число студентов. Достоверные события можно наблюдать в физике и химии. В экономике достоверные события связаны с существующим общественным устройством и законодательством.
• Невозможные события определенно не наступают, если создался определенный комплекс условий. Например, вода не замерзает, если температура составляет плюс 15 градусов по Цельсию, производство не ведется без электроэнергии.
• Случайные события при реализации определенного комплекса условий могут наступить и могут не наступить. Например, если мы один раз подбрасываем монету, герб может выпасть, а может не выпасть, по лотерейному билету можно выиграть, а можно не выиграть, произведенное изделие может быть годным, а может быть бракованным. Появление бракованного изделия является случайным событием, более редким, чем производство годных изделий.

Ожидаемая частота наступления случайных событий тесно связана с понятием вероятности. Закономерности наступления и ненаступления случайных событий исследует теория вероятностей.

Если комплекс нужных условий реализован лишь один раз, то получаем недостаточно информации о случайном событии, поскольку оно может наступить, а может не наступить. Если комплекс условий реализован много раз, то появляются известные закономерности.

Знание закономерностей, которым подчинены массовые случайные события, позволяет прогнозировать, когда эти события наступят. Например, как уже ранее отмечено, заранее нельзя предусмотреть результат бросания монеты, но если монета брошена много раз, то можно предусмотреть выпадение герба. Ошибка может быть небольшой.

Методы теории вероятностей широко используются в различных отраслях естествознания, теоретической физике, геодезии, астрономии, теории автоматизированного управления, теории наблюдения ошибок, и во многих других теоретических и практических науках. Теория вероятностей широко используется в планировании и организации производства, анализе качества продукции, анализе технологических процессов, страховании, статистике населения, биологии, баллистике и других отраслях.

Событием называется любой факт, который в результате опыта может произойти или не произойти. Примеры случайных событий: выпадение шестерки при подбрасывании игральной кости, отказ технического устройства, искажение сообщения при передаче его по каналу связи. С событиями связываются некоторые числа, характеризующие степень объективной возможности появления этих событий, называемые вероятностями событий.

Случайные события обычно обозначают большими буквами латинского алфавита A, B, C и т.д.

Случайные события могут быть:

• несовместимыми;
• совместимыми.

События A, B, C … называют несовместимыми, если в результате одного испытания может наступить одно из этих событий, но невозможно наступление двух или более событий.

Если наступление одного случайного события не исключает наступление другого события, то такие события называют совместимыми. Например, если с ленты конвейера снимают очередную деталь и событие А означает «деталь соответствует стандарту», а событие B означает «деталь не соответствует стандарту», то A и B – несовместимые события. Если событие C означает «взята деталь II сорта», то это событие совместимо с событием A, но несовместимо с событием B.

Если в каждом наблюдении (испытании) должно произойти одно и только одно из несовместимых случайных событий, то эти события составляют полное множество (систему) событий.

Достоверным событием является наступление хотя бы одного события из полного множества событий.

Если события, образующие полное множество событий, попарно несовместимы, то в результате наблюдения может наступить только одно из этих событий.

События называют равновозможными, если ни у одного из них нет объективных преимуществ. Такие события также составляют полное множество событий. Это значит, что в результате наблюдения или испытания определенно должно наступить по меньшей мере одно из равновозможных событий.

Например, полную группу событий образуют выпадение номинала и герба при одном подбрасывании монеты, наличие на одной печатной странице текста 0, 1, 2, 3 и более 3 ошибок.

Вероятностью события А называют отношение числа благоприятствующих этому событию исходов к общему числу всех равновозможных несовместных элементарных исходов, образующих полную группу. Вероятность определяется формулой

,

где m – число элементарных исходов, благоприятствующих событию А, а n- число всех возможных элементарных исходов испытания.

Классическое определение вероятности дает возможность в некоторых задачах аналитически вычислить вероятность события.

Из классического определения вероятности вытекоют следующие свойства:

1. Вероятность достоверного события  равна единице.

Действительно, достоверному событию должны благоприятствовать все n элементарных событий, т.е. m = n, и, следовательно,

2. Вероятность невозможного события  равна нулю. В самом деле, невозможному  событию не может благоприятствовать  ни одно из элементарных событий, т.е. m = 0, откуда

3. Вероятность случайного события  есть положительное число, заключенное между нулем и единицей.

 

Операции над событиями

 

При разработке аппарата и методики исследования случайных событий в теории вероятностей очень важным является понятие суммы и произведения событий.

Суммой, или объединением, нескольких событий называется событие, состоящее в наступлении хотя бы одного из этих событий.

S=A+B+C+…+N

Например, если событие есть попадание в цель при первом выстреле, событие — при втором, то событие  есть попадание в цель вообще, безразлично, при каком выстреле — первом, втором или при обоих вместе.

Произведением, или пересечением, нескольких событий называется событие, состоящее в совместном появлении всех этих событий.

S=ABC…N

Например, если событие есть попадание в цель при первом выстреле, событие  — при втором, то событие  состоит в том, что в цель попали при обоих выстрелах.

 

Аксиомы теории вероятностей

 

Из статистического определения вероятности случайного события следует, что вероятность события есть число, около которого группируются частоты этого события, наблюдаемые на опыте. Поэтому аксиомы теории вероятностей вводятся так, чтобы вероятность события обладала основными свойствами частоты.

Аксиома 1. Каждому событию  соответствует определенное число, удовлетворяющее условию и называемое его вероятностью.

Аксиома 2. Вероятность достоверного события равна единице.

P(Ω)=1

Аксиома 3. Вероятность невозможного события равна нулю.

Аксиома 4. (аксиома сложения). Вероятность суммы двух несовместных событий равна сумме их вероятностей.

P(A+B)=P(A)+P(B)

 

Закон больших чисел

 

Для практики очень важно знание условий, при выполнении которых совокупное действие очень многих случайных причин приводит к результату, почти не зависящему от случая, так как позволяет предвидеть ход явлений. Эти условия и указываются в теоремах, носящих общее название закона больших чисел.

Закон больших чисел - это обобщенное название нескольких теорем, из которых следует, что при неограниченном увеличении числа испытаний средние величины стремятся к некоторым постоянным.

К ним относятся теоремы Чебышева и Бернулли. Теорема Чебышева является наиболее общим законом больших чисел, теорема Бернулли - простейшим.

В основе доказательства теорем, объединенных термином «закон больших чисел», лежит неравенство Чебышева, по которому устанавливается вероятность отклонения  от ее математического ожидания:

В теореме Чебышева (справедлива как для дискретных, так и для непрерывных случайных величин) утверждается, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Формулируя теорему Чебышева, предполагается, что случайные величины имеют различные математические ожидания. На практике часто бывает, что случайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что дисперсии этих величин ограничены, то к ним будет применима теорема Чебышева.

На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят обо всей совокупности (генеральной совокупности) исследуемых объектов.

Пусть производится n независимых испытаний, в каждом из которых вероятность появления A события равна. Можно ли предвидеть, какова примерно будет относительная частота появлений события? Положительный ответ на этот вопрос дает теорема, доказанная Якобом Бернулли (опубликована в 1713 г.), которая получила название "закона больших чисел" и положила начало теории вероятностей как науке. Доказательство Бернулли было сложным; простое доказательство дано П.Л. Чебышевым в 1846 г.

Теорема Бернулли. Если в каждом из независимых испытаний вероятность появления события постоянна, то как угодно близка к единице вероятность того, что отклонение относительной частоты от вероятности  по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико. Другими словами, если  сколь угодно малое положительное число, то при соблюдении условий теоремы имеет место равенство

При доказательстве теоремы Бернулли получаем оценку

Теорема Бернулли объясняет, почему относительная частота при достаточно большом числе испытаний обладает свойством устойчивости и оправдывает статистическое определение вероятности.

 

Случайные процессы

 

Случайными процессами называются такие процессы, которые математически описываются случайными функциями времени. Случайной называется функция, значения которой при каждом значении аргумента являются случайными величинами.

Случайный процесс это некоторый процесс или явление, поведение которого в течение времени и результат заранее предсказывать невозможно. Примеры случайных процессов: динамика изменения курса валют или акций, выручка или прибыль организации с течением времени, объемы продаж товара и т.д.

Случайная функция времени , описывающая случайный процесс, в результате опыта принимает ту или иную конкретную форму , неизвестную заранее. Эти возможные формы случайной функции называются  реализациями случайного процесса.

Мгновенные значения случайного процесса в фиксированный момент времени ti являются случайными величинами и называются сечением случайного процесса.

Статистические свойства случайного процесса как множества (ансамбля) реализации ,  характеризуются законами распределения, аналитическими выражениями  которых являются функции распределения.

Для некоторого фиксированного момента времени ti одномерная функция распределения

определяет вероятность того, что мгновенное значение случайного процесса в этот момент времени примет значение, меньшее или равное X,  то  есть  вероятность того,  что .

Выделяют 4 вида случайных процессов:

1) Случайный процесс с непрерывным временем и непрерывным состоянием (пример: температура воздуха в некоторый момент времени, изменяется плавно в любой момент времени).

2) Случайный процесс с непрерывным временем и дискретным состоянием (пример: число посетителей в магазине, изменяется кратно одному в любой момент времени).

3) Случайный процесс с дискретным временем и непрерывным состоянием (пример: динамика курса курс валюты, изменяется плавно в момент валютных торгов).

4) Случайный процесс с дискретным временем и дискретным состоянием (пример: число пассажиров в транспорте изменяется кратно одному и только в определенные моменты времени, на остановках).

Во многих практических случаях для характеристики случайных процессов достаточно знать лишь его усредненные - числовые характеристики (моментные функции). Наиболее часто используются математическое ожидание (первый начальный момент), дисперсия (второй центральный момент), ковариационная функция и корреляционная функция.

Простейшей характеристикой случайного процесса является его математическое ожидание

,

которое представляет собой неслучайную функцию времени, около которой различным образом располагаются отдельные реализации случайного процесса.

Дисперсией случайного процесса называется неслучайная функция времени, значения которой для каждого момента времени равны математическому ожиданию квадрата отклонения случайного процесса от его математического ожидания

.

Дисперсия определяет степень разброса значений случайного процесса около математического ожидания.

В качестве характеристики, учитывающей статистическую связь между значениями случайного процесса в различные моменты времени, используется ковариационная функция случайного процесса

,

определяемая как математическое ожидание от произведения значений случайного процесса в два различных момента времени (в двух сечениях).

На практике чаще используют корреляционную функцию, которая определяется как математическое ожидание произведения центрированного случайного процесса в два различных момента времени. Центрированный процесс представляет собой только переменную составляющую.

Таким образом, числовые характеристики получаются путем усреднения соответствующей случайной величины по множеству ее возможных значений. Операция усреднения по множеству обозначается прямой горизонтальной чертой сверху.

Важнейшим классом случайных процессов, встречающихся на практике, является класс стационарных случайных процессов. Случайный процесс называется стационарным, если его многомерная функция распределения (и, следовательно, числовые характеристики) не зависит от начала отсчета времени, т.е. от сдвига всех сечений вправо или влево на один и тот же интервал времени ∆t. При этом оказывается, что одномерная функция распределения, математическое ожидание и дисперсия вообще не зависят от времени:

,

а двухмерная функция распределения и корреляционная функция, и ковариационная функция зависят только от расстояния между сечениями :

.

Иногда случайный процесс называют стационарным, если приведенные условия выполняются лишь для числовых характеристик.

Если приведенные выше условия не выполняются, то случайный процесс будет нестационарным. Для нестационарного процесса плотность вероятности является функцией времени. При этом со временем могут изменяться математическое ожидание, дисперсия случайного процесса или то и другое вместе.

 

Случайные выборки

Выборка — конечный набор прецедентов (объектов, случаев, событий, испытуемых, образцов, и т.п.), некоторым способом выбранных из множества всех возможных прецедентов, называемого генеральной совокупностью.

Если исследователь не имеет возможности управлять выбором прецедентов, то обычно предполагается, что выбор прецедентов случаен. Если же выбором прецедентов можно управлять, то возникают задачи оптимального формирования выборки.

По каждому прецеденту собираются (измеряются) некоторые данные, образующие описание прецедента. Совокупность описаний всех прецедентов выборки является входной информацией для статистического анализа данных, интеллектуального анализа данных, машинного обучения.

Термины выборка и данные взаимозаменяемы; иногда они употребляются вместе как один термин выборка данных. Поэтому анализ данных можно понимать также как анализ конечных выборок. Основные цели анализа данных:

• проверка гипотез относительно имеющейся выборки данных;
• эмпирическая индукция — выявление общих закономерностей, присущих всей генеральной совокупности, по имеющийся выборке данных;
• прогнозирование — формирование статистически обоснованных предсказаний относительно новых данных, которые ещё не наблюдались.

Случайная выборка

Вероятностная модель порождения данных предполагает, что выборка из генеральной совокупности формируется случайным образом. Объём (длина) выборки считается произвольной, но фиксированной, неслучайной величиной.

Формально это означает, что с генеральной совокупностью Х связывается вероятностное пространство [Xm,Σm,Pm], где Xm — множество всех выборок длины m, Σm — заданная на этом множестве сигма-алгебра событий, Pm — вероятностная мера, как правило, неизвестная.

Случайная выборка Xm=(x1,…,xm) — это последовательность из m прецедентов, выбранная из множества Xm согласно вероятностной мере Pm.

Реализовать случайную выборку можно двумя приемами: лотерейным методом и с помощью таблицы случайных чисел. С помощью случайной выборки строится подавляющее большинство телефонных опросов и опросов на основе избирательных списков. Для построения такой выборки необходимо иметь полный список всех элементов генеральной совокупности.

 

Элементы теории массового обслуживания

 

Классификация систем массового обслуживания

В каждую систему массового обслуживания  поступает входящий поток заявок на обслуживание. Результатом работы системы массового обслуживания является выходящий поток обслуженных заявок.

Потоком событий называется последовательность однородных событий, происходящих в какие-то, вообще говоря, случайные моменты времени.

Если в системе массового обслуживании одновременно может обслуживаться несколько заявок, то система массового обслуживания называется многоканальной, в противном случае система массового обслуживания называется одноканальной.

Как одноканальные системы массового обслуживания, так и многоканальные системы массового обслуживания делятся на системы массового обслуживания с отказами и системы массового обслуживания с очередью (ожиданием).

В системе массового обслуживания с отказами заявка, поступившая в момент, когда все каналы обслуживания заняты, получает «отказ» в обслуживании и покидает систему.

В системе массового обслуживания с очередью заявка, поступившая в момент, когда все каналы обслуживания заняты, становится в очередь из заявок, ожидающих обслуживания. Как только один из каналов обслуживания освобождается, к обслуживанию принимается одна из заявок, стоящих в очереди.

Система массового обслуживания с очередью различаются по принципу построения (дисциплине) очереди.

Принципом построения очереди называется схема, в соответствии с которой заявки из очереди выбираются на обслуживание. Чаще всего при этом используется:

1. Случайный выбор заявки из очереди;

2. Выбор заявки из очереди  в зависимости от её приоритета;

3. Выбор заявки в зависимости  от порядка её поступления в очередь.

В третьем случае заявки из очереди могут обслуживаться, как по схеме:

«Первым пришел - первым обслуживаешься», так и по схеме: «Последним пришел - первым обслуживаешься».

Система массового обслуживания с очередью делятся также на системы массового обслуживания с неограниченным ожиданием и системы массового обслуживания с ограниченным ожиданием.

В системе массового обслуживания с неограниченным ожиданием каждая заявка, поступившая в систему, рано или поздно будет обслужена.

В системе массового обслуживания с ограниченным ожиданием на пребывание заявок в очереди накладываются различного рода ограничения. Эти ограничения могут касаться, например, длины очереди, времени пребывания заявки в очереди, общего времени пребывания заявки в системе и т.п. В частности, в системе массового обслуживания с ограниченным временем пребывания в очереди, заявка, израсходовавшая лимит времени пребывания в очереди, покидает систему.

 

Численные изменение количества информации и данных.

 

Имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы

равна сумме мер).

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными, последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определенной длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это, возможно, называется мерой разнообразия множества состояний системы и задается формулой Р. Хартли: H=klogаN, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры.

Если измерение ведется в экспоненциальной системе, то k=1, H=lnN (нат); если измерение было произведено в двоичной системе, то k=1/ln2, H=log2N (бит); если измерение было произведено в десятичной системе, то k=1/ln10, H=lgN (дит).

Справедливо утверждение Хартли: если в некотором множестве X={x1,

x2, ..., xn} необходимо выделить произвольный элемент xi X, то для того, чтобы выделить его, необходимо получить не менее logan (единиц) информации.

Если N - число возможных равновероятных исходов, то величина klnN представляет собой меру нашего незнания о системе.

По Хартли, для того, чтобы мера информации имела практическую ценность, она должна быть такова, чтобы отражать количество информации пропорционально числу выборов.

Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная и положительная сторона формулы. Но имеется основная и отрицательная ее сторона: формула не

учитывает различимость и различность рассматриваемых N состояний системы.

Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы. Обратное, как это следует из формулы Хартли (так как основание логарифма больше 1!), - также верно.

Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла:

где n - число состояний системы; рi - вероятность (или относительная частота) перехода системы в i-е состояние, причем сумма всех pi равна 1.

Если все состояния равновероятны (т.е. рi=1/n), то I=log2n.

К. Шенноном доказана теорема о единственности меры количества информации.

Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли.

Главной положительной стороной формулы Шеннона является ее отвлеченность от семантических и качественных, индивидуальных свойств системы. В отличие от формулы Хартли, она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основной отрицательной стороной формулы Шеннона является то, что она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации. Теория Шеннона разработана как теория передачи данных по каналам связи, а мера Шеннона - мера количества данных и не отражает семантического смысла.