Математическая статистика в различных областях

Введение

Статистика есть наука об обработке  данных. Статистические методы основаны на вероятностных моделях. С обработкой результатов наблюдений, измерений, испытаний, опытов, анализов имеют дело специалисты почти во всех отраслях практической деятельности и научных исследований.

Развитие наукоёмких технологий, как правило, основано на применении высоких статистических технологий организации и управления производством. Особенно активно они  используются в высокотехнологичных  отраслях промышленности. Без вероятностно-статистических методов немыслимы оценка и анализ риска, страхование, финансовая деятельность. Инженеры, менеджеры, экономисты, социологи, врачи, психологи, историки успешно применяют интеллектуальные инструменты принятия решений, основанные на вероятности и статистике.

Статистические методы и модели и их база, — теория вероятностей — активно развиваются во всём мире. Американская статистическая ассоциация насчитывает более семнадцати тысяч  членов, британское Королевское статистическое общество — более шести тысяч. Статьи по вероятности и статистике постоянно публикуются более чем в пятистах научных журналах. В университетах США статистических факультетов больше, чем математических и физических. Восемь нобелевских премий получены эконометриками, — специалистами по статистическим методам в экономике.

Современная теория вероятностей основана на аксиоматике Андрея Николаевича  Колмогорова. Однако в России специалисты  и научные работники, студенты и  преподаватели пока недостаточно знакомы  с последними достижениями в области вероятностно-статистических методов, хотя ссылки на них постоянно встречаются в научно-технической, деловой и учебной литературе.

Цель данной работы –  изучить основы математической статистики и показать практическое применение математической статистики в различных областях.

Для написания данной работы были поставлены следующие задачи:

1. Изучить литературу соответствующей тематики.
2. Составить алгоритм программы, реализующей основные статистические методы.
3. Написать программу, реализующую основные статистические методы.
4. Решить с помощью созданной программы несколько примеров.

1.1. Нужность математической статистики

Теория вероятностей и математическая статистика суть основы вероятностно-статистических методов  обработки данных. Данные мы обрабатываем и анализируем прежде всего для принятия решений. Чтобы воспользоваться современным математическим аппаратом, необходимо рассматриваемые задачи выразить в терминах вероятностно-статистических моделей.

Применение конкретного  вероятностно-статистического метода состоит из трёх этапов:

1. Переход от экономической, управленческой, технологической реальности к абстрактной математико-статистической схеме, то есть построение вероятностной модели системы управления, технологического процесса, процедуры принятия решений, в частности по результатам статистического контроля, и тому подобного.
2. Проведение расчётов и получение выводов чисто математическими средствами в рамках вероятностной модели.
3. Толкование математико-статистических выводов применительно к реальной ситуации и принятие соответствующего решения (например, о соответствии или несоответствии качества продукции установленным требованиям, необходимости наладки технологического процесса), в частности, заключения (о доле дефектных единиц продукции в партии, о конкретном виде законов распределения контролируемых параметров технологического процесса и подобном).

1.2. Примеры применения теории вероятностей и математической статистики

Рассмотрим несколько  примеров, когда вероятностно-статистические модели являются хорошим средством решения задач.

В романе Алексея Николаевича  Толстого «Хождение по мукам» (том 1) говорится: «мастерская даёт двадцать три процента брака, этой цифры вы и держитесь, — сказал Струков Ивану Ильичу». Как понимать эти слова в разговоре руководителей завода? Единица продукции не может быть дефектна на 23 %. Она может быть либо годной, либо дефектной. Наверное, Струков мыслил, что в партии большого объёма содержится примерно 23 % дефектных единиц продукции. Тогда возникает вопрос: а что значит «примерно»? Пусть из 100 проверенных единиц продукции 30 окажутся дефектными, или из 1000 — 300, или из 100 000 — 30 000… Надо ли обвинять Струкова во лжи?

Монетка, используемая как  жребий, должна быть «симметричной»: в  среднем в половине случаев подбрасывания должен выпадать орёл, а в половине случаев — решка. Но что означает «в среднем»? Если провести много серий по 10 бросаний в каждой серии, то часто будут встречаться серии, в которых монетка 4 раза выпадает орлом. Для симметричной монеты это будет происходить в 20,5 % серий. А если на 100 000 бросаний окажется 40 000 орлов, то можно ли считать монету симметричной? Процедура принятия решений строится на основе теории вероятностей и математической статистики.

Пример может показаться несерьёзным. Это не так. Жеребьёвка широко используется при организации промышленных технико-экономических экспериментов. Например, при обработке результатов измерения показателя качества (момента трения) подшипников в зависимости от различных технологических факторов (влияния консервационной среды, методов подготовки подшипников перед измерением, влияния нагрузки подшипников в процессе измерения и тому подобных). Допустим, нужно сравнить качество подшипников в зависимости от результатов хранения их в разных консервационных маслах. При планировании такого эксперимента возникает вопрос, какие подшипники следует поместить в масло одного состава, а какие — в другое, но так, чтобы избежать субъективизма и обеспечить объективность принимаемого решения. Ответ может быть получен с помощью жребия.

Аналогичный пример можно  привести и с контролем качества любой продукции. Чтобы решить, соответствует  или не соответствует контролируемая партия продукции установленным  требованиям, из неё выбирается представительная часть: по этой выборке судят о всей партии. Поэтому желательно, чтобы каждая единица в контролируемой партии имела одинаковую вероятность быть выбранной. В производственных условиях выбор единиц продукции обычно делают не жребием, а по специальным таблицам случайных чисел или с помощью компьютерных датчиков случайных чисел.

Похожие проблемы обеспечения  объективности сравнения возникают  при сопоставлении различных  схем организации производства, оплаты труда, при проведении тендеров и  конкурсов, подбора кандидатов на вакантные  должности. Всюду нужна жеребьёвка или подобные ей меры.

Пусть надо выявить наиболее сильную и вторую по силе команду  при организации турнира по олимпийской  системе (проигравший выбывает). Допустим, что более сильная команда  всегда побеждает более слабую. Ясно, что самая сильная команда однозначно станет чемпионом. Вторая по силе команда выйдет в финал только когда до финала у неё не будет игр с будущим чемпионом. Если такая игра запланирована, то вторая по силе команда в финал не попадёт. Тот, кто планирует турнир, может либо досрочно «выбить» вторую по силе команду из турнира, сведя её в первой же встрече с лидером, либо обеспечить ей второе место, обеспечив встречи с более слабыми командами вплоть до финала. Чтобы избежать субъективизма, проводят жеребьёвку. Для турнира из 8 команд вероятность того, что в финале встретятся две самые сильные команды, равна 4 из 7. Соответственно с вероятностью 3 из 7 вторая по силе команда покинет турнир досрочно.

При любом измерении  единиц продукции (с помощью штангенциркуля, микрометра, амперметра…) имеются погрешности. Чтобы выяснить, есть ли систематические погрешности, необходимо многократно измерить единицы продукции, характеристики которой известны (например, стандартного образца). При этом следует помнить, что кроме систематической погрешности присутствует и случайная погрешность.

Встаёт вопрос, как  по измерениям выявить систематическую  погрешность. Если отмечать только, является ли полученная при очередном измерении  погрешность положительной или  отрицательной, то эту задачу можно свести к уже́ рассмотренной. Действительно, сопоставим измерение с бросанием монеты: положительную погрешность — с выпадением орла, отрицательную — решки (нулевая погрешность при достаточном числе делений шкалы практически никогда не встречается). Тогда проверка отсутствия систематической погрешности эквивалентна проверке симметричности монеты.

Итак, задача проверки на систематическую погрешность сведена  к задаче проверки симметричности монеты. Проведённые рассуждения приводят к так называемому «критерию знаков» в математической статистике.

При статистическом регулировании  технологических процессов на основе методов математической статистики разрабатываются правила и планы  статистического контроля процессов, направленные на своевременное обнаружение  разладки технологических процессов и принятия мер к их наладке и предотвращению выпуска продукции, не соответствующей установленным требованиям. Эти меры нацелены на сокращение издержек производства и потерь от поставки некачественных единиц продукции. При статистическом приёмочном контроле на основе методов математической статистики разрабатываются планы контроля качества путем анализа выборок из партий продукции. Сложность заключается в том, чтобы уметь правильно строить вероятностно-статистические модели принятия решений. В математической статистике для этого разработаны вероятностные модели и методы проверки гипотез, в частности, гипотез о том, что доля дефектных единиц продукции равна определённому числу p₀, например, p₀ = 0,23.

1.3. Задачи оценивания

В ряде ситуаций возникают задачи оценки характеристик и параметров распределений вероятностей.

Рассмотрим пример. Пусть  на контроль поступила партия из N электроламп. Из этой партии случайным образом выбрано n электроламп. Возникает ряд естественных вопросов. Как по результатам испытаний элементов выборки определить средний срок службы электроламп, с какой точностью можно оценить эту характеристику? Как изменится точность, если взять выборку большего объёма? При каком числе часов T можно уверять, что не менее 90 % электроламп прослужат T и более часов?

Предположим, что при  испытании выборки дефектными оказались X электроламп. Какие границы можно указать для числа D дефектных электроламп в партии, для уровня дефектности и тому подобного?

Или при статистическом анализе точности и стабильности технологических процессов надлежит оценить такие показатели качества, как среднее значение контролируемого параметра и степень его разброса в рассматриваемом процессе. Согласно теории вероятностей в качестве среднего значения случайной величины целесообразно использовать её математическое ожидание, а в качестве статистической характеристики разброса — дисперсию, среднеквадратичное отклонение или коэффициент вариации. Возникают вопросы: как оценить эти статистические характеристики по выборочным данным и с какой точностью это удастся сделать?

Аналогичных примеров можно  привести много. Здесь важно показать, как теория вероятностей и математическая статистика могут быть использованы в инженерных и управленческих задачах.

1.4. Вероятностно-статистические методы и оптимизация

Идея оптимизации пронизывает  прикладную математическую статистику и иные статистические методы. А  именно, методы планирования экспериментов, статистического приёмочного контроля, статистического регулирования технологических процессов и другие. С другой стороны, оптимизационные постановки в теории принятия решений, например, прикладная теория оптимизации качества продукции и требований стандартов, предусматривают широкое использование вероятностно-статистических методов, прежде всего прикладной математической статистики.

В производственном управлении, в частности, при оптимизации  качества продукции и требований стандартов особенно важно применять  статистические методы на начальном  этапе жизненного цикла продукции, этапе научно-исследовательской подготовки опытно-конструкторских разработок (разработка перспективных требований к продукции, аванпроекта, технического задания на опытно-конструкторскую разработку). Это объясняется ограниченностью информации, доступной на начальном этапе жизненного цикла продукции, и необходимостью прогнозирования технических возможностей и экономической ситуации на будущее. Статистические методы должны применяться на всех этапах решения задачи оптимизации: при шкалировании переменных, разработке математических моделей функционирования изделий и систем, проведении технических и экономических экспериментов и тому подобном.

В задачах оптимизации, в том числе оптимизации качества продукции и требований стандартов, используют все области статистики. А именно, статистику случайных величин, многомерный статистический анализ, статистику случайных процессов и временных рядов, статистику объектов нечисловой природы. Разработаны рекомендации по выбору статистического метода для анализа конкретных данных.

2.1. Коротко об истории

Математическая статистика как наука начинается с работ  Карла Фридриха Гаусса, на основе теории вероятностей исследовавшего и обосновавшего  метод наименьших квадратов, созданный  им в 1795 году и применённый для  обработки астрономических данных (с целью уточнения орбиты карликовой планеты Церера). Его именем часто называют одно из наиболее популярных распределений вероятностей — нормальное, а в теории случайных процессов основной объект изучения — гауссовские процессы.

В конце XIX — начале ХХ века крупный вклад в математическую статистику внесли английские исследователи, прежде всего Карл Пирсон (1857—1936) и Роналд Фишер (1890—1962). В частности, Пирсон разработал критерий «хи-квадрат» проверки статистических гипотез, а Фишер — дисперсионный анализ, теорию планирования эксперимента, метод максимального правдоподобия оценки параметров.

В 30-е годы ХХ века поляк  Ежи Нейман (1894—1977) и англичанин Эгон Пирсон развили общую теорию проверки статистических гипотез, а  советские математики Андрей Николаевич Колмогоров (1903—1987) и Николай Васильевич Смирнов (1900—1966) заложили основы непараметрической статистики. В 40-е годы ХХ века румын Авраам Вальд (1902—1950) построил теорию последовательного статистического анализа.

Математическая статистика бурно развивается и ныне. За последние 40 лет можно выделить четыре принципиально новых направления исследований:

1. Разработка и внедрение математических методов планирования экспериментов;
2. Развитие статистики объектов нечисловой природы как самостоятельного направления в прикладной математической статистике;
3. Развитие статистических методов, устойчивых по отношению к малым отклонениям от используемой вероятностной модели;
4. Широкое развёртывание работ по созданию компьютерных пакетов программ, предназначенных для проведения статистического анализа данных.

2.2. Современное  представление о математической  статистике

Под математической статистикой  понимают «раздел математики, посвящённый  математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использованию их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надёжность выводов, получаемых в каждой задаче на основании имеющегося статистического материала. При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

По типу решаемых задач  математическая статистика обычно делится на три раздела: описание данных, оценка и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

• Одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом.
• Многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором).
• Статистика случайных процессов и временных рядов, где результат наблюдения — функция.
• Статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Исторически первыми  появились некоторые области статистики объектов нечисловой природы (в частности, задачи оценивания доли брака и проверки гипотез о ней) и одномерная статистика. Математический аппарат для них проще, поэтому на их примере обычно демонстрируют основные идеи математической статистики.

Лишь те методы обработки  данных, то есть математической статистики, являются доказательными, которые опираются  на вероятностные модели соответствующих  реальных явлений и процессов. Речь идёт о моделях поведения потребителей, возникновения рисков, функционирования технологического оборудования, получения результатов эксперимента, течения заболевания и тому подобного. Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Соответствие вероятностной модели реальности, то есть её адекватность, обосновывают, в частности, с помощью статистических методов проверки гипотез.

Невероятностные методы обработки данных являются поисковыми, их можно использовать лишь при предварительном анализе данных, так как они не дают возможности оценить точность и надёжность выводов, полученных на основании ограниченного статистического материала.

Вероятностные и статистические методы применимы всюду, где удаётся  построить и обосновать вероятностную модель явления или процесса. Их применение обязательно, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции).

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвящённого статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью её методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приёмочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надёжности и другие.

Широко применяются  такие прикладные вероятностно-статистические дисциплины, как теория надёжности и теория массового обслуживания. Содержание первой из них ясно из названия, вторая занимается изучением систем типа телефонной станции, на которую в случайные моменты времени поступают вызовы — требования абонентов, набирающих номера на своих телефонных аппаратах. Длительность обслуживания этих требований, то есть длительность разговоров, также моделируется случайными величинами. Большой вклад в развитие этих дисциплин внесли Александр Яковлевич Хинчин (1894—1959), Борис Владимирович Гнеденко (1912—1995) и другие отечественные учёные.

3.1. Суть вероятностно-статистических методов

Как подходы, идеи и результаты теории вероятностей и математической статистики используются при обработке  данных — результатов наблюдений, измерений, испытаний, анализов, опытов с целью принятия практически  важных решений?

Базой является вероятностная модель реального явления или процесса, то есть математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания неопределённостей, которые надо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»). Иногда случайность вносится в ситуацию сознательно, например, при жеребьёвке, случайном отборе единиц для контроля, проведении лотерей или опросов потребителей.

Теория вероятностей позволяет по одним вероятностям рассчитать другие, интересующие исследователя. Например, по вероятности выпадения  орла можно рассчитать вероятность  того, что при 10 бросаниях монет  выпадет не менее 3 орлов. Подобный расчёт опирается на вероятностную модель, согласно которой бросания монет описываются схемой независимых испытаний, кроме того, выпадения орла и решки равновозможны, а потому вероятность каждого из этих событий равна . Более сложна модель, в которой вместо бросания монеты рассматривается проверка качества единицы продукции. Соответствующая вероятностная модель опирается на предположение о том, что контроль качества различных единиц продукции описывается схемой независимых испытаний. В отличие от модели с бросанием монет необходимо ввести новый параметр — вероятность p того, что единица продукции является дефектной. Модель будет полностью описана, если принять, что все единицы продукции имеют одинаковую вероятность оказаться дефектными. Если последнее предположение неверно, то число параметров модели возрастает. Например, можно принять, что каждая единица продукции имеет свою вероятность оказаться дефектной.

Таким образом, применение математической статистики опирается  на вероятностную модель явления или процесса. Используются два параллельных ряда понятий: относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики суть оценки теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», относятся к миру идей (по древнегреческому философу Платону), недоступны для непосредственного измерения. Исследователи располагают лишь выборочными данными, из которых они стараются установить интересующие их свойства теоретической вероятностной модели.

Зачем же нужна вероятностная  модель? Дело в том, что только с  её помощью можно перенести свойства, установленные по результатам анализа  конкретной выборки, на другие выборки, а также на всю так называемую генеральную совокупность. Термин «генеральная совокупность» используется, когда речь идёт о большой, но конечной совокупности изучаемых единиц. Например, о совокупности всех жителей России или совокупности всех потребителей растворимого кофе в Москве. Цель маркетинговых или социологических опросов в том, чтобы утверждения, полученные по выборке из сотен или тысяч человек, перенести на генеральные совокупности в несколько миллионов человек. При контроле качества в роли генеральной совокупности выступает партия продукции.

Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.

Конечно, можно обрабатывать выборочные данные, не используя ту или иную вероятностную модель. Например, можно рассчитывать выборочное среднее арифметическое, подсчитывать частоту выполнения тех или иных условий. Однако результаты расчётов будут относиться только к конкретной выборке, перенос полученных с их помощью выводов на какую-либо иную совокупность некорректен. Иногда подобную деятельность называют «анализ данных». По сравнению с вероятностно-статистическими методами анализ данных имеет ограниченную познавательную ценность.

Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик — вот суть вероятностно-статистических методов принятия решений.

Подчеркну, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий, один из которых соответствует вероятностным моделям, а второй — выборочным данным. К сожалению, в ряде литературных источников, устаревших либо написанных в рецептурном духе, не делается различия между выборочными и теоретическими характеристиками, что приводит читателей к недоумениям и ошибкам при практическом использовании статистических методов.

5. Статистические данные и прикладная статистика

Под прикладной статистикой обычно понимают часть математической статистики, посвящённую методам обработки реальных статистических данных, а также соответствующее математическое и программное обеспечение. Таким образом, чисто математические задачи не включают в прикладную статистику. В последние десятилетия термин «математическая статистика» всё чаще применяют для обозначения чисто математической дисциплины, которая изучает свойства математических объектов и структур, введённых в классической статистике ранее середины ХХ века. При таком понимании прикладная статистика — самостоятельная научно-практическая дисциплина, не имеющая пересечения с математической статистикой. Прикладную статистику и статистические методы в целом можно отнести к кибернетике или прикладной математике.

Под статистическими данными понимают числовые или нечисловые значения контролируемых параметров (признаков) исследуемых  объектов, которые получены в результате наблюдений (измерений, анализов, испытаний, опытов и так далее) определённого  числа признаков, у каждой единицы, вошедшей в исследование. Способы получения статистических данных и объёмы выборок устанавливают, исходя из постановок конкретной прикладной задачи на основе методов математической теории планирования эксперимента.

Результат наблюдения xi исследуемого признака X (или совокупности исследуемых признаков X) у i-ой единицы выборки отражает количественные и/или качественные свойства обследованной единицы с номером i (здесь , где n — объём выборки). Деление прикладной статистики на направления соответственно виду обрабатываемых результатов наблюдений (то есть на статистику случайных величин, многомерный статистический анализ, статистику временны́х рядов и статистику объектов нечисловой природы) обсуждалось выше.

Результаты наблюдений , где xi — результат наблюдения i-ой единицы выборки, или результаты наблюдений для нескольких выборок, обрабатывают с помощью методов прикладной статистики, соответствующих поставленной задаче. Используют, как правило, аналитические методы, то есть методы, основанные на численных расчётах (объекты нечисловой природы при этом описывают с помощью чисел). В отдельных случаях допустимо применение графических методов (визуального анализа).

Количество разработанных к  настоящему времени методов обработки  данных весьма велико. Они описаны в сотнях тысяч книг и статей, а также в стандартах и других нормативно-технических и инструктивно-методических документах.

Многие методы прикладной статистики требуют проведения трудоемких расчётов, поэтому для их реализации нужны компьютеры. Программы расчётов на ЭВМ должны соответствовать современному научному уровню. Однако для единичных расчётов при отсутствии соответствующего программного обеспечения успешно используют микрокалькуляторы.

5.1. Статистический анализ точности и стабильности технологических процессов и качества продукции

Статистические методы используют, в частности, для анализа точности и стабильности технологических  процессов и качества продукции. Цель — подготовка решений, обеспечивающих эффективное функционирование технологических единиц и повышение качества и конкурентоспособности выпускаемой продукции. Статистические методы следует применять во всех случаях, когда по результатам ограниченного числа наблюдений требуется установить причины улучшения или ухудшения точности и стабильности технологического оборудования. Под точностью технологического процесса понимают свойство технологического процесса, обусловливающее близость действительных и номинальных значений параметров производимой продукции. Под стабильностью технологического процесса понимают свойство технологического процесса, обусловливающее постоянство распределений вероятностей для его параметров в течение некоторого интервала времени без вмешательства извне.