Статистика аварийности
СОДЕРЖАНИЕ
Введение
В настоящее время термин статистика употребляется в 4 значениях:
- наука, изучающая количественную сторону массовых явлений и процессов в неразрывной связи с их качественным содержанием – учебный предмет в высших и средних специальных учебных заведений;
- совокупность цифровых сведений, характеризующих состояние массовых явлений и процессов общественной жизни; статистические данные, представляемые в отчетности предприятий, организаций, отраслей экономики, а также публикуемых в сборниках, справочниках, периодической печати и в сети Интернет, которые являются результатом статистической работы;
- отрасль практической деятельности («статистический учет») по сбору, обработке, анализу и публикации массовых цифровых данных о самых различных явлениях и процессах общественной жизни;
- некий параметр ряда случайных величин, получаемый по определенному алгоритму из результатов наблюдений, например, статистические критерии (критические статистики), применяющиеся при проверке различных гипотез (предположительных утверждений) относительно природы или значений отдельных показателей исследуемых данных, особенностей их распределения и пр.
Как и любая другая наука, статистика имеет свой предмет и метод исследования. Статистика изучает количественную сторону массовых общественных явлений в неразрывной связи с их качественной стороной или содержанием, а также исследует количественное выражение закономерностей общественного развития в конкретных условиях места и времени. Такое изучение основывается на системе категорий (понятий), отражающих наиболее общие и существенные свойства, признаки, связи и отношения предметов и явлений объективного мира.
Совокупность приемов, пользуясь которыми статистика исследует свой предмет, составляет метод статистики. Можно выделить 3 группы статистических методов (3 этапа статистического исследования):
Cтатистическое наблюдение - научно организованный сбор сведений, заключающийся в регистрации тех или иных фактов, признаков, относящихся к каждой единице изучаемой совокупности;
Сводка и группировка - обработка собранных первичных данных, включающая их группировку, обобщение и оформление в таблицах;
Статистический анализ - на основе итоговых данных сводки рассчитываются различные обобщающие показатели в виде средних и относительных величин, выявляются определенные закономерности в распределениях, динамике показателей и т.п.
Таким образом, любое законченное статистическое исследование проходит в 3 этапа, между которыми, разумеется, могут быть перерывы во времени.
В данной работе представлены эти три этапа. Причем результаты статистического наблюдения были приведены на официальном сайте ГИБДД МВД России. Далее была проведена работа по сводке и группировке данных, а затем по статистическому анализу.
Исходные данные
В качестве исходных данных были найдены на официальном сайте ГИБДД МВД России, в разделе ГИБДД, подраздел статистика МВД, где были приведены данные с 2007 по 2011 год включительно. Здесь для исследования были взяты даны с 2007 год по 2010 год, поскольку в этих данные есть статистика за полные прошедшие года, а поскольку 2011 год еще не закончился, статистика аварий будет меньше чем за предыдущие годы, что может исказить картину исследования. Поэтому данные за 2011 год было решено не брать.
Статистика аварийности была приведена в следующей форме (pdf-формат):
Рисунок 1 – Оформление данных на официальном сайте
- В качестве объекта исследования были взяты абсолютные значения показателей «ДТП», «Погибло», «Ранено», «Тяжесть последствий ДТП».
Выборочные наблюдения
Выборочное наблюдение применяется, когда применение сплошного наблюдения физически невозможно из-за большого массива данных или экономически нецелесообразно. Физическая невозможность имеет место, например, при изучении пассажиропотоков, рыночных цен, семейных бюджетов. Экономическая нецелесообразность имеет место при оценке качества товаров, связанной с их уничтожением, например, дегустация, испытание кирпичей на прочность и т.п.
Статистические единицы, отобранные для наблюдения, составляют выборочную совокупность или выборку, а весь их массив - генеральную совокупность (ГС). При этом число единиц в выборке обозначают n, а во всей ГС - N. Отношение n/N называется относительный размер или доля выборки.
Качество результатов выборочного наблюдения зависит от репрезентативности выборки, то есть от того, насколько она представительна в ГС. Для обеспечения репрезентативности выборки необходимо соблюдать принцип случайности отбора единиц, который предполагает, что на включение единицы ГС в выборку не может повлиять какой-либо иной фактор кроме случая.
Существует 4 способа случайного отбора в выборку:
Собственно случайный отбор или «метод лото», когда статистическим величинам присваиваются порядковые номера, заносимые на определенные предметы (например, бочонки), которые затем перемешиваются в некоторой емкости (например, в мешке) и выбираются наугад. На практике этот способ осуществляют с помощью генератора случайных чисел или математических таблиц случайных чисел.
Механический отбор, согласно которому отбирается каждая (N/n)-я величина генеральной совокупности. Например, если она содержит 100 000 величин, а требуется выбрать 1 000, то в выборку попадет каждая 100 000 / 1000 = 100-я величина. Причем, если они не ранжированы, то первая выбирается наугад из первой сотни, а номера других будут на сотню больше. Например, если первой оказалась единица № 19, то следующей должна быть № 119, затем № 219, затем № 319 и т.д. Если единицы генеральной совокупности ранжированы, то первой выбирается № 50, затем № 150, затем № 250 и так далее.
Отбор величин из неоднородного массива данных ведется стратифицированным (расслоенным) способом, когда генеральная совокупность предварительно разбивается на однородные группы, к которым применяется случайный или механический отбор.
Особый способ составления выборки представляет собой серийный отбор, при котором случайно или механически выбирают не отдельные величины, а их серии (последовательности с какого-то номера по какой-то подряд), внутри которых ведут сплошное наблюдение.
Качество выборочных наблюдений зависит и от типа выборки: повторная или бесповторная. При повторном отборе попавшие в выборку статистические величины или их серии после использования возвращаются в генеральную совокупность, имея шанс попасть в новую выборку. При этом у всех величин генеральной совокупности одинаковая вероятность включения в выборку. Бесповторный отбор означает, что попавшие в выборку статистические величины или их серии после использования не возвращаются в генеральную совокупность, а потому для остальных величин последней повышается вероятность попадания в следующую выборку.
Были отобраны для анализа следующие объемы выборок способом случайного отбора :
- 2007 год – 65 записей
- 2008 год – 76 записей
- 2009 год – 76 записей
2010 год – 77 записей
Как видно, выборки представляют собой репрезентативные (представительные) выборки. Кроме того, данные, представленные в них стремятся к нормальному закону распределения, поскольку объемы выборок достаточно велики.
Статистическая обработка данных
Средние величины и показатели вариации
Так как объем наших данных достаточно велик, для нахождения выборочных средних применим мастер сводных таблиц в EXCEL. Соберем все средние в сводную таблицу, построим для нее график по следующему алгоритму.
Рисунок 6 Мастер сводных таблиц (шаг 1)
Рисунок 7 Указание диапазона для выборки
Рисунок 8 Макет сводной таблицы
Рисунок 9 Выбор листа
Таблица 1. Сгруппированные данные
2007 |
2008 |
2009 |
2010 | |
Среднее по полю ДТП |
5686,149 |
5256,28 |
4810,013 |
4751,618 |
Среднее по полю Погибло |
831,7432 |
741,1067 |
650,6667 |
644,8947 |
Среднее по полю Ранено |
7086,554 |
6538,96 |
6000,88 |
5932,711 |
Среднее по полю Тяжесть |
10,69324 |
10,71733 |
10,088 |
10,27105 |
Объем выборки |
65 |
76 |
76 |
77 |
Найдем общую среднюю по групповым средним.
Общей средней называют среднее арифметическое значений признака, принадлежащих всей совокупности. Зная групповые средние и объемы групп, можно найти общую среднюю: общая средняя равна средней арифметической групповых средних, взвешенной по объемам групп.
Посчитаем групповые средние:
Иначе говоря, по России в среднем за предыдущие годы было 5103 аварий в год по каждому федеральному образовании , в каждом федеральном образовании за год в авариях погибает 712 человек, 6362 имеет ранения в авариях, средняя степень тяжести ДТП составляет 10.432 в год по каждому федеральному образованию.
Смещённой оценкой генеральной средней служит выборочная дисперсия:
Дисперсия есть квадратическая величина отклонения. Например, если средняя выражается в штуках, то дисперсия выражается шт2 . Поэтому для перехода к обычной размерности вычисляют среднеквадратическое отклонение, которое вычислим как квадратный корень из дисперсии:
Коэффициентом вариации V называют выраженное в процентах отношение выборочного среднего квадратического отклонения к выборочной средней
Размахом варьирования называют разность между наибольшей и наименьшей вариантами:
Таблица 2 Определение размаха варьирования
Годы |
ДТП |
Погибло |
Ранено |
Тяжесть |
2007 |
5686,148649 |
831,7432432 |
7086,554054 |
10,69324324 |
2008 |
5256,28 |
741,1066667 |
6538,96 |
10,71733333 |
2009 |
4810,013333 |
650,6666667 |
6000,88 |
10,088 |
2010 |
4751,618421 |
644,8947368 |
5932,710526 |
10,27105263 |
Размах варьирования |
934,5302276 |
186,8485064 |
1153,843528 |
0,629333333 |
Абсолютные и относительные величины
Для характеристики массовых явлений статистика использует статистические величины (показатели). Они подразделяются на абсолютные, относительные и средние.
Анализируя абсолютные величины, например, статистические данные об аварийности, необходимо сопоставлять эти данные во времени и пространстве, исследовать закономерности их изменения и развития, изучать структуру совокупностей. С помощью абсолютных величин эти задачи не выполнимы, в этом случае необходимо использовать относительные величины.
Результаты статистических наблюдений представляют собой абсолютные величины, отражающие уровень развития какого-либо явления или процесса. Абсолютные величины всегда имеют свою единицу измерения (размерность), присущую изучаемому явлению. Наши абсолютные величины есть натуральные. Натуральные, подразделяющиеся на простые (например, штуки, тонны, метры)
Относительная величина – это результат деления (сравнения) двух абсолютных величин. В числителе дроби стоит величина, которую сравнивают, а в знаменателе – величина, с которой сравнивают (база сравнения).
Полученная относительная величина выражена в виде коэффициента, который показывает, во сколько раз сравниваемая величина больше базисной. В случае если основание принимается за 100, относительная величина выражается в процентах (%). Выбор той или иной формы относительной величины зависит от ее абсолютного значения.
Так как сравниваемые величины примерно близки по значению, то относительную величину выражают в процентах (%).
Для удобства построения индекса используется следующая символика.
i
— символ индексируемого
I
— с подстрочным индексируемым
показателем — для группы
Dtp — количество аварий
Pog — количество погибших в авариях
Ran — ранено в авариях
Tyag — последствия тяжести
0 — базисный период
1 — отчетный период
Индекс динамики показывает изменение явления во времени и представляет собой отношение значений изучаемого явления в отчетный (анализируемый) период (момент) времени к базисному (предыдущему). Данный индекс определяется по формуле
где цифры означают: 1 – отчетный или анализируемый период, 0 – прошлый или базисный период.
В таблице 1 приведены индексы динамики, где базой сравнения послужили данные 2007 года.
Таблица 3
Годы |
ДТП |
Idtp |
Погибло |
Ipog |
Ранено |
Iran |
Тяжесть |
Ityag |
2007 |
5686,149 |
100,000% |
831,743 |
100,000% |
7086,554 |
100,000% |
10,693 |
100,000% |
2008 |
5256,280 |
92,440% |
741,107 |
89,103% |
6538,960 |
92,273% |
10,717 |
100,225% |
2009 |
4810,013 |
84,592% |
650,667 |
78,229% |
6000,880 |
84,680% |
10,088 |
94,340% |
2010 |
4751,618 |
83,565% |
644,895 |
77,535% |
5932,711 |
83,718% |
10,271 |
96,052% |
Критериальным значением индекса динамики служит единица (или 100%), то есть если он больше 1, то имеет место рост (увеличение) явления во времени, а если равен 1 – стабильность, ну а если меньше 1 – наблюдается спад (уменьшение) явления.
Как видно по индексам динамики статистика аварийности снижается от года к году, поскольку выведенные индексы меньше 100%.
Еще одно название индекса динамики – коэффициент (темп) роста, вычитая из которого единицу (100%), получают темп изменения (темп прироста) с критериальным значением 0, который определяется по формуле
Таблица 4
Годы |
ДТП |
Idtp |
Погибло |
Ipog |
Ранено |
Iran |
Тяжесть |
Ityag |
2007 |
5686,149 |
0,000% |
831,743 |
0,000% |
7086,554 |
0,000% |
10,693 |
0,000% |
2008 |
5256,280 |
-7,560% |
741,107 |
-10,897% |
6538,960 |
-7,727% |
10,717 |
0,225% |
2009 |
4810,013 |
-15,408% |
650,667 |
-21,771% |
6000,880 |
-15,320% |
10,088 |
-5,660% |
2010 |
4751,618 |
-16,435% |
644,895 |
-22,465% |
5932,711 |
-16,282% |
10,271 |
-3,948% |
Если T>0, то имеет место рост явления; Т=0 – стабильность, Т<0 – спад. Наблюдаем спад аварийности.
Построение гистограмм
Гистограмма используется для вычисления выборочных и интегральных частот попадания данных в указанные интервалы значений. При этом рассчитываются числа попаданий для заданного диапазона ячеек.
Например, необходимо выявить тип распределения аварийности в наборе из 70 записей. Таблица гистограммы состоит из границ шкалы оценок и количеств областей, уровень аварийности которых находится между самой нижней границей и текущей границей. Наиболее часто повторяемый уровень является модой интервала данных.
Построим гистограммы для статистики ДТП на 2010 год.
Таблица 5
Варианта |
Частота |
280 |
1 |
7186,5 |
67 |
14093 |
2 |
20999,5 |
2 |
27906 |
2 |
34812,5 |
0 |
41719 |
1 |
48625,5 |
0 |
Еще |
1 |
Наиболее частой вариантой сгруппированных данных здесь является 7186,5
Модой называют варианту, которая имеет наибольшую частоту. В нашем случае значение частоты от 7186,5 имеет наибольшую частоту, равную 67. Это значит, что это значение является определяющим для этого ряда данных.
Ряды динамики
Посредством анализа динамических рядов решается еще одна важная задача – характеристика тенденций в развитии явлений. Выявление основной тенденции развития производится посредством выравнивания ряда динамики. Один из простейших способов выявления тенденций в развитии явления – это способ ступенчатой средней.
Первоначально производят укрупнение интервалов, т.е. сложение уровней ряда. В результате получается динамический ряд с более крупными интервалами и более ясной тенденцией. По каждому укрупненному интервалу рассчитывают среднюю хронологическую.
Рассмотренный прием позволяет выявить тенденцию, показать ее более ярко, тем не менее у этого способа есть один недостаток: из поля зрения выпадает процесс изменения внутри укрупненных интервалов.
Этим недостатком не страдает другой способ выявления общей тенденции – способ скользящей средней. Сглаживание с помощью скользящей средней заключается в последовательном расчете среднего уровня, сначала из определенного числа первых по счету уровней ряда, затем из того же числа уровней ряда, но начиная уже со второго по счету уровня ряда, далее из того же числа уровней ряда, но начиная с третьего уровня ряда и т.д. Таким образом, при образовании групп уровней ряда, из которых рассчитывается скользящая средняя, в каждой последующей группе отбрасывается начальный уровень предшествующей группы и добавляется следующий по порядку уровень ряда.
Так как для ряда динамики мы не имеем данных за большое количество лет, то будем использовать более сложный метод выявления основной тенденции развития – метод аналитического выравнивания. В этом случае уровни ряда замещаются уровнями, вычисленными на основе определенной кривой, которая выражает общую тенденцию изменения во времени изучаемого показателя, то есть с помощью регрессионной зависимости.
Вычисление ряда динамика с помощью расчета регрессионной зависимости
Возникает два вопроса: какова зависимость спада, какой прогноз печальной статистики аварийности мы можем получить через 2 года и можно ли верить этой зависимости, не являются ли полученные данными случайными?
Проведем расчет регрессионной зависимости для какого-либо одного признака, например по количеству ДТП.
Найдем уравнение линейной регрессии y на x в виде y=ax+b, где а и b - коэффициенты линейной регрессии. Здесь y – статистика ДТП, x- годы.
Найдем выборочный коэффицент корреляции:
где , - статистические оценки (среднеквадратические отклонения)
где Kxy -- коэффициент корреляции
Здесь , - средние выборочные, которые находятся по формуле арифметической средней:
Для облегчения расчетов составим расчетную таблицу и по ней найдем данные по формулам, приведенным выше:
Таблица 6
Из таблицы видно, что
Подготовив исходные данные найдём rxy
Так как коэффициент корреляции близок к единице, а среднеквадратическое уклонение нелинейной составляющей зависимости Sz, связывающей X и Y мало, то эту зависимость можно считать линейной.
Найдем выборочный коэффициент регрессии по формуле:
Составим выборочное уравнение регрессии по формуле:
Коэффициент регрессии характеризует изменение оценок по данной совокупности на единицу. С каждым последующим годом статистика ДТП будет уменьшаться на 324,99 ДТП в год.
Рассчитаем линейный коэффициент парной корреляции
Связь сильная, прямая. Определим коэффициент детерминации
Вариация результата на 92,58% объясняется вариацией фактора х. Проверим значимость выборочного коэффициента корреляции при a=0.05 и числу степеней свободы k=4-2=2. Вычислим наблюдаемое значение критерия Стьюдента:
По таблице критических точек распределения Стьюдента, по уровню значимости α=0.05 и числу степеней свободы k=4-2=2 найдем критическую точку tкр.(0,05;2)=4.30.
Так как Тнабл.= >|tкр|.= - отвергаем гипотезу о равенстве нулю генерального коэффициента корреляции. Следовательно, Х и Y имеют тесную корреляционную зависимость.
Прогноз статистики аварийности
Выполним прогноз аварийности ДТП в 2012, 2013 году по выведенному уравнению регрессии.
Оценим точность прогноза, рассчитав ошибку прогноза и его доверительный интервал:
t здесь - это значение аргумента интегральной функции Лапласа, при котором
Находим t по таблице значений интегральной функции Лапласа:
Точность нашего прогноза составит . Доверительный интервал прогноза на 2013 год таков
Это значит, что в 2013 году можно ожидать аварийность от 3293 до4033.
Вообще говоря, этот длинный расчет в программе Excel выполняется с помощью несложных операций: построим диаграмму по найденным средним данным.
Добавим линии тренда на каждый изменяемый признак. «Линия тренда» -- компьютерный термин, на язык статистики переводится как «график уравнения регрессии». Регрессия бывает парной и множественной. Парная регрессия характеризует функциональную зависимость одного признака от другого, то есть вида y=f(x), где х – признак – данное, у – признак- результат. Уравнение регрессии может быть линейным, параболическим, кубическим (полиномиальным в общем случае), степенным, показательным (экспоненциальным). В общем случае, какая линия регрессии дает наилучшее приближение к исходным данным, определяется в каждом случае в зависимости от коэффициента регрессии для случая каждой линии тренда.
Щелкнем на построенной диаграмме, выберем в контекстном меню «Добавить линию тренда». Выберем вид типа линии тренда «Линейная», поскольку видно, что зависимость построенных данных линейная. Настроим параметры линии тренда, как показано на рисунке:
Рисунок 10 Настройка линии тренда
Замечаем, что выведенное нами уравнение регрессии для ДТП—годы полностью совпадает с уравнением регрессии, построенным в Excel.
Коэффициент аппроксимации (детерминации) также полностью совпадает с найденным значением:
Это означает, что расчеты, выполняемые Excel, верны, и доверяя теперь выведенным уравнениям регрессии и коэффициентам аппроксимации, выведем остальные уравнения регрессии.
Эти уравнения регрессии выводились из того соображения, что ряды признаки независимы друг от друга. Если же исходные данные зависят друг от друга, то есть если между рядами «Погибло», «Ранено» существует какая-то зависимость, то необходимо применить другие инструменты исследования. в частности, аппарат множественной корреляции.
Регрессионный анализ данных с помощью множественной корреляции
Проведем регрессионный анализ модели на уровне значимости .
где x1 –
y |
ДТП |
x1 |
Погибло |
x2 |
Ранено |
x3 |
Тяжесть |
Если исследуется связь между несколькими признаками, то корреляцию называют множественной.
В простейшем случае число признаков равно четырем и связь между ними линейная:
В этом случае возникают задачи:
1) найти по данным наблюдений выборочное уравнение связи, то есть определить коэффициенты , , ,
то есть необходимо найти коэффициенты регрессии , , , а также параметр ;
2) оценить тесноту связи между параметрами , , ,y попарно. Для этого строится матрица коэффициентов парной корреляции, в которой приводятся коэффициенты попарной корреляции между признаками. Этот расчет проводят из того соображения, что не только результирующий признак y (количество ДТП) зависит от исходных признаков, а исходные признаки (Ранено, Погибло, Тяжесть последствий) коррелируют между собой. Если найдется устойчивая корреляционная связь, то можно вывести линейное уравнение регрессии между этими двумя признаками, а затем в функции от трех переменных сделать замену одного входного фактора на аналитическое выражение от другого и, таким образом, снизить факторность модели. Например, если и тесно скоррелированы между собой, то получив уравнение зависимости, скажем, от вида:
Вид зависимости здесь может быть не только линейный, а какой-либо еще.
Модель может приобрести новый вид, где число факторов уменьшилось. Конечно, это преобразование можно проводить, если коэффициент корреляции достаточно близок к 1.
Проведем корреляционный анализ.
Основой решения этих задач служит матрица коэффициентов парной корреляции.
Поскольку коэффициент парной корреляции — симметричная мера связи, корреляционная матрица записывается либо как верхняя треугольная матрица, либо как нижняя треугольная матрица. По диагонали такой матрицы расположены единицы, т.е. это коэффициенты корреляции каждой переменной с самой собой.
На основе корреляционной матрицы выявляют те факторные признаки, которые тесно коррелируют с результативным признаком, т. е. обращают внимание на элементы верхней строки матрицы корреляций. Затем сравнивают коэффициенты корреляции между факторными признаками, т. е. с коэффициентами корреляции их с результативным признаком. В анализ совместно включаются те факторные признаки, для которых их корреляция между собой слабее корреляции с результативным признаком.
Коэффициенты парной корреляции называются коэффициентами нулевого порядка. На их основе можно рассчитать коэффициенты частной корреляции первого порядка, когда элиминируется корреляция с одной переменной, а так же второго и третьего.
Рассчитаем коэффициенты парной корреляции.
Для этого воспользуемся функцией «Сервис – анализ данных - корреляция»1.
Рисунок 12 Вызов окна анализа данных