Поиск и обработка статистической информации

Статистика

Слово «статистика» имеет  латинское происхождение (от status –  состояние). В средние века оно  означало политическое состояние государства. В науку этот термин введен в XVIII в. немецким ученым Готфридом Ахенвалем. Собственно как наука статистика возникла только в XVII в., однако статистический учет существовал уже в глубокой древности. Так, известно, что еще  за 5 тыс. лет до н.э. проводились переписи населения в Китае, осуществлялось сравнение военного потенциала разных стран, велся учет имущества граждан  в Древнем Риме, затем – населения, домашнего имущества, земель в средние  века.

Статистика разрабатывает специальную методологию исследования и обработки материалов: массовые статистические наблюдения, метод группировок, средних величин, индексов, балансовый метод, метод графических изображений и другие методы анализа статистических данных.

Статистика состоит из трёх разделов:

1. сбор статистических сведений, то есть сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
2. статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;
3. разработка приёмов статистического наблюдения и анализа статистических данных. Последний раздел, собственно, и составляет содержание математической статистики.

термин статистика употребляется в 4 значениях:

1. наука, изучающая количественную сторону массовых явлений и процессов в неразрывной связи с их качественным содержанием – учебный предмет в высших и средних специальных учебных заведений;
2. совокупность цифровых сведений, характеризующих состояние массовых явлений и процессов общественной жизни; статистические данные, представляемые в отчетности предприятий, организаций, отраслей экономики, а также публикуемых в сборниках, справочниках, периодической печати и в сети Интернет, которые являются результатом статистической работы;
3. отрасль практической деятельности («статистический учет») по сбору, обработке, анализу и публикации массовых цифровых данных о самых различных явлениях и процессах общественной жизни;
4. некий параметр ряда случайных величин, получаемый по определенному алгоритму из результатов наблюдений, например, статистические критерии (критические статистики), применяющиеся при проверке различных гипотез (предположительных утверждений) относительно природы или значений отдельных показателей исследуемых данных, особенностей их распределения и пр.

Основные категории, используемые в статистике:

1. Статистическая совокупность – множество социально-экономических объектов или явлений общественной жизни, объединенных качественной основой, но отличающихся друг от друга отдельными признаками, т.е. однородных в одном отношении, но разнородных в другом. Таковы, например, совокупность домохозяйств, семей, предприятий, фирм и т.п.
2. Единица совокупности – первичный элемент статистической совокупности, являющийся носителем признаков и основой ведущегося при обследовании счета.
3. Признак единицы совокупности – свойства единицы совокупности, которые различаются способами их измерения и другими особенностями
4. Статистический показатель – понятие, отображающее количественные характеристики (размеры) или соотношения признаков общественных явлений. Статистические показатели можно подразделить на первичные (объемные) – характеризуют либо общее число единиц совокупности (объем совокупности), либо сумму значений какого-либо признака (объем признака) и выражаются абсолютными величинами и вторичные (расчетные) – задаются на единицу первичного показателя и выражаются относительными и средними величинами. Статистические показатели могут быть плановыми, отчетными и прогнозными.
5. Система статистических показателей – совокупность статистических показателей, отражающая взаимосвязи, которые объективно существуют между явлениями. Она охватывает все стороны общественной жизни как на макро, так и на микроуровне. С изменением условий жизни общества меняются и системы статистических показателей, совершенствуется методология их расчета.

История статистических методов

Первая треть ХХ века прошла под знаком параметрической статистики. Изучались методы, основанные на анализе  данных из параметрических семейств распределений, описываемых кривыми  семейства Пирсона. Наиболее популярным было нормальное распределение. Для  проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента. Разработанную в первой трети ХХ века теорию анализа данных называют параметрической статистикой, поскольку её основной объект изучения — это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением и так далее.

Статистические методы

Статистические  методы — методы анализа статистических данных. Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

 Классификация статистических методов

а) разработка и исследование методов  общего назначения;

б) разработка и исследование статистических моделей реальных явлений и процессов  в соответствии с потребностями  той или иной области деятельности;

в) применение статистических методов  и моделей для статистического  анализа конкретных данных.

Статистический анализ конкретных данных

Применение  статистических методов и моделей  для статистического анализа  конкретных данных тесно привязано  к проблемам соответствующей  области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин. Их можно рассматривать как примеры  практического применения статистических методов. Но не меньше оснований относить их к соответствующей области  деятельности человека.

Перспективы развития

Теория  статистических методов нацелена на решение реальных задач. Поэтому  в ней постоянно возникают  новые постановки математических задач  анализа статистических данных, развиваются  и обосновываются новые методы. Обоснование  часто проводится математическими  средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая — как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

.

Вычислительная статистика

Развитие вычислительной техники во второй половине XX века оказало значительное влияние на статистику. Ранее статистические модели были представлены преимущественно линейными моделями. Увеличение быстродействия ЭВМ и разработка соответствующих численных алгоритмов послужило причиной повышенного интереса к нелинейным моделям таким, как искусственные нейронные сети, и привело к разработке сложных статистических моделей, например обощённая линейная модель и иерархическая модель.

Прикладная статистика — наука о методах обработки статистических данных. Методы прикладной статистики активно применяются в технических исследованиях, экономике менеджменте, социологии, медицине, геологии, истории и т. д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во многих областях теоретической и практической деятельности. Описание вида данных и механизма их порождения — начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.

Нечисловые  статистические данные — это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т. д.

В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами  их получения. Например, если испытания  некоторых технических устройств  продолжаются до определенного момента  времени, то получаем т. н. цензурированные данные, состоящие из набора чисел — продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.

Математическая статистика — наука, разрабатывающая математические методы систематизации и использования статистических данных для научных и практических выводов.

Во  многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надёжность и точность выводов, делаемых на основании ограниченного статистического материала (напр., оценить необходимый объём выборки для получения результатов требуемой точности при выборочном обследовании). В математической статистике есть общая теория проверки гипотез и большое число методов, посвящённых проверке конкретных гипотез. Рассматривают гипотезы о значениях параметров и характеристик, о проверке однородности (то есть о совпадении характеристик или функций распределения в двух выборках), о согласии эмпирической функции распределения с заданной функцией распределения или с параметрическим семейством таких функций, о симметрии распределения и др. Большое значение имеет раздел математической статистики, связанный с проведением выборочных обследований, со свойствами различных схем организации выборок и построением адекватных методов оценивания и проверки гипотез.

Статистическое наблюдение - это начальный этап любого статистического исследования, поэтому от того, насколько полными и качественными окажутся собранные первичные данные, зависят в значительной степени и конечные результаты исследований. В статистической практике используются разные формы, виды и способы наблюдения.

Если  при сборе статистических данных допущена ошибка или материал оказался недоброкачественным, это повлияет на правильность и достоверность  как теоретических, так и практических выводов. Поэтому статистическое наблюдение от начальной до завершающей стадии должно быть тщательно продуманным  и четко организованным.

Различают 3 формы организации  наблюдения:

1. Статистическая отчетность – это особая форма организации сбора данных государственной статистикой о деятельности хозяйствующих субъектов, которые обязаны заполнять документы-бланки, называемые формами статистической отчетности, содержащие перечень определенных показателей, сведений, характеризующих ту или иную хозяйственую единицу и результаты ее деятельности, заполняемый на основе данных опертивного или бухгалтерского учета и представляемые в государственные статистические органы для дальнейшего обобщения. Каждая форма отчетности имеет шифр и название. В соответствии со сроками представления отчетность бывает суточная (ежедневная), недельная, месячная, квартальная, полугодовая и годовая. Все эти виды отчетности, кроме годовой, объединяют одним названием – текущая отчетность.
2. Cпециально организованные статистические наблюдения - это переписи и специальные обследования, проводимые по тем явлениям общественной жизни, по которым отсутствует отчетность или когда требуется уточнить, дополнить данные той или иной отчетности, либо провести разовое детальное, всестороннее обследование каких-либо объектов
3. Наблюдение через регистры – сравнительно новая форма организации статистического наблюдения, основанная на применении компьютерных технологий. Регистр – это поименованный и постоянно уточняемый перечень тех или иных единиц наблюдения, созданный для непрерывного длительного статистического наблюдения за определенной совокупностью, в котором содержится информация о каждой единице совокупности .

наблюдение подразделяется на следующие 4 вида:

1. наблюдение основного массива (исключаются из наблюдения малозначимые единицы);
2. анкетное (добровольное заполнение анкет приводит к несплошному виду наблюдения);
3. выборочное (случайный отбор единиц из изучаемой совокупности);
4. монографическое (детальное изучение какой-то одной единицы совокупности).

По источникам собираемых сведений различают следующие способы  наблюдения:

1. непосредственное (осмотр, измерение, взвешивание);
2. документальное (на основе отчетности);
3. опрос (сведения регистрируются со слов опрашиваемой единицы наблюдения), реализуемый следующими способами - экспидиционный, саморегистрация, корреспондентский .

Любое статистическое исследование начинается с формулировки его цели и задач, а следовательно и  тех сведений, которые могут быть получены в процессе наблюдения. После  этого определяется объект и единица  наблюдения, разрабатывается программа, выбирается вид и способ наблюдения.

Объект наблюдения – совокупность социально-экономических явлений  и процессов, которые подлежат исследованию, или точные границы, в пределах которых  будут регистрироваться статистические сведения. В ряде случаев пользуются цензом. Ценз – ограничительный  признак, которому должны удовлетворять  все единицы изучаемой совокупности. Единицей наблюдения называется составная  часть объекта исследования, которая  служит основой счета и обладает признаками, подлежащими регистрации  при наблюдении.

Сводка – научно организованная обработка материалов наблюдения (по заранее разработанной программе), включающая в себя кроме обязательного контроля собранных данных, систематизацию, группировку материалов, составление таблиц, получение итогов по группам и в целом. Программа сводки включает определение групп и подгрупп, системы показателей и видов таблиц. По технике и способу выполнения сводка может быть ручной либо механизированной.

Группировка – разбиение совокупности на группы, однородные по какому-либо признаку или объединение отдельных единиц совокупности в группы, однородные по каким-либо признакам. Устойчивое разграничение объектов называется классификацией или стандартом, в котором каждая атрибутивная запись может быть отнесена лишь к одной группе или подгруппе. Метод группировки основывается на двух категориях – группировочном признаке и интервале.

Группировочный признак – признак, по которому происходит объединение отдельных единиц совокупности в однородные группы. Он может носить как количественный, так и качественный характер. В ряде случаев группировка, которая представляется чисто качественной, в конечном итоге оказывается основанной на количественном признаке. Такова, например, классификация промышленных предприятий по отраслям. Поскольку одно и то же предприятие выпускает продукцию разных видов, статистика решает этот вопрос по количественному преобладанию того или иного вида.

Интервал очерчивает количественные границы групп и представляет собой промежуток между максимальным и минимальным значениями признака в группе. Интервалы бывают равные, неравные, закрытые (когда имеется  верхняя и нижняя граница) и открытые (когда одна из границ отсутствует).

Статистические группировки и  классификации преследуют цели выделения  качественно однородных совокупностей, изучения структуры совокупности, исследования взаимосвязи факторных и результативных признаков. Каждой из этих целей соответствует  особый вид группировки: типологическая, структурная и аналитическая.

Простая группировка выполняется  по одному признаку. Среди простых  группировок особо выделяются ряды распределения. Ряд распределения – группировка, в которой для характеристики групп, упорядоченно расположенных по значению признака применяется один показатель – численность группы.

Формы представления статистических данных

Существует 3 основных формы представления статистических данных:

1. Текстовая – включение данных в текст;
2. Табличная – представление данных в таблицах;
3. Графическая – выражение данных в виде графиков.

Текстовая форма применяется при малом количестве цифровых данных.

Табличная форма применяется чаще всего, так как является более эффективной формой представления статистических данных. В отличие от математических таблиц, которые по начальным условиям позволяют получить тот или иной результат, статистические таблицы рассказывают языком цифр об изучаемых объектах.

Статистическая  таблица – это система строк и столбцов, в которых в определенной последовательности и связи излагается статистическая информация о социально-экономических явлениях.

Графики в статистике

Статистические графики  – это условные изображения числовых величин и их соотношений посредством  линий, геометрических фигур, рисунков или географических карт-схем. Графическая  форма облегчает рассмотрение статистических данных, делает их наглядными, выразительными, обозримыми.

Статистический график - это чертеж, на котором статистические совокупности, характеризуемые определенными показателями, описываются с помощью условных геометрических образов или знаков.

Под основой графика (графический образ) понимают геометрические знаки, т.е. совокупность точек, линий фигур, с помощью которых изображаются статистические показатели.

Поле графика - это часть плоскости, где расположены графические образы. Поле графика имеет определенные размеры, которые зависят от его назначения.

Пространственные ориентиры графика задаются в виде системы координат. Система координат необходима для размещения геометрических знаков в поле графика. Наиболее распространенной является система прямоугольных координат.

Масштабные ориентиры статистического графика определяются масштабом и системой масштабных шкал. Масштаб статистического графика - это мера перевода числовой величины в графическую. Шкала включает три элемента: линию (носитель шкалы), определенное число

помеченных  черточками точек, цифровое обозначение  чисел. По правилам числовое значение необходимо помещать строго против соответствующих  точек.

Различают шкалы прямолинейные (миллиметровая линейка) и криволинейные - дуговые и круговые (циферблат часов).

Различают также шкалы равномерные и  неравномерные. Шкала является равномерной, если равным графическим отрезкам соответствуют равные числовые величины. Неравномерным шкалам соответствуют неравные числовые значения.

Экспликация графика - это пояснение его содержания, включает в себя заголовок графика, объяснения масштабных шкал, пояснения отдельных элементов графического образа.

Абсолютные  и относительные величины

Для характеристики массовых явлений  статистика использует статистические величины (показатели). Они подразделяются на абсолютные, относительные и средние.

Результаты статистических наблюдений представляют собой абсолютные величины, отражающие уровень развития какого-либо явления или процесса. Абсолютные величины обозначаются X, а их общее количество в статистической совокупности N. Анализируя абсолютные величины, например, статистические данные о торговле, необходимо сопоставлять эти данные во времени и пространстве, исследовать закономерности их изменения и развития, изучать структуру совокупностей.

Абсолютные величины всегда имеют свою единицу измерения (размерность), присущую изучаемому явлению. Широко распространены следующие виды единиц измерения:

• натуральные,
• условно-натуральные
• стоимостные

Относительная величина – это результат деления (сравнения) двух абсолютных величин. В числителе дроби стоит величина, которую сравнивают, а в знаменателе – величина, с которой сравнивают (база сравнения). Например, если явка студентов сегодня на лекцию составила 80 чел., а на предыдущую лекцию пришло 50 чел., то относительная величина покажет, что явка увеличилась в 80/50 = 1,4 раза, при этом базой сравнения является явка студентов на предыдущую лекцию. Полученная относительная величина выражена в виде коэффициента, который показывает, во сколько раз сравниваемая величина больше базисной. В данном примере база сравнения принята за единицу. В случае если основание принимается за 100, относительная величина выражается в процентах (%), если за 1000 – в промилле (‰).

Различают следующие виды относительных величин, для краткости  именуемые в дальнейшем индексами:

• динамики;
• структуры;
• координации;
• сравнения;
• интенсивности.

Индекс динамики показывает изменение явления во времени и представляет собой отношение значений изучаемого явления в отчетный (анализируемый) период (момент) времени к базисному (предыдущему).

Главное значение средних величин состоит в их обобщающей функции, то есть замене множества различных индивидуальных значений признака средней величиной, характеризующей всю совокупность явлений.

Виды  средних величин различаются  прежде всего тем, какое свойство, какой параметр исходной варьирующей  массы индивидуальных значений признака должен быть сохранен неизменным.

Средней арифметической величиной называется такое среднее значение признака, при вычислении которого общий объем признака (сумма значений признака) в изучаемой совокупности сохраняется неизменным. Иначе можно сказать, что средняя арифметическая величина – это среднее слагаемое, то есть при ее вычислении общий объем (сумма всех значений) признака мысленно распределяется поровну между всеми единицами совокупности.

Теория вероятностей

 Теория вероятностей —  математическая наука, изучающая закономерности массовых случайных явлений (событий).

С практической точки зрения, вероятность  события — это отношение количества тех наблюдений, при которых рассматриваемое  событие наступило, к общему количеству наблюдений. Такая трактовка допустима  в случае достаточно большого количества наблюдений или опытов.

График плотности вероятности нормального распределения — одной из важнейших функций, изучаемых в рамках теории вероятностей. 
 
    Случайным событием (или просто событием) называется всякое явление, которое может произойти или не произойти при осуществлении определенной совокупности условий. Теория вероятностей имеет дело с такими событиями, которые имеют массовый характер. Это значит, что данная совокупность условий может быть воспроизведена неограниченное число раз. Каждое такое осуществление данной совокупности условий называют испытанием (или опытом).  
 
    Если, например, испытание состоит в бросании монеты, то выпадение герба является событием; если испытание — изготовление подшипника данного типа, то соответствие подшипника стандарту — событие; если испытание — бросание игральной кости, т. е. кубика, на гранях которого проставлены цифры (очки) от 1 до 6, to выпадение пятерки — событие.

Показатели вариации

Термин  “вариация” происходит от латинского слова ,,variation” – изменение, колеблемость, различие. Однако не всякие различия принято  называть вариацией. Под вариацией  в статистике понимают такие количественные изменения величин исследуемого признака в пределах качественно  однородной совокупности, которые обусловлены  взаимосвязанным (перекрещивающимся) воздействием различных факторов.

Причиной  вариации являются разные условия существования  разных единиц совокупности. Например, огромное число причин влияет на рост человека, его заработную платы и  т.д.

Для управления и изучения вариации статистикой  разработаны специальные методы исследования вариации, система показателей, с помощью которой вариация измеряется, характеризуются ее свойства.

Первым этапом статистического изучения вариации является построение ряда распределения (или вариационного ряда) – упорядоченного распределения единиц совокупности по возрастающим (чаще) или по убывающим (реже) значениям признака и подсчет числа единиц с тем или иным значением признака. Ряд распределения бывает дискретным и интервальным.

Дискретный  ряд распределения – это таблица, состоящая из двух столбцов (строк) – конкретных значений варьирующего признака Xi и числа единиц совокупности с данным значением признака fi – частот; число групп в дискретном ряду определяется числом реально существующих значений варьирующего признака. В следующей таблице приведен пример дискретного ряда распределения:

Интервальный  ряд распределения – это таблица, состоящая из двух столбцов– интервалов варьирующего признака Xi и числа единиц совокупности, попадающих в данный интервал , или долей этого числа в общей численности совокупностей.

Для всех показателей вариации общим является следующие:  
• если показатель вариации близко к нулю (т.е. индивидуальные значения признака мало отличаются друг от друга), то средняя арифметическая будет достаточно показательной (надежной) характеристикой данной совокупности; 
• если же ряд распределения характеризуется значительным рассеиванием (величина показателя вариации сильно отличается от нуля, является большой), то средняя арифметическая будет ненадежной и ее практическое применение будет ограничено. 
В соответствии с рабочей программой нашей дисциплины, ниже будут рассмотрены наиболее часто применяемые на практике показатели вариации.