Статистические методы прогнозирования
Содержание
Введение
Глава 1. Понятие статистических методов прогнозирования
1.1 Статистика: понятие, содержание
1.2 Виды статистических методов прогнозирования
Глава 2. Применение статистических методов прогнозирования
2.1 Процесс прогнозирования, опирающийся на статистические методы
2.2 Практическое применение статистических методов прогнозирования (на примере метода наименьших квадратов)
Заключение
Список литературы
Введение
В настоящее время следует отметить непрерывно растущую потребность в прогнозах. Под прогнозом понимается научно обоснованное суждение о возможных состояниях объекта в будущем, об альтернативных путях и сроках их достижения. Каждый прогноз разрабатывается с целью добиться ускоренного развития объекта прогнозирования в желательном направлении и избежать нежелательных результатов. Прогноз как новое знание включает, с одной стороны, знания о свойствах объектов, существующих в действительности, наблюдаемых или ненаблюдаемых в период прогнозирования, а с другой – знания о свойствах объектов, которых в период прогнозирования в действительности еще нет. Прогноз создает идеальный образ, модель, описание вероятных процессов, событий.
Под прогнозированием понимают научное (т.е. основанное на системе фактов и доказательств, установленных причинно-следственных связей) выявление вероятностных путей и результатов предстоящего развития явлений и процессов, оценку показателей, характеризующих эти явления и процессы для более или менее отдаленного будущего. Прогнозирование – это научная деятельность, направленная на выявление и изучение возможных альтернатив будущего развития и структуры его вероятных траекторий. Каждая альтернативная траектория развития связывается с наличием комплекса внешних относительно исследуемой системы (явлений) условий.
Правильность исходных теоретических предпосылок, методологической основы прогноза решающим образом влияет на его результаты и возможность их практического использования. Методами социально-экономического прогнозирования называется совокупность приемов мышления, позволяющих на основе анализа ретроспективных внешних и внутренних связей, присущих объекту, а также их измерений в рамках рассматриваемого явления или процесса вынести суждения определенной достоверности относительно его будущего развития. Именно методы прогнозирования позволяют найти меру влияния отдельных закономерностей и причин развития, представить объект прогноза как динамическую систему измеренных с определенной степенью достоверности взаимодействий реальных явлений, факторов, сил общественной деятельности и тем самым дать возможность воспроизвести с определенной степенью вероятности поведение этой системы в будущем.
Сложность выбора наиболее эффективного метода социально-экономического прогнозирования заключается в определении относительно классификации методов прогнозирования характеристик каждого метода, перечня требований к ретроспективной информации и прогнозному фону.
По оценкам отечественных и зарубежных ученных, в настоящее время насчитывается свыше 20 методов прогнозирования, однако число базовых значительно меньше (15-20). Многие из этих методов относятся скорее к отдельным приемам и процедурам, учитывающим нюансы объекта прогнозирования. Другие представляют собой набор отдельных приемов, отличающихся от базовых или друг от друга количеством частных приемов и последовательностью их применения.
В литературе представлены различные классификационные принципы методов прогнозирования. По признаку "информационное основание метода" методы прогнозирования делятся на три класса: фактографические, комбинированные и экспертные (рис. 1, приложение 1). Фактографические базируются на фактической информации об объекте прогнозирования и его прошлом развитии. Класс фактографических методов объединяет следующие три подкласса: методы аналогий, опережающие и статистические методы.
Вопросам статистических методов прогнозирования посвящены работы многих авторов: Дубровой Т.А., Жихарева В.Н., Орлова А.И., Плошко Б.Г., Светунькова С.Г., Четыркина Е.М. и др. Однако актуальность темы требует ее дальнейшего рассмотрения.
Целью настоящей работы является исследование статистических методов прогнозирования.
Для реализации названной цели необходимо решить следующие задачи работы:
1) проанализировать содержание понятия "статистика";
2) охарактеризовать
сущность и особенности
3) изучить процесс
применения статистических
Объектом исследования являются статистические методы прогнозирования.
Предметом исследования являются конкретные методы анализа статистических данных.
Структура работы: введение, две главы основной части (четыре параграфа), заключение, список использованной литературы.
Глава 1. Понятие статистических методов прогнозирования
1.1 Статистика: понятие, содержание
Первая публикация по статистике — это "Книга чисел" в Библии, в Ветхом Завете, в которой рассказано о переписи военнообязанных, проведённой под руководством Моисея и Аарона. Впервые термин "статистика" мы находим в художественной литературе — в "Гамлете" Шекспира (1602 г., акт 5, сцена 2). Смысл этого слова у Шекспира — знать, придворные. По-видимому, оно происходит от латинского слова status, что в оригинале означает "состояние" или "политическое состояние". В течение следующих 400 лет термин "статистика" понимали и понимают по-разному. В литературе собрано более 200 определений этого термина, некоторые из которых приводятся ниже.
Вначале под статистикой понимали описание экономического и политического состояния государства или его части. Например, к 1792 г. относится определение: "статистика описывает состояние государства в настоящее время или в некоторый известный момент в прошлом". И в настоящее время деятельность государственных статистических служб вполне укладывается в это определение.
Однако постепенно термин "статистика" стал использоваться более широко. По Наполеону Бонапарту, "статистика — это бюджет вещей". Тем самым статистические методы были признаны полезными не только для административного управления, но и для применения на уровне отдельного предприятия. Согласно формулировке 1833 г., "цель статистики заключается в представлении фактов в наиболее сжатой форме". Приведем ещё два высказывания. Статистика состоит в наблюдении явлений, которые могут быть подсчитаны или выражены посредством чисел (1895). Статистика — это численное представление фактов из любой области исследования в их взаимосвязи (1909).
Сразу после возникновения теории вероятностей (Паскаль, Ферма, XVII век) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от 0,5, анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т.д. Имеется много публикаций по истории теории вероятностей с описанием раннего этапа развития статистических методов исследований.
В Х1Х веке заметный вклад в развитие практической статистики внёс бельгиец Кетле, на основе анализа большого числа реальных данных показавший устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей. Интересно, что основные идеи статистического приёмочного контроля и сертификации продукции обсуждались академиком Петербургской АН М.В. Остроградским (1801—1862) и применялись в российской армии ещё в середине Х1Х в. Статистические методы управления качеством и сертификации продукции сейчас весьма актуальны.
Современный этап развития статистических методов можно отсчитывать с 1900 г., когда англичанин К. Пирсон основал журнал "Biometrika". Первая треть ХХ в. прошла под знаком параметрической статистики. Изучались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми семейства Пирсона. Наиболее популярным было нормальное (гауссово) распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.
Разработанную в первой трети ХХ в. теорию анализа данных называем параметрической статистикой, поскольку её основной объект изучения — это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением, и т. д. Однако подобных моделей нет в подавляющем большинстве реальных ситуаций, и приближение реального распределения с помощью кривых из семейства Пирсона или его подсемейств — чисто формальная операция. Именно из таких соображений критиковал параметрическую статистику академик АН СССР С. Н. Бернштейн в 1927 г.. Однако эта теория и до сих пор продолжает использоваться значительной массой прикладников.
В ХХ в. статистику часто рассматривают прежде всего как самостоятельную научную дисциплину. Статистика есть совокупность методов и принципов, согласно которым проводится сбор, анализ, сравнение, представление и интерпретация числовых данных (1920-е гг.). В 1954 г. академик Б.В. Гнеденко дал следующее определение: "Статистика состоит из трёх разделов:
1) сбор статистических сведений, то есть сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
2) статистическое исследование
полученных данных, заключающееся
в выяснении тех
3) разработка приёмов
Термин "статистика" употребляют ещё в двух смыслах.
Во-первых, в обиходе под "статистикой" часто понимают набор количественных данных о каком-либо явлении или процессе.
Во-вторых, статистикой называют функцию от результатов наблюдений, используемую для оценивания характеристик и параметров распределений и проверки гипотез.
Со временем результаты обработки статистических данных стали представлять в виде таблиц и диаграмм, как это сейчас делает Федеральная служба государственной статистики России (Росстат) РФ.
Структура современной статистики такова.
Прикладная статистика — методическая дисциплина, являющаяся центром статистики. При применении методов прикладной статистики к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине", "статистика в психологии" и др. С этой точки зрения эконометрика — это "статистические методы в экономике".
Математическая статистика играет роль математического фундамента для прикладной статистики.
К настоящему времени очевидно чётко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. Начиная с 70-х годов ХХ в. исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя.
Сам термин "прикладная статистика" возник как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, то есть путём доказательства теорем. Большую роль играет методологическая составляющая — как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.
Прикладная статистика включает в себя две внематематические области. Во-первых, методологию организации статистического исследования: как планировать исследование, как собирать данные, как подготавливать данные к обработке, как представлять результаты. Во-вторых, организацию компьютерной обработки данных, в том числе разработку и использование баз данных и электронных таблиц, статистических программных продуктов, например, диалоговых систем анализа данных.
Необходимо отметить, что между математической и прикладной статистикой имеется и с течением времени углубляется разрыв. Он проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ, даже не упоминается в учебниках по математической статистике. В результате разрыва специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже — и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки. Типовые ошибки при применении критериев согласия Колмогорова и омега-квадрат давно проанализированы в литературе.
Выделяется также аналитическая статистика – это процедуры оценки характеристик совокупности по данным выборок. Аналитическая статистика включает:
- методы анализа вариации и частотных распределений;
- вопросы теории и практики выборочного наблюдения;
- методы и показатели оценки взаимосвязей признаков;
- методологию статистического изучения динамики;
- основные характеристики, виды и способы исчисления индексов.
Итак, статистика — наука, исследующая с количественной стороны в неразрывной связи с качественной массовые явления, к какой бы области они ни относились, но обладающие признаками совокупности. Прикладная статистика и математическая статистика — это две разные научные дисциплины. Курс математической статистики состоит в основном из доказательств теорем. В курсах прикладной статистики основное — методология анализа данных и алгоритмы расчётов, а теоремы приводятся как обоснования этих алгоритмов, доказательства же, как правило, опускаются.
1.2 Виды статистических методов прогнозирования
Статисти́ческие ме́тоды — методы анализа статистических данных. Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.
Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):
а) разработка и исследование методов общего назначения, без учета специфики области применения;
б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;
в) применение статистических методов и моделей для статистического анализа конкретных данных.
Кратко рассмотрим три только что выделенных вида научной и прикладной деятельности. По мере движения от а) к в) сужается широта области применения конкретного статистического метода, но при этом повышается его значение для анализа конкретной ситуации. Если работам вида а) соответствуют научные результаты, значимость которых оценивается по общенаучным критериям, то для работ вида в) основное — успешное решение конкретных задач той или иной области применения (техники и технологии, экономики, социологии, медицины и др.). Работы вида б) занимают промежуточное положение, поскольку, с одной стороны, теоретическое изучение свойств статистических методов и моделей, предназначенных для определенной области применения, может быть весьма сложным и математизированным, с другой — результаты представляют не всеобщий интерес, а лишь для некоторой группы специалистов. Можно сказать, что работы вида б) нацелены на решение типовых задач конкретной области применения.
Статистические методы анализа данных, относящиеся к группе а), обычно называют методами прикладной статистики. Таким образом, прикладная статистика — это наука о том, как обрабатывать данные произвольной природы, без учета их специфики.
Математическая основа прикладной статистики и статистических методов анализа данных в целом — это математическая наука, известная под названием "теория вероятностей и математическая статистика". Как уже было отмечено выше, прикладная статистика — другая область знаний, чем математическая статистика.
Описание вида данных и, при необходимости, механизма их порождения — начало любого статистического исследования. Отметим, что для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей, оставляя детерминированные методы экономической учебной дисциплине "Общая теория статистики".
Вряд ли возможно противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно проанализировать на основе тех или иных вероятностно-статистических моделей. Отметим, что возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.
В простейшей ситуации статистические данные — это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.
При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат — числа, а часть — качественные (категоризованные) данные, то говорим о векторе разнотипных данных.
Одним элементом выборки, то есть одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, то есть его изменение во времени, — электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций.
Элементами выборки могут быть и иные математические объекты. Например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы — образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т. д.
Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных — числовые и нечисловые. Соответственно прикладная статистика разбивается на две части — числовую статистику и нечисловую статистику.
Числовые статистические данные — это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки — это (классические) законы больших чисел и центральные предельные теоремы.
Нечисловые статистические данные — это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т.д.
В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т.н. цензурированные данные, состоящие из набора чисел — продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.
Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях национальной экономики, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.
Опыт прогнозирования индекса инфляции и стоимости потребительской корзины накоплен в Институте высоких статистических технологий и эконометрики. При этом оказалось полезным преобразование (логарифмирование) переменной - текущего индекса инфляции. Характерно, что при стабильности условий точность прогнозирования оказывалась достаточно удовлетворительной - 10-15 %. Однако, если обратиться к истории, спрогнозированное на осень 1996 г. значительное повышение уровня цен не осуществилось. Дело в том, что руководство страны перешло к стратегии сдерживания роста потребительских цен путем массовой невыплаты зарплаты и пенсий. Условия изменились - и статистический прогноз оказался непригодным. Влияние решений руководства Москвы проявилось также в том, что в ноябре 1995 г. (перед парламентскими выборами) цены в Москве упали в среднем на 9,5%, хотя обычно для ноября характерен более быстрый рост цен, чем в другие месяцы года, кроме декабря и января.
Оценивание точности прогноза - необходимая часть процедуры квалифицированного прогнозирования. При этом обычно используют вероятностно-статистические модели восстановления зависимости, например, строят наилучший прогноз по методу максимального правдоподобия. Разработаны параметрические (обычно на основе модели нормальных ошибок) и непараметрические оценки точности прогноза и доверительные границы для него (на основе Центральной Предельной Теоремы теории вероятностей). Так, в литературе предложены и изучены методы доверительного оценивания точки наложения (встречи) двух временных рядов и их применения для оценки динамики технического уровня собственной продукции и продукции конкурентов, представленной на мировом рынке.
Применяются также эвристические приемы, не основанные на какой-либо теории: метод скользящих средних, метод экспоненциального сглаживания.
Адаптивные методы прогнозирования позволяют оперативно корректировать прогнозы при появлении новых точек. Речь идет об адаптивных методах оценивания параметров моделей и об адаптивных методах непараметрического оценивания. Отметим, что с развитием вычислительных мощностей компьютеров проблема сокращения объемов вычисления теряет свое значение.
Многомерная регрессия, в том числе с использованием непараметрических оценок плотности распределения - основной на настоящий момент эконометрический аппарат прогнозирования. Подчеркнем, что нереалистическое предположение о нормальности погрешностей измерений и отклонений от линии (поверхности) регрессии использовать не обязательно. Однако для отказа от предположения нормальности необходимо опереться на иной математический аппарат, основанный на многомерной центральной предельной теореме теории вероятностей и эконометрической технологии линеаризации. Он позволяет проводить точечное и интервальное оценивание параметров, проверять значимость их отличия от 0 в непараметрической постановке, строить доверительные границы для прогноза.
Весьма важна проблема проверки адекватности модели, а также проблема отбора факторов. Дело в том, что априорный список факторов, оказывающих влияние на отклик, обычно весьма обширен, желательно его сократить, и крупное направление современных эконометрических исследований посвящено методам отбора "информативного множества признаков". Однако эта проблема пока еще окончательно не решена. Проявляются необычные эффекты. Так, в литературе установлено, что обычно используемые оценки степени полинома имеют геометрическое распределение. Перспективны непараметрические методы оценивания плотности вероятности и их применения для восстановления регрессионной зависимости произвольного вида. Наиболее общие постановки в этой области получены с помощью подходов статистики нечисловых данных.
К современным статистическим методам прогнозирования относятся также модели авторегрессии, модель Бокса-Дженкинса, системы эконометрических уравнений, основанные как на параметрических, так и на непараметрических подходах.
Для установления возможности применения асимптотических результатов при конечных (т.н. "малых") объемах выборок полезны компьютерные статистические технологии. Они позволяют также строить различные имитационные модели. Отметим полезность методов размножения данных (бутстреп-методов). Системы прогнозирования с интенсивным использованием компьютеров объединяют различные методы прогнозирования в рамках единого автоматизированного рабочего места прогнозиста.
Прогнозирование на основе данных, имеющих нечисловую природу, в частности, прогнозирование качественных признаков основано на результатах статистики нечисловых данных. Весьма перспективными для прогнозирования представляются регрессионный анализ на основе интервальных данных, включающий, в частности, определение и расчет нотны и рационального объема выборки, а также регрессионный анализ нечетких данных. Общая постановка регрессионного анализа в рамках статистики нечисловых данных и ее частные случаи - дисперсионный анализ и дискриминантный анализ (распознавание образов с учителем), давая единый подход к формально различным методам, полезна при программной реализации современных статистических методов прогнозирования.
Итак, статистические методы представляют собой совокупность методов обработки количественной информации об объекте прогнозирования, объединенной по принципу выявления содержащихся в ней математических закономерностей изменения характеристик данного объекта с целью получения прогнозных моделей.
Глава 2. Применение статистических методов прогнозирования