Методика оценки качества

Содержание

 

Введение……………………………………………………………………………...3

1. Методология прогнозирования…………………………………………….........4
2. Дифференциальный и интегральный методы оценки качества прогноза........7
3. Математическое определение качества прогноза………………………..…….9
4. Преимущества и недостатки различных методов оценки качества прогнозов……………………………………………………………………..…14

Заключение…………………………………………………………………………16

Список литературы………………………………………………………………...17

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

Прогнозирование всегда занимало особое место, вызывало активный интерес со стороны практических работников, поскольку задачи прогнозирования являются актуальными для всех иерархических уровней экономики, на любых этапах экономической динамики. Прогнозирование, предшествующее планированию, позволяет оценить конкретную ситуацию в управлении и дает практике гибкий инструмент анализа текущих ситуаций. Экономическое прогнозирование в настоящее время переживает новый этап своего развития, претерпевая существенные изменения.

Существует много методов прогнозирования, в частности, экспертные оценки, экстраполирование, модели временных рядов, эконометрические системы, нормативное прогнозирование, метод сценариев. В этой связи встает вопрос о методах оценки качества прогнозов, полученных различными способами.

Оценка качества прогноза – одна из центральных проблем в процессе разработки управленческих решений. Степень доверия к разработанному прогнозу во многом влияет на решение и сказывается на эффективности управленческих решений, принимаемых с использованием разработанного прогноза. Однако оценка качества прогноза является достаточно сложной задачей не только в момент, когда прогноз только разработан, но и в момент, когда прогнозируемое событие уже произошло.

 

 

 

 

 

 

 

 

 

1. Методология прогнозирования.

Прогнозирование – разработка прогноза, т. е. специальное научное исследование перспектив (прошлых тенденций) развития каких-либо явлений (технических, социально-экономических). Методология прогнозирования связана с планированием и моделированием. 

Период (время), на который делается прогноз, называется шагом прогнозирования. Различают прогнозирование с постоянным и переменным шагом прогнозирования.

При прогнозировании используются три группы методов (схема 1):

– экстраполяция (интерполяция);

– моделирование;

– опрос экспертов.

Экстраполяция изучает явление и переносит тенденции этого изученного явления на другую часть этого явления или переносит прошлые тенденции явления на будущие периоды. В научном плане примером является математическая статистика. 

Интерполяция имеет сходную с экстраполяцией методологию – ищет промежуточные значения величины (параметра) по некоторым известным ее значениям. 

Каждый прогноз имеет свои цели и задачи. Прогнозы могут быть классифицированы следующим образом:

– по виду объекта;

– по масштабу объекта;

– по затратам ресурсов;

– по времени;

– по числу факторов;

– по применяемым методам;

– прочие.

Отметим, что можно было дополнить этот перечень признаком компонентного состава статистического ряда или наличием стационарности.

 

Схема 1.2. Классификация методов прогнозирования

Любая цель прогнозного исследования, отраженная в классификации, имеет тенденцию к обособлению, т. е. развиваются специальные отрасли знания, ориентированные на углубленное изучение конкретных проблем. Например, желание сравнительного анализа разнородных объектов прогнозирования привело к возникновению теории комплексного показателя оценки эффективности.

Отметим, что каждая классификация должна быть продолжена с точки зрения целей исследования. В этом случае будет построена иерархия классификаций и один и тот же признак займет свое место в разных иерархиях. 

Особенностью прогнозирования является тот факт, что статистические данные (доступные к моменту времени t) об изучаемых явлениях или процессах используются для предварительного анализа и выдвижения гипотез о характере применяемых методов прогнозирования.

Прогнозирование тесно связано с планированием. В частности, их могут объединять общность целей, объекты исследования, а также факторы, показатели для которых планируются или прогнозируются.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Дифференциальный и  интегральный методы оценки качества  прогнозов.

Однако оценка качества прогноза является сложной задачей не только в момент, когда прогноз только разработан (априорная оценка), но и в момент, когда прогнозируемое событие уже произошло (апостериорная оценка). Здесь следует также отметить тот факт, что качественный прогноз при принятии решения может быть использован по-разному.

Если со стороны руководства организации не оказывается значительное воздействие на ход развития событий, а лишь осуществляется наблюдение за ним, то после наступления конца прогнозируемого периода необходимо, лишь сопоставить значения спрогнозированных показателей и параметров с полученными в действительности. Это позволяет оценить качество разработанного прогноза апостериорно.

После разработки прогноза должны быть определены критерии, по которым точность прогноза может быть оценена. Обычно для оценки качества прогноза используются два метода: дифференциальный и интегральный.

Интегральный метод предполагает обобщенную оценку качества прогноза на базе оценки качества прогноза по частным критериям. При дифференциальном методе анализируются наборы оценок отдельных составляющих качества прогноза, имеющих достаточно четкий объективный смысл. Этими критериями могут быть: ясность и четкость задания на прогноз, соответствие прогноза заданию, своевременность разработки прогноза, профессиональный уровень разработки прогноза, надежность использованной информации и т.д.

Примером использования интегрального метода может служить критерий «интегральное качество экспертного прогноза».

Качество экспертного прогноза определяется по таким критериям, как: 
• компетентность (или, в более общем виде, качество) эксперта;

• качество информации, представляемой экспертам;

• качество экспертной информации, поступающей от экспертов;

• уровень технологии разработки прогноза.

Если период прогнозирования уже завершился, то необходимо сопоставить спрогнозированные значения показателей и параметров с полученными в результате реализовавшегося в действительности хода прогнозируемых событий. И здесь на первый план выступает вопрос, – по какому критерию оценивать качество прогноза апостериорно. В качестве примера критериев оценки точности прогноза можно привести следующую формулу:

K1=│X – U│K2=│ln X/U│,

где X – прогнозировавшееся значение оценки показателя; U – истинное значение оценки показателя.

После того, как прогноз подготовлен и представлен руководству, наступает этап после прогнозной работы с подготовленным материалом. Вариантная разработка прогноза предполагает разработку прогноза при различных альтернативных вариантах условий и предположений. А они могут измениться. События, вчера казавшиеся маловероятными, сегодня происходят, а казавшиеся наиболее вероятными не происходят. Поэтому неотъемлемой частью современной технологии прогнозирования является периодически, в зависимости от происходящих изменений, осуществляемый мониторинг хода реализации спрогнозированного хода развития событий. Мониторинг позволяет своевременно выявлять значительные отклонения в ходе развития событий. Если они могут оказать принципиальное влияние на дальнейший ход событий в части касающейся принятия важных стратегических решений, то прогноз должен быть подвергнут корректировке.

Коррективы могут быть различного уровня значимости, сложности, трудоемкости и т.д. Если они не очень значительны, то эта проблема может решаться на уровне группы, сопровождающей разработку прогноза. Если коррективы более существенны, то может потребоваться дополнительное привлечение отдельных специалистов. Последнее необходимо, в особенности, в тех случаях, когда для корректировки прогноза требуется привлечение специалистов другой профессиональной ориентации.

3. Математическое определение качества прогноза.

         Качество прогнозирования, прежде всего, характеризуется ошибкой прогноза (математическое определение качества прогноза): предполагается, что чем меньше ошибка прогноза, тем выше качество прогноза. 
Все существующие методики оценки качества прогнозирования можно условно разделить на три группы показателей: 

1) абсолютные;  
2) сравнительные; 
3) качественные. 

        Абсолютные показатели оценки качества прогноза позволяют количественно определить величину ошибки прогноза в единицах измерения прогнозируемого объекта или в процентах. Это среднеквадратическая ошибка s, абсолютная ошибка , средняя абсолютная ошибка , относительная ошибка eпр и средняя относительная ошибка  . Рассмотрим эти показатели.

Абсолютная ошибка прогноза может быть определена как разность между фактическим значением (xi) и прогнозом (x*i), значит,

 
среднее абсолютное значение ошибки:

Среднее абсолютное значение всегда неотрицательно, (и когда   отрицательно, т.е.  ). Среднеквадратическая ошибка прогноза рассчитывается по формуле:

, где n — период упреждения. 

Следует отметить, что существует связь среднего абсолютного отклонения   со стандартным отклонением s.

Для большого класса статистических распределений значение стандартного отклонения несколько больше значения среднего абсолютного отклонения и строго пропорционально ему. Константа пропорциональности для различных распределений колеблется между 1.2 и 1.3. Чаще всего на практике берется значение 1.25, поэтому  .

Недостатком рассматриваемых показателей является то, что значение этих характеристик существенно зависит от масштаба измерения уровней исследуемых явлений. 

Поэтому абсолютная ошибка прогноза   может быть выражена в процентах относительно фактических значений показателя следующим образом:   ,

а средняя относительная ошибка  рассчитывается как:

Данный показатель, как правило, используется при сравнении точности прогнозов разнородных объектов прогнозирования, поскольку этот показатель характеризует относительную точность прогноза. 

Если на практике xi  > 0, то eпр становится бесконечной величиной. Поэтому при экономическом прогнозировании для случаев, когда данные не могут принимать нулевые значения, вычисляется . Если же xi = 0, целесообразно пропустить соответствующие вычисления, уменьшая при этом и число n на единицу. 

Средняя абсолютная и среднеквадратическая ошибки фиксируют среднее значение ошибки на каждом шаге прогноза без учета этой ошибки. Средняя ошибка позволяет определить, какой вид ошибки является наиболее типичным — недооценка или переоценка прогнозируемого показателя. Необходимо иметь в виду, что   и s  равны нулю только тогда, когда xi = x*i для каждого i, т. е. в случае совершенного прогноза. Аналогичное утверждение несправедливо для абсолютной ошибки, поскольку здесь может иметь место взаимопогашение ошибок. Для расчета этих показателей могут быть использованы как абсолютные величины переменных, так и их приросты или темпы приростов.

Сравнительные показатели оценки качества прогноза основаны на сравнении ошибки рассматриваемого прогноза с эталонными прогнозами определенного вида.

Один из типов таких показателей (k) может быть представлен следующим образом: 
, 
где p*i — прогнозируемое значение величины эталонного прогноза.

В качестве эталонного прогноза может быть выбрана простая экстраполяция, постоянный темп прироста и т.п. Частным случаем показателей такого типа является коэффициент несоответствия ( ), в котором p*i = 0 для всех i:

 , где   в случае совершенного прогноза.

 не имеет верхней конечной границы. В случае необходимости можно построить различные модификации коэффициента несоответствия.  
К сравнительным показателям следует отнести и коэффициент корреляции (R) между прогнозируемыми и фактическими значениями переменной:  
. 

Одним из недостатков использования коэффициента корреляции в качестве измерителя точности прогнозов является то, что полная положительная корреляция не предполагает совершенного прогноза. Например, если  R = l, то это означает, что существует линейная зависимость между рядами прогнозных и фактических величин, т.е. можно подобрать такие константы a и b (b>0), что . При этом для совершенного прогноза необходимо, чтобы a = 0 и b = 1. Вследствие этого коэффициент корреляции наиболее пригоден для анализа прогнозов циклически развивающихся переменных.

Качественные показатели позволяют провести некоторый анализ видов ошибок прогнозов, разложить их на какие-либо составляющие. Особенно такой анализ важен для циклически изменяющихся переменных, когда необходимо прогнозировать не только общее направление развития, но и поворотные точки цикла, в которых меняются коэффициенты адаптации прогнозной модели. 

Одним из методов такого анализа является построение диаграмм (или графиков) в одних координатных осях для реальных и прогнозных данных. 

Использование диаграмм позволяет содержательно оценить качество различных прогнозов, рассчитать некоторые коэффициенты, анализирующие качество прогнозирования, а также позволяет выделить наиболее типичные ошибки (недооценки или переоценки изменений) прогнозирования.

Все рассмотренные выше показатели точности прогноза используются при проверке точности прогноза, полученного в виде точечных оценок. Если же при прогнозировании получен интервальный прогноз, то мерой точности прогноза может быть относительное число случаев к общему числу случаев, предложенное Е.М. Четыркины:

,  
где р – число прогнозов, подтвержденных фактическими данными;

      q – число прогнозов, не подтвержденных фактическими данными.  
Если h =1, то все прогнозы подтверждаются, и h =0, если прогнозы не подтверждаются (p=0).

Рассмотренные выше показатели точности прогноза могут быть использованы только при наличии информации о фактических значениях исследуемого показателя. Все они имеют большую ценность при сопоставлении различных методик прогнозирования. 

Если же статистических данных о прогнозируемом показателе нет, то проблема точности рассматривается как проблема сопоставления априорных качеств или свойств, присущих альтернативным прогностическим моделям. Причем при прогнозировании статистическими методами понятия априорной точности прогноза связывают с размером доверительного интервала. В этом случае модель-прогноз считается более точной, если при одной и той же доверительной вероятности она дает более узкий доверительный интервал по сравнению с другой моделью. 

Выбор показателей точности прогнозов зависит от задач, которые ставит перед собой исследователь при анализе точности прогноза. При этом необходимо помнить о фоне прогнозирования. 

Важным критерием правильности применения прогнозной модели является проверка на адекватность. Адекватными моделями считаются такие, для которых остаточная компонента имеет свойства независимости, случайности и нормальности распределения.

Для проверки корреляции внутри ряда применяется критерий Дарбина–Уотсона. В соответствии с этим критерием, если величина d близка к 2, то можно считать модель регрессии достаточно адекватной:

,

где m – длина временного ряда;

ei – ошибка прогноза:  .

 

 

4. Преимущества и недостатки различных методов оценки качества прогнозов.

Средняя процентная ошибка прогнозирования ( ) является абсолютной мерой качества прогнозов в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше – плохим.

Две другие меры качества прогнозов ( и s) являются относительными, то есть могут быть использованы для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого значение или s меньше. При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения расчета – . Обычно все эти значения не противоречат друг другу, то есть выбирают в качестве лучшего один и тот же прогноз, но наиболее часто для сравнения прогнозов используется – s.

Главными достоинствами всех перечисленных выше методов является простота их расчета и независимость от свойств ошибок прогнозирования, главным недостатком – то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Поясним, что имеется в виду. 

Пусть у нас есть два различных прогноза одного и того же показателя. Например, эти прогнозы получены по двум разным моделям А и В. Мы знаем, что модель А является довольно простой (например, с точки зрения методов ее оценки), а модель В, напротив – сложной. Рассчитав простейшие показатели качества получаем, что модель В обладает чуть лучшими характеристиками, например, ее  равно 4,9%, а модели А – 5,3%. На первый взгляд, модель В лучше. Но мы знаем, что для ее оценки требуется гораздо больше усилий по сравнению с моделью А. Соответственно, возникает вопрос: а стоит ли тратить много усилий на оценку модели, прогноз по которой получается не намного лучше, чем при использовании более простой модели?

Для ответа на этот вопрос можно использовать специальные тесты: F-тест, тест Моргана – Грейнджера – Ньюболда, тест Миза – Рогоффа, тест знаков и ранговый тест знаков Вилкоксона, которые позволяют выяснить (проверить гипотезу) являются ли множества прогнозов, полученных двумя разными способами, различными с формальной (статистической) точки зрения. 

Рассмотрим отдельные тесты для проверки гипотезы о совпадении прогнозов. Самым простым способом проверки гипотезы о совпадении прогнозов, полученными двумя различными способами (А и В), является F-тест. Он рассчитывается как отношение выборочной ковариации между ошибками прогнозирования, полученными по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В. Для возможности применения теста необходимо, чтобы ошибки прогнозирования удовлетворяли всем стандартным требованиям, то есть имели нулевой средний уровень, являлись нормальными, а также серийно и одновременно некоррелированными. Такие серьезные ограничения являются главным недостатком теста, поскольку сильно ограничивают возможности его корректного использования. Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования – они ослабили все предположения классического F-теста. С этой точки зрения, данный тест является универсальным инструментом проверки гипотезы об отсутствии значимых различий между прогнозами.

Отметим актуальность проблемы: многие эмпирические исследования показывают, что прогнозы по простым моделям очень часто оказываются лучше с точки зрения простейших оценок качества, чем прогнозы, полученные более сложными методами.

 

Заключение

Из всего вышесказанного можно сделать вывод, что при современных условиях функционирования рыночной экономики, невозможно успешно управлять, без эффективного прогнозирования и планирования. От того, насколько прогнозирование будет точным и своевременным, а также соответствовать поставленным проблемам, будут зависеть, в конечном счете, основные показатели деятельности.

Так как прогнозирование является отдельной наукой, то целесообразно использование нескольких методов прогнозирования при решении какой-либо проблемы. Это повысит качество прогноза и позволит определить «подводные камни», которые могут быть незамечены при использовании только одного метода. 

Для улучшения качества прогноза необходимо улучшить качество информации, необходимой при его разработке. Эта информация, в первую очередь, должна обладать такими свойствами, как достоверность, полнота, своевременность и точность.

Существует стандартный набор показателей качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различий между прогнозами того или иного показателя, если их было несколько. Необходимо отметить, что указанные в работе методы оценки качества прогнозов не зависят от того, каким из способов получены прогнозы.

 

 

 

 

 

 

 

 

Список литературы.

1. Владимирова Л.П. Прогнозирование и планирование в условиях рынка. Учебное пособие. – М.: 2010.

2. Басовский Л. Е. Прогнозирование и планирование в условиях рынка. М.: Инфра-М, 2007.- 259 с.

3. Литвак Б.Г. Управленческие решения. Учебное пособие – М.: ЭКМОС 2008.

4.  Турунцева М., Юдин А., Дробышевский С., Кадочников П., Трунин П., Пономаренко С. Некоторые подходы к прогнозированию экономических показателей. – М.: ИЭПП, 2005.

5. Турунцева М., Киблицкая Т. Качественные свойства различных подходов к прогнозированию социально-экономических показателей РФ. – М.: ИЭПП, 2010.

6. Шишов К.  Методы организации и оценки качества экспертиз/ http:// www.uran.donetsk.ua/masters/2005/kita/klochkov/library [Электронный ресурс]

7. Турунцева М.Ю. Оценка качества прогнозов: простейшие методы // Российское предпринимательство. — 2011. — № 8 Вып. 1 (189). — c. 50-56.