Прогнозирование в сельском хозяйстве

2. Предмет и  объект теории прогнозирования  и планирования.

    Рассмотрим  основные, тенденции развития типичных прогнозируемых объектов.

    В первую очередь необходимо выделить тенденцию постоянного сокращения их «жизненного цикла» (когда на смену одним объектам приходят качественно  новые). Еще 30-40 лет назад этот цикл был сопоставим с длительностью  среднего трудового стажа работника (например, технические системы не претерпевали существенных изменении деятельности), а ныне составляет обычно несколько лет.

    Вторая  тенденция состоит в стабилизации периода времени от момента формирования концепции, идеи нового объекта до реализации идеи, ее практического применения. «Реализационный цикл» больших  технических систем в настоящее  время составляет, например, 9-13 лет, и с этим необходимо считаться. Как  известно, в отдаленном прошлом он был весьма значителен, измерялся  иногда многими десятилетиями, но затем  начал стремительно сокращаться. Ныне, в условиях НТР, этот процесс существенно  замедляется в связи с резким усложнением самого характера объектов.

    Третья  тенденция определяется возрастанием количества возможных альтернатив  решения изучаемой проблемы.

    Помимо  значительного усложнения задачи выбора предпочтительного варианта возникают  проблемы взаимосвязи подсистем  и элементов, увязки целей и задач  системы, проблемы выбора рациональных диапазонов характеристик. Одна и та же проблема может быть решена различными средствами. В таких условиях трудно дифференцировать полезность многих вариантов. В ряде случаев разработка того или  иного альтернативного варианта прогноза дает лишь незначительные оперативные  улучшения, но требует значительной затраты сил и средств, причем не всегда имеется возможность решить, насколько выгоден тот или  иной вариант. Отбор той или иной группы альтернативных вариантов становится исключительно сложной задачей.

    Четвертая тенденция определяется ростом затрат на создание, производство, эксплуатацию подавляющего большинства прогнозируемых объектов. Наблюдается абсолютный и  относительный рост затрат. Практически  каждый новый объект обычно дороже предшествующего. Такая же ситуация наблюдается и для большей  части подсистем объекта. Важно  определить опережающие темпы роста  затрат на объект в целом, на его  основные подсистемы, учитывая в то же время возможности снижения затрат на отдельные элементы.

    Тенденция роста затрат на создание и эксплуатацию объекта является следствием усложнения как самих объектов, так и системы  взаимосвязей организаций, принимающих  в этом участие. Риск разработки объекта, не удовлетворяющего потребности отвлечения значительных ресурсов, существенно  возрос, возросла и ответственность  за принятие решения. Это и определило необходимость совместного рассмотрения основных тенденций развития прогнозируемых объектов. Решение должно базироваться на тщательном анализе альтернативных вариантов. Таким образом, на первый план выдвигаются проблемы выбора перспективных  направлений. Выбор становится ключевой эффективного управления.

    Вопросы анализа объекта прогнозирования  тесно переплетаются с вопросами  синтеза прогнозной модели.

    В теории системного анализа используются два подхода к анализу и  синтезу подобных структур, которые  применимы и к анализу объектов прогнозирования. Первый подход называется объектным, он предполагает выделение  подсистем путем поэлементного  деления объектов на более мелкие. Каждый из последних может затем рассматриваться в качестве объекта прогнозирования соответствующего уровня иерархии При таком структурировании каждая подсистема рассматривается как совокупность свойств и взаимосвязей соответствующего объекта. Объектный принцип анализа структуры системы рекомендуется в том случае, когда объект имеет количественно сложную структуру при относительно небольших сложности и разнообразии составляющих подсистем (первичных объектов). Целесообразно выделять группы сходных по свойствам первичных объектов и анализировать наиболее типичные характеристики каждой группы. Этим существенно упрощается решение задачи.

    Второй  подход к анализу и синтезу  структур называется функциональным. Он отличается от объектного тем, что  за основу структурного членения объекта  берется функциональный признак. Этот подход рекомендуется в случае, когда  число первичных объектов, которые  составляют объект прогнозирования, невелико, но сами они являются весьма сложными по своим характеристиками взаимосвязям. Тогда целесообразно выделять группы сходных функций и послеживать  их реализацию вне зависимости от принадлежности к тем или иным первичным объектам.

    Выбор подхода к анализу структуры  объекта зависит от ряда факторов (природа объекта, цель анализа и  прогнозирования, масштабность объекта  и др.). Иногда принять однозначное  решение затруднительно. В таких  случаях допустимо использование  смешанного объектно-функционального  подхода, который в различных  пропорциях сочетает достоинства каждого  из двух указанных выше. На практике выбор осуществляется обычно экспертным путем с учетом совокупности целей  прогнозирования и особенностей объекта. Осуществив выбор, можно использовать весьма эффективные алгоритмы, которые  базируются на теории распознавания  образов и идентификации.

    Важную  роль в этой работе способны сыграть современная теория систем и системный анализ. Подход к анализу объекта с системных позиций считается одним из основных принципов прогнозирования. Такой подход диктуется характерной чертой объектов управления на современном этапе научно-технической революции, их масштабностью. Наличие большого числа взаимосвязанных переменных, описывающих современные объекты и процессы их развития в науке, технике, экономике, культуре, заставляет исследователя обязательно приводить их описание для анализа, прогноза, управления к системному виду.

    Неразрывно  связано с теорией систем и  системным анализом другое теоретическое  основание анализа объекта прогнозирования - теория моделирования и подобия, которая широко используется в процессе построения формализованной модели объекта, особенно при изучении формы  связей между входными и выходными  переменными, количественных оценок адекватности прогнозной модели объекту-оригиналу.

    Большую роль при анализе объекта прогнозирования  играет обработка исходной информации, ее измерение и оптимальное использование. При разработке прогнозов развития больших систем, информация о которых  представляется в виде сложных статистических комплексов, весьма эффективно используются теория информации, теория измерений, теория распознавания образов. Их использование  чрезвычайно конструктивно, когда  приходится осуществлять выбор ведущих  переменных в описании объекта, минимизацию  параметров описания, выбор адекватных шкал для измерения как количественных, так и качественных переменных, классификацию  состояний объекта в пространстве параметров и переменных и т. п.

    Из  разделов математики в теоретической  базе анализа объекта прогнозирования  наиболее существенное место занимают теория вероятностей и математическая статистика, теория численных методов  анализа и оптимизации, современная  теория факторного анализа, дифференциальные уравнения. Последние применяются для описания относительно регулярных процессов, случайной составляющей которых можно пренебречь по той или иной причине. В основном же современные прогнозные модели объектов строятся в рамках статистических моделей, моделей экстраполяции и интерполяции регулярных составляющих, оценки влияния случайных составляющих процесса. 

    28.Многомерные  методы статистики в прогнозировании  (кластерный, дискриминантный, факторный  анализ)

    Многомерные методы предоставляют вычислительные и графические средства для исследования различных форм ассоциации — сходства, близости, группировки данных. Данные могут быть представлены в виде множества  переменных, значения которых характеризуют  некоторое число объектов, - стран  или предприятий за один период или  один объект в разные периоды, например экономика страны в различные  годы.

    Большинство методов решают задачу уменьшения количестве переменных, необходимых для описания исследуемого явления объекта, системы и выделения в этом пространстве наиболее важных характеристик или скрытых факторов.

Кластерный  анализ

    Метод кластерного анализа позволяет  строить классификацию m объектов посредством объединения их в группы или кластеры на основе критерия минимума расстояния в пространстве т переменных, описывающих объекты. Метод позволяет находить разбиение множества объектов на заданное число кластеров.

    Кластерный  анализ носит количественный характер, но статистические пакеты обычно не предлагают методов проверки гипотезы об адекватности получаемых классификаций.

    Исходные  данные для кластерного анализа  представляются в вид матрицы  размером m × n, содержащей информацию одного из следующих трех типов:

    измерения Х_ij значений m переменных для n объектов;

    квадратная (m = n) матрица расстояний между парами объектов;

    квадратная (m = n) матрица близостей для всех пар n объектов.

    Объектами могут быть товары разных фирм, например легковые автомобили. Переменными могут  быть их характеристики, значимые для  покупателей. В этом случае кластерный анализ позволяет объективно разделить  их на группы и облегчить позиционирование автомобиля предприятия по отношению  к конкурентам, обосновать назначение цены.

    Другим  видом объектов могут быть регионы  страны. Если в качестве переменных использовать уровень доходов и  уровень цен, то можно классифицировать регионы по уровню благосостояния. Можно в качестве переменных взять 32 показателя благосостояния, рекомендуемые  ООН, тогда классификация будет  всесторонней. На ее основе можно планировать  региональную экономическую политику.

    В ряде статистических пакетов в матрице  близостей или в матрице расстояний может быть заполнена лишь левая  нижняя половина под диагональю, верхняя  половина может быть заполнена нулями

    Если  исходные данные представляют собой  значения m переменных для n объектов, то необходимо выбрать стратегию объединения и метод вычисления расстояния d_ij между объектами в многомерном пространстве — метрики.

    Дивизивная стратегия динамических сгущений позволяет сгруппировать объекты в заданное число кластеров.

    В случае дивизивной стратегии кластеризации необходимо указать число кластеров, на которое желательно разбить множество объектов, причем окончательное количество кластеров может получиться меньше этого числа, если затребованное разбиение для имеющихся данных невозможно.

    Промежуточным результатом анализа являются среднее  внутрикластерное расстояние, по которому можно сравнивать различные варианты кластеризации, и кластеры с указанием в каждый кластер объектов.

    В случае использования матрицы переменные—объекты можно получить проекции на плоскость  каждых двух переменных графика кластеров, на котором объекты каждого кластера соединяются линиями с центральным  объектом. Они позволяют наглядно представить характеристики классификации.

    Агломеративная стратегия позволяет строить дендрограмму классификации в ходе иерархического процесса объединения кластеров. Часто используют следующие варианты этой стратегии:

    стратегия ближайшего соседа очень сильно сжимает  пространство исходных переменных и  рекомендуется для получения  минимального дерева взамен групповой  классификации;

    стратегия дальнего соседа сильно растягивает  пространство;

    стратегия группового соседа сохраняет метрику  пространства;

    гибкая  стратегия универсальна и зависит  от значения бета-параметра (параметр должен быть < 1,0); при бета = 0 метрика не меняется, при бета > 0 пространство сжимается, а при бета < 0 — растягивается;

    метод Уорда минимизирует внутрикластерный разброс объектов, дендрограмма получается с гипертрофированно разделенными кластерами.

    В случае агломеративной стратегии можно получить матрицы расстояний между объектами. Кроме того, можно получить последовательность кластеров возрастающей общности с указанием входящих в кластеры объектов и расстояния, на уровне которых произошло объединение кластеров.

    В результате анализа строится дендрограмма — дерево объединения кластеров с порядковыми номерами объектов по одной оси со шкалой расстояний — по другой.

    При выполнении анализа расстояния оценивают  с использованием различных метрик.

    Евклидова метрика, знакомая всем из школьного  курса геометрии, применима для  переменных, измеренных в одних единицах.

    Нормализованная евклидова метрика более подходит для переменных, измеренных в различных  единицах или сильно различающихся  по величине.

    Метрика суммы квадратов может использоваться, чтобы стратегии объединения  были аддитивны по отношению к  переменным то есть чтобы расстояние между кластерами было равно сумме расстояний между их компонентами.

    Если  переменные обладают существенно различной значимостью, то целесообразно взвешенное суммирование квадратов, но при этом матрица данных должна содержать веса переменных.

    Манхеттеновская метрика, как правило, применяется для номинальных или качественных, ранговых переменных.

    Метрика Брея—Картиса для номинальных и ранговых данных имеет значения между 0 и 1, переменные с большими значениям оказывают большее влияние на результат.

    Канберрова метрика для номинальных и ранговых переменны также лежат между 0 и 1, но обладают нечувствительностью к сильно асимметричным данным. Применение этой метрики при наличии нулевых и отрицательных значений нежелательно, поэтому рекомендуется предварительно преобразовать данные путем сложения каждой переменной с некоторым значением.

    В некоторых случаях необходимо классифицировать не объекты а переменные, отобрав для дальнейшего анализа наиболее удаленные переменные. В этом случае можно прямо воспользоваться метрикой, основанной на коэффициенте корреляции, а также любо; другой метрикой, предварительно транспонировав матрицу данных Вероятностное обоснование результатов кластеризации можно получить методом дискриминантного анализа.

Дискриминантный анализ

    Дискриминантный анализ позволяет проверить гипотезу о возможности классификации  заданного множества объектов n, характеризуемых некоторым числом m переменных X, на некоторое число классов или кластеров А: Он позволяет объективно классифицировать новые объекты по этим переменным

    При выполнении анализа ищется набор  дискриминирующих функции d_l обеспечивающих классификацию объектов на заданное число классов:

    Исходные  данные представляются в виде матрицы  размером (m +1) × n, причем n строк характеризуют n объектов. Первые m столбцов — это значения т переменных для n объектов, а m + 1-й столбец для каждого объекта — это номер его класса. Классы нумеруются натуральными числами от 1 до k, где k — число классов. Объекты, характеризуемые строками в матрице, могут располагаться произвольно относительно номеров классов.

    Если  кроме вычисления дискриминирующей функции нужно с ее помощью  классифицировать ряд новых объектов, то такие объекты также исходно  включаются в матрицу данных с  номером класса 0.

    Результаты  анализа представляют собой следующие  оценки:

    суммарное межкластерное расстояние Махаланобиса D² (Mahalanobis) между классами с уровнем значимости P для нулевой гипотезы "D² = 0", то есть гипотезы о невозможности разбиения совокупности объектов на заданное число классов;

    коэффициенты  дискриминирующей функции, обеспечивающей отнесение объектов к данному  классу, отдельно для каждого класса;

    данные  для каждого объекта j, в том числе номер его класса r, расстояние Махаланобиса D² от объекта до центра класса, уровень значимости Р нулевой гипотезы "D²_j = 0", то есть гипотезы о том, что объект может быть отнесен к данному классу, а также вероятность P_jr отнесения объекта к этому классу.

    Если  Р > 0,05, соответствующая нулевая гипотеза может быть принята.

    Если  начальное разбиение на классы нельзя произвести с достаточной степенью уверенности, можно предварительно выполнить кластерный анализ с использованием дивизивной стратегии разбиения и испробовать несколько вариантов числа группировок.

Факторный анализ

    Переменные, значения которых представляют данные статистики или которые можно  измерять в эксперименте, имеют для  исследуемого объекта или явления  нередко достаточно условный характер. Они могут лишь опосредованно  отражать его внутреннюю структуру, движущие силы или факторы.

    Исследователь рынка, аналитик органа планирования ограничен  набором показателей, традиционно  используемых в официальной статистике, в анкетах для опросов. Когда  неизвестный фактор проявляется  в изменении нескольких переменных, в процессе анализа можно наблюдать  существенную корреляцию или связь  между переменными. Тем самым  число независимых, первоначально  скрытых факторов может быть существенно  меньше, чем число традиционно используемых показателей, которые выбирают достаточно субъективно.

    Степень влияния фактора на некоторый  показатель статистически характеризуется  величиной дисперсии, то есть разбросом  значения этого показателя при изменении  значений фактора. Если расположить  оси исходных переменных ортогонально друг к другу то можно обнаружить, что в этом пространстве объекты  группируются своим расположением, определенным координатами точек, в  виде некоторого облака или эллипса  рассеяния, более вытянутого в одних  направлениях и почти плоского в  других.

    Если  провести новые оси соответственно осям эллипса рассеяния, то можно  говорить о выделении факторов, более  субстанциальных по сравнению с  исходными переменными, и оценивать  сравнительную значимость этих факторов в терминах дисперсии. При этом обычно оказывается, что толщина такого облака рассеяний по некоторым осям настолько мала, что эти оси  можно в дальнейшем вовсе исключить  из рассмотрения.

    Метод факторного анализа первоначально  был разработан в психологии с  целью выделения отдельных компонентов  человеческого интеллекта из многомерных  данных по измерению различных проявлений умственных способностей. Однако очень  быстро этот метод завоевал популярность в экономических исследованиях, пpoгнозировании и планировании. Наиболее широко используется метод главных компонент.

    Как правило, основной задачей факторного анализа являете нахождение сокращенной  системы существенных факторов в  пространстве регистрируемых переменных, что включает следующие этапы:

    выделение первоначальных факторов; этот этап включает вычисление главных компонент и  выбор в качестве факторов тех  компонент, которые отвечают за большую  часть дисперсии, рассеяния данных наблюдения;

    вращение  выделенных факторов с целью облегчения их интерпретации в терминах исходных переменных; содержательная интерпретация  новых факторов является творческой задачей исследователя, выходящей  за рамки формального метода, однако она может принести много полезного  для дальнейшего понимания объекта  исследования.

    Исходные  данные представляются в виде матрицы  размером m × n, содержащей данные одного из следующих двух типов:

    значения  m переменных для n объектов;

    квадратная  матрица корреляции между m переменными.

    Анализ  выполняется следующим образом.

    Если  исходные данные представляют собой  значения m переменных для n объектов, то можно использовать один из двух методов анализа:

    по  корреляционной матрице;

    по  ковариационной матрице.

    Использование ковариационной матрицы сравнительно менее употребительно и позволяет  в вычислениях учитывать не только степень взаимосвязанности, коррелированности  переменных, но и абсолютную величину ковариаций.

    Производится  выделение главных компонент, для  каждого компонента находят:

    собственное значение, пропорциональное части общей  дисперсии экспериментальных данных, приходящейся на данный фактор, то есть объясняемой им;

    процент полной дисперсии, приходящейся на каждый фактор;

    процент накопленной дисперсии.

    Малозначительные  компоненты, собственные значения которых  составляют менее 1—2% накопленной дисперсии, обычно опускаются. В процессе анализа  могут быть получены следующие результаты:

    матрица собственных векторов а_ij, в которой строки соответствуют исходным переменным X, столбцы — факторам Z, ее элементы представляют собой коэффициенты перехода от системы исходных координат X к координатной системе факторов Z: ;

    таблица координат объектов в новой системе  факторов (только для исходных данных типа переменные—объекты);

    рисунки проекций объектов в новой системе  координат на плоскость двух факторов, номера которых указываются в  следующем бланке;

    график  собственных значений факторов в  порядке их убывания, который облегчает  выбор числа значимых факторов;

    значения  нагрузок каждой исходной переменном, показывающие относительные величины проекции переменной на факторную координатную ось; чем больше нагрузка, тем больше близость фактора к исходной переменной, меньше угол девиации между ним в  многомерном пространстве;

    графики факторных нагрузок в проекции на плоскости каждой из двух выбранных  переменных.

    Для облегчения интерпретации факторов можно произвести вращение факторов в пространстве переменных. Вращение позволяет получить более простую структуру системы факторов, при котором каждый фактор имеет большие нагрузки на малое число переменных и малые нагрузки на остальные переменные. Используют различные методы вращения.

    Метод квартимакс имеет тенденцию к выделению генерального фактора, что упрощает интерпретацию за счет уменьшения числа факторов, связанных с каждой переменной. Более употребительный метод варимакс обеспечивает лучшее разделение факторов за счет уменьшения числа переменных, связанных с каждым фактором. Методы эквимакс и биквартимакс дают промежуточный эффект.

    63. Основные приемы и методы прогнозирования  продуктивности сельскохозяйственных  животных.

      Задача № 25

    Рассчитать потребность в сахаре для производства кондитерских изделий индексным методом.

1. Расчет потребности в сахаре нормативным методом

    Таблица 1 – Расчет потребности в сахаре нормативным методом