Оценка точности и достоверности результатов моделирования

“Министерство науки и образования  Российской Федерации”

Волгоградский государственный  технический университет 
 

Кафедра “Системы автоматизированного проектирования и поискового конструирования” 
 
 
 
 
 
 
 
 

Семестровая работа

по дисциплине “Моделирование систем”

“Оценка точности и достоверности результатов  моделирования” 
 
 
 
 
 
 
 
 
 
 

Выполнил: студент группы

ИВТ-362 Додонов А. В. 

Проверил: д.т.н

Фоменков  С.А. 
 
 
 
 
 
 

г. Волгоград, 2011 г. 
 

Содержание 

1. Введение……………………………………………………………….3
2. Особенности статистической обработки результатов ЭВМ………4
3. Корреляционный анализ результатов моделирования………….…9
4. Регрессионный анализ результатов моделирования………………11
5. Дисперсионный анализ результатов моделирования…………...…15
6. Вывод…………………………………………………………………..18
7. Список используемой литературы…………………………………..19

Введение.

     Конечная  цель моделирования — принятие решения, которое должно быть выработано на основе всестороннего анализа полученных результатов. Этот этап решающий — либо вы продолжаете исследование, либо заканчиваете. Возможно, вам известен ожидаемый результат, тогда необходимо сравнить полученный и ожидаемый результаты. В случае совпадения вы сможете принять решение.

     Основой для выработки решения служат результаты тестирования и экспериментов. Если результаты не соответствуют целям поставленной задачи, значит, допущены ошибки на предыдущих этапах. Это может быть либо слишком упрощенное построение информационной модели, либо неудачный выбор метода или среды моделирования, либо нарушение технологических приемов при построении модели. Если такие ошибки выявлены, то требуется корректировка модели, т. е. возврат к одному из предыдущих этапов. Процесс повторяется до тех пор, пока результаты эксперимента не будут отвечать целям моделирования. Главное, надо всегда помнить: выявленная ошибка — тоже результат.  
Как говорит народная мудрость, на ошибках учатся. 
 
 
 
 
 
 
 
 
 

Особенности статистической обработки  результатов ЭВМ

   При выборе методов обработки существенную роль играют три особенности машинного эксперимента с моделью системы S.

   1. Возможность получать при моделировании  системы S на ЭВМ большие выборки позволяет количественно оценить характеристики процесса функционирования системы, но превращает в серьезную проблему хранение промежуточных результатов моделирования. Эту проблему можно решить, используя рекуррентные алгоритмы обработки, когда оценки вычисляют по ходу моделирования.

2. Сложность исследуемой системы S при ее моделировании на ЭВМ часто приводит к тому, что априорное суждение о характеристиках процесса функционирования системы, например о типе ожидаемого распределения выходных переменных, является невозможным. Поэтому при моделировании систем широко используются непараметрические оценки и оценки моментов распределения.
3. Блочность конструкции машинной модели М_м и раздельное исследование блоков связаны с программной имитацией входных переменных для одной частичной модели по оценкам выходных переменных, полученных на другой частичной модели. Если ЭВМ, используемая для моделирования, не позволяет воспользоваться переменными, записанными на внешние носители, то следует представить эти переменные в форме, удобной для построения алгоритма их имитации.

   При исследовании сложных систем и большом  числе реализаций N в результате моделирования на ЭВМ получается значительный объем информации о состояниях процесса функционирования системы. Поэтому необходимо так организовать в процессе вычислений фиксацию и обработку результатов моделирования, чтобы оценки для искомых характеристик формировались постепенно по ходу моделирования, т. е. без специального запоминания всей информации о состояниях процесса функционирования системы S.

   Если  при моделировании процесса функционирования конкретной системы S учитываются случайные факторы, то и среди результатов моделирования присутствуют случайные величины. В качестве оценок для искомых характеристик рассчитывают средние значения, дисперсии, корреляционные моменты и т. д.

   при обработке результатов моделирования можно подойти к оценке вероятностей возможных значений случайной величины, т. е. закона распределения. Область возможных значений случайной величины h разбивается на п интервалов. Затем накапливается количество попаданий случайной величины в эти интервалы т_k, к=1, п. Оценкой для вероятности попадания случайной величины в интервал с номером k служит величина m_k/N. Таким образом, при этом достаточно фиксировать п значений т_k при обработке результатов моделирования на ЭВМ.

    Для оценки среднего значения случайной  величины h накапливается сумма возможных значений случайной величины у_k, k=1, N, которые она принимает при различных реализациях. Тогда среднее значение

   При этом ввиду несмещенности и состоятельности  оценки

   В качестве оценки дисперсии случайной  величины h при обработке результатов моделирования можно использовать

   При обработке результатов машинного  эксперимента с моделью М_м наиболее часто возникают следующие задачи: определение эмпирического закона распределения случайной величины, проверка однородности распределений, сравнение средних значений и дисперсий переменных, полученных в результате моделирования, и т. д. Эти задачи с точки зрения математической статистики являются типовыми задачами по проверке статистических гипотез.

   Задача  определения эмпирического закона распределения случайной величины наиболее общая из перечисленных, но для правильного решения требует большого числа реализаций N. В этом случае по результатам машинного эксперимента находят значения выборочного закона распределения F_э(y) (или функции плотности f_э(y)) и выдвигают нулевую гипотезу Н₀, что полученное эмпирическое распределение согласуется с каким-либо теоретическим распределением. Проверяют эту гипотезу Н₀ с помощью статистических критериев согласия Колмогорова, Пирсона, Смирнова и т. д., причем необходимую в этом случае статистическую обработку результатов ведут по возможности в процессе моделирования системы S на ЭВМ.

   Критерий  согласия Колмогорова основан на выборе в качестве меры расхождения U величины .

   Из  теоремы Колмогорова следует, что  при имеет функцию распределения

   Если  вычисленное на основе экспериментальных  данных значение 5 меньше, чем табличное значение при выбранном уровне значимости у, то гипотезу Я₀ принимают, в противном случае расхождение между F_э(y) и F(y) считается неслучайным гипотеза Н₀ отвергается.

   Критерий  Колмогорова для обработки результатов  моделирования целесообразно применять  в тех случаях, когда известны все параметры теоретической функции распределения. Недостаток использования этого критерия связан с необходимостью фиксации в памяти ЭВМ для определения D всех статистических частот с целью их упорядочения в порядке возрастания.

   Критерий  согласия Пирсона основан на определении в качестве меры расхождения U величины

   где т_i — количество значений случайной величины h, попавших в i-й подынтервал; p_i — вероятность попадания случайной величины h в i-й подынтервал, вычисленная из теоретического распределения; d — количество подынтервалов, на которые разбивается интервал измерения в машинном эксперименте.

   При закон распределения величины U, являющейся мерой расхождения, зависит только от числа подынтервалов и приближается к закону распределения (хи-квадрат) с (d-r-1) степенями свободы, где r — число параметров теоретического закона распределения.

   Из  теоремы Пирсона следует, что, какова бы ни была функция распределения  F(y) случайной величины h, при распределение величины имеет вид

   где Г(k/2) — гамма-функция; z — значение случайной величины , k = d-r-1 — число степеней свободы. Функции распределения F_k(z) табулированы.

   По  вычисленному значению U= и числу степеней свободы k с помощью таблиц находится вероятность .Если эта вероятность превышает некоторый уровень значимости , то считается, что гипотеза Н₀ о виде распределения не опровергается результатами машинного эксперимента.

   Для принятия или опровержения гипотезы выбирают некоторую случайную величину U, характеризующую степень расхождения теоретического и эмпирического распределения, связанную с недостаточностью статистического материала и другими случайными причинами. Закон распределения этой случайной величины зависит от закона распределения случайной величины h и числа реализаций N при статистическом моделировании системы S. Если вероятность расхождения теоретического и эмпирического распределений Р { U_T ≥ U} велика в понятиях применяемого критерия согласия, то проверяемая гипотеза о виде распределения Н₀ не опровергается. Выбор вида теоретического распределения F(y) (или f(y)) проводится по графикам (гистограммам) F_э(у) (или f_э(у)), выведенным на печать или на экран дисплея.

   Хотя  рассмотренные оценки искомых характеристик  процесса функционирования системы  S, полученные в результате машинного эксперимента с моделью М_м, являются простейшими, но охватывают большинство случаев, встречающихся в практике обработки результатов моделирования системы для целей ее исследования и проектирования.  
 
 
 
 
 
 
 
 
 
 
 

Корреляционный  анализ результатов  моделирования.

   С помощью корреляционного анализа исследователь может установить, насколько тесна связь между двумя (или более) случайными величинами, наблюдаемыми и фиксируемыми при моделировании конкретной системы S. Корреляционный анализ результатов моделирования сводится к оценке разброса значений h относительно среднего значения , т. е. к оценке силы корреляционной связи. Существование этих связей и их тесноту можно для схемы корреляционного анализа выразить при наличии линейной связи между исследуемыми величинами и нормальности их совместного распределения с помощью коэффициента корреляции.

Рис.1. Различные  случаи корреляции переменных

   Для того чтобы оценить точность полученной при обработке результатов моделирования  системы S оценки r_xh, целесообразно ввести в рассмотрение коэффициент

w = ln [(1+ r_xh)/(1-r_xh)]/2,

   причем  w приближенно подчиняется гауссовскому распределению со средним значением и дисперсией:

   Из-за влияния числа реализаций при  моделировании N на оценку коэффициента корреляции необходимо убедиться в том, что действительно отражает наличие статистически значимой корреляционной зависимости между исследуемыми переменными модели М_м. Это можно сделать проверкой гипотезы Н₀: r_xh=0. Если гипотеза Н₀ при анализе отвергается, то корреляционную зависимость признают статистически значимой. Очевидно, что выборочное распределение введенного в рассмотрение коэффициента w при r_xh= 0 является гауссовским с нулевым средним m_w = 0 и дисперсией .

   При анализе результатов моделирования  системы S важно отметить то обстоятельство, что даже если удалось установить тесную зависимость между двумя переменными, то отсюда еще непосредственно не следует их причинно-следственная взаимообусловленность. Возможна ситуация, когда случайные x и h стохастически зависимы, хотя причинно они являются для системы S независимыми. При статистическом моделировании наличие такой зависимости может иметь место, например, из-за коррелированности последовательностей псевдослучайных чисел, используемых для имитации событий, положенных в основу вычисления значений х и у.

   Таким образом, корреляционный анализ устанавливает  связь между исследуемыми случайными переменными машинной модели и оценивает тесноту этой связи. Однако в дополнение к этому желательно располагать моделью зависимости, полученной после обработки результатов моделирования. 
 
 
 
 
 
 
 
 
 
 

Регрессионный анализ результатов  моделирования.

     Регрессионный анализ — метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной. Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные. Критерием качества приближения (целевой функцией) обычно является среднеквадратичная ошибка: сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента. Регрессионный анализ — раздел математической статистики и машинного обучения. Предполагается, что зависимая переменная есть сумма значений некоторой модели и случайной величины. Относительно характера распределения этой величины делаются предположения, называемые гипотезой порождения данных. Для подтверждения или опровержения этой гипотезы выполняются статистические тесты, называемые анализом остатков. При этом предполагается, что независимая переменная не содержит ошибок. Регрессионный анализ используется для прогноза, анализа временных рядов, тестирования гипотез и выявления скрытых взаимосвязей в данных.

     Определение регрессионного анализа

     Регрессия — зависимость математического ожидания(например, среднего значения) случайной величины от одной или нескольких других случайных величин (свободных переменных), то есть  . Регрессионным анализом называется поиск такой функции  , которая описывает эту зависимость. Регрессия может быть представлена в виде суммы неслучайной и случайной составляющих.

     где   — функция регрессионной зависимости, а   — аддитивная случайная величина с нулевым мат ожиданием. Предположение о характере распределения этой величины называется гипотезой порождения данных. Обычно предполагается, что величина   имеет гауссово распределение с нулевым средним и дисперсией  .

     Задача  нахождения регрессионной модели нескольких свободных переменных ставится следующим образом. Задана выборка — множество   значений свободных переменных и множество  соответствующих им значений зависимой переменной. Эти множества обозначаются как  , множество исходных данных  . Задана регрессионная модель — параметрическое семейство функций   зависящая от параметров   и свободных переменных  . Требуется найти наиболее вероятные параметры  :

     Функция вероятности   зависит от гипотезы порождения данных и задается Байесовским выводом или методом наибольшего правдоподобия.

     Линейная регрессия

     Линейная  регрессия предполагает, что функция   зависит от параметров   линейно. При этом линейная зависимость от свободной переменной   необязательна,

     В случае, когда функция   линейная регрессия имеет вид

     здесь   — компоненты вектора  .

     Значения  параметров в случае линейной регрессии  находят с помощью метода наименьших квадратов. Использование этого метода обосновано предположением о гауссовском распределении случайной переменной.

     Разности   между фактическими значениями зависимой переменной и восстановленными называются регрессионными остатками. В литературе используются также синонимы: невязки и ошибки. Одной из важных оценок критерия качества полученной зависимости является сумма квадратов остатков:

     Здесь   — Sum of Squared Errors.

     Дисперсия остатков вычисляется по формуле

     Здесь   — Mean Square Error, среднеквадратичная ошибка.

     На  графиках представлены выборки, обозначенные синими точками, и регрессионные зависимости, обозначенные сплошными линиями. По оси абсцисс отложена свободная переменная, а по оси ординат — зависимая. Все три зависимости линейны относительно параметров.

     Нелинейная регрессия

     Нелинейные регрессионные модели — модели вида

     которые не могут быть представлены в виде скалярного произведения

     где   — параметры регрессионной модели,   — свободная переменная из пространства  ,   — зависимая переменная,   — случайная величина и   — функция из некоторого заданного множества.

     Значения  параметров в случае нелинейной регрессии  находят с помощью одного из методов  градиентного спуска, например алгоритма Левенберга-Марквардта.

Дисперсионный анализ результатов  моделирования.

     В процессе наблюдения за исследуемым  объектом качественные факторы произвольно  или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.

     В зависимости от количества факторов, определяющих вариацию результативного  признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.

     Основными схемами организации исходных данных с двумя и более факторами  являются:

     - перекрестная классификация, характерная  для моделей I, в которых каждый  уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;

     - иерархическая (гнездовая) классификация,  характерная для модели II, в которой  каждому случайному, наудачу выбранному  значению одного фактора соответствует  свое подмножество значений второго фактора.

     Если  одновременно исследуется зависимость  отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ /3/.

     При обработке данных эксперимента наиболее разработанными и поэтому распространенными считаются две модели. Их различие обусловлено спецификой планирования самого эксперимента. В модели дисперсионного анализа с фиксированными эффектами исследователь намеренно устанавливает строго определенные уровни изучаемого фактора. Термин «фиксированный эффект» в данном контексте имеет тот смысл, что самим исследователем фиксируется количество уровней фактора и различия между ними. При повторении эксперимента он или другой исследователь выберет те же самые уровни фактора. В модели со случайными эффектами уровни значения фактора выбираются исследователем случайно из широкого диапазона значений фактора, и при повторных экспериментах, естественно, этот диапазон будет другим.

     Таким образом, данные модели отличаются между  собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.

     При проведении дисперсионного анализа  должны выполняться следующие статистические допущения: независимо от уровня фактора  величины отклика имеют нормальный (Гауссовский) закон распределения  и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.

     Говорят, что техника дисперсионного анализа  является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут быть в некоторой степени нарушены, но несмотря на это, технику можно использовать.

     При неизвестном законе распределения  величин отклика используют непараметрические (чаще всего ранговые) методы анализа.

     В основе дисперсионного анализа лежит  разделение дисперсии на части или  компоненты. Вариацию, обусловленную  влиянием фактора, положенного в основу группировки, характеризует межгрупповая дисперсия у². Она является мерой вариации частных средних по группам вокруг общей средней и определяется по формуле:

     где k - число групп;

     n_j - число единиц в j-ой группе;

     - частная средняя по j-ой группе;

     - общая средняя по совокупности  единиц.

     Вариацию, обусловленную влиянием прочих факторов, характеризует в каждой группе внутригрупповая  дисперсия у_j².

     Между общей дисперсией у₀², внутригрупповой дисперсией у² и межгрупповой дисперсией существует соотношение:

     у₀² = + у².

     Внутригрупповая дисперсия объясняет влияние  неучтенных при группировке факторов, а межгрупповая дисперсия объясняет  влияние факторов группировки на среднее значение по группе. 
 
 
 
 
 
 
 
 
 
 

Выводы

      Успех имитационного эксперимента с моделью системы существенным образом зависит от правильного решения вопросов обработки и последующего анализа и интерпретации результатов моделирования. Особенно важно решить проблему текущей обработки экспериментальной информации при использовании модели для целей автоматизации проектирования систем. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

   Список  используемой литературы:

     1     Кремер Н.Ш. Теория вероятности и математическая статистика. М.: Юнити - Дана, 2002.-343с.

     2      Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 2003.-523с.

     3 http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F

     4   Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с

5.    Брандт З. Анализ данных. М.: Мир. 2003.