Дісперсійній аналіз

 

МІНІСТЕРСТВО ОСВІТИ І  НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ

 

Кафедра ТКВТ

 

Реферат

по предмету: «Cтатистичні методи контролю та управління якістю»

на тему:

«Дісперсійній аналіз»

 

 

 

Виконав:                                                                               Перевірив:

ст.гр. ЯССс-12-1                                                                   Нікітенко О.М.

Новаков О. О.

 

 

 

 

 

Харків 2012

Содержание

 

    Введение………………….……………………………………………....3

1. Назначение дисперсионного анализа………………………………....4

2.Принцип построения и проведения дисперсионного анализа………7

3. Результаты метода и их применение…………………………...........11

    Выводы…………………….…………………………….…................ 15

    Список использованной литературы…………………………........….16

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Дисперсионный анализ (от латинского Dispersio – рассеивание) – статистический метод, позволяющий анализировать  влияние различных факторов на исследуемую  переменную. Метод был разработан биологом

Р. Фишером в 1925 году и  применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная  значимость дисперсионного анализа  для экспериментов в психологии, педагогике, медицине и др.

Целью дисперсионного анализа  является проверка значимости различия между средними с помощью сравнения  дисперсий.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 Назначение дисперсионного анализа

 

Целью дисперсионного анализа  является проверка значимости различия между средними с помощью сравнения  дисперсий. Дисперсию измеряемого  признака разлагают на независимые  слагаемые, каждое из которых характеризует  влияние того или иного фактора  или их взаимодействия. Последующее  сравнение таких слагаемых позволяет  оценить значимость каждого изучаемого фактора, а также их комбинации .

При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой  изменчивостью, должна быть близкой  к оценке межгрупповой дисперсии.

При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Например, проводя опросы по поводу потребления какого-либо товара в различных регионах страны, необходимо сделать выводы,  на сколько  данные опроса отличаются или не отличаются друг от друга. Сопоставлять отдельные  показатели не имеет смысла и поэтому  процедура сравнения и  последующей  оценки производится по некоторым усредненным  значениям и отклонениям от этой усредненной оценки. Изучается вариация признака. За меру вариации может быть принята дисперсия. Дисперсия – мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.

На практике часто возникают  задачи более общего характера –  задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние  различного сырья на качество производимой продукции, решить задачу о влиянии  количества удобрений на урожайность  с/х продукции.

Иногда дисперсионный  анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей одинаковы  по предположению; если дисперсионный  анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в  одну и тем самым получить о  ней более полную информацию, следовательно, и более надежные выводы .[1]

 

2 Принцип построения и проведения дисперсионного анализа

 

В процессе наблюдения за исследуемым  объектом качественные факторы произвольно  или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными  уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.

В зависимости от количества факторов, определяющих вариацию результативного  признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.

Основными схемами организации  исходных данных с двумя и более  факторами являются:

- перекрестная классификация, характерная для моделей I, в которых каждый уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;

- иерархическая (гнездовая) классификация, характерная для модели II, в которой каждому случайному, наудачу выбранному значению одного фактора соответствует свое подмножество значений второго фактора.

Если одновременно исследуется  зависимость отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ.

При обработке данных эксперимента наиболее разработанными и поэтому  распространенными считаются две  модели. Их различие обусловлено спецификой планирования самого эксперимента. В модели дисперсионного анализа с фиксированными эффектами исследователь намеренно устанавливает строго определенные уровни изучаемого фактора. Термин «фиксированный эффект» в данном контексте имеет тот смысл, что самим исследователем фиксируется количество уровней фактора и различия между ними. При повторении эксперимента он или другой исследователь выберет те же самые уровни фактора. В модели со случайными эффектами уровни значения фактора выбираются исследователем случайно из широкого диапазона значений фактора, и при повторных экспериментах, естественно, этот диапазон будет другим.

Таким образом, данные модели отличаются между собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.

При проведении дисперсионного анализа должны выполняться следующие статистические допущения: независимо от уровня фактора величины отклика имеют нормальный (Гауссовский) закон распределения и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.

Говорят, что техника дисперсионного анализа является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут  быть в некоторой степени нарушены, но несмотря на это, технику можно  использовать.

При неизвестном законе распределения  величин отклика используют непараметрические (чаще всего ранговые) методы анализа.

В основе дисперсионного анализа  лежит разделение дисперсии на части  или компоненты. Вариацию, обусловленную  влиянием фактора, положенного в  основу группировки, характеризует  межгрупповая дисперсия σ². Она является мерой вариации частных средних по группам вокруг общей средней и определяется по формуле:

 

,

где   k -  число групп;

n_j - число единиц в j-ой группе;

- частная средняя по j-ой группе;

- общая средняя по совокупности  единиц.

 

Вариацию, обусловленную влиянием прочих факторов, характеризует в  каждой группе внутригрупповая дисперсия  σ_j².

 

.

 

Между общей дисперсией σ₀², внутригрупповой дисперсией σ² и межгрупповой дисперсией  существует соотношение:

σ₀² = 

+ σ².

 

Внутригрупповая дисперсия объясняет  влияние неучтенных при группировке  факторов, а межгрупповая дисперсия  объясняет влияние факторов группировки  на среднее значение по группе .

Однофакторный дисперсионный  анализ используется в тех случаях, когда есть в распоряжении три или более независимые выборки, полученные из одной генеральной совокупности путем изменения какого-либо независимого фактора, для которого по каким-либо причинам нет количественных измерений.

Для этих выборок предполагают, что они имеют разные выборочные средние и одинаковые выборочные дисперсии. Поэтому необходимо ответить на вопрос, оказал ли этот фактор существенное влияние на разброс выборочных средних или разброс является следствием случайностей, вызванных небольшими объемами выборок. Другими словами если выборки принадлежат одной и той же генеральной совокупности, то разброс данных между выборками (между группами) должен быть не больше, чем разброс данных внутри этих выборок (внутри групп).

Пусть x_ik – i – элемент ( i=1..n_k ) k -выборки ( k=1..,m ), где m – число выборок, n_k – число данных в k -выборке. Тогда  – выборочное среднее 

k -выборки определяется по формуле

 

.

 

Общее среднее вычисляется  по формуле

 

, где

 

Основное тождество дисперсионного анализа имеет следующий вид:

 

Q=Q₁+Q₂ ,

 

где Q₁ – сумма квадратов отклонений выборочных средних  от общего среднего  (сумма квадратов отклонений между группами); Q₂ – сумма квадратов отклонений наблюдаемых значений x_ik от выборочной средней  (сумма квадратов отклонений внутри групп); Q – общая сумма квадратов отклонений наблюдаемых значений x_ik от общего среднего  .

Расчет этих сумм квадратов  отклонений осуществляется по следующим  формулам:

 

 

В качестве критерия необходимо воспользоваться критерием Фишера:

 

.

 

Если расчетное значение критерия Фишера будет меньше, чем  табличное значение F(λ;m-1;n-m) – нет оснований считать, что независимый фактор оказывает влияние на разброс средних значений, в противном случае, независимый фактор оказывает существенное влияние на разброс средних значений (λ– уровень значимости, уровень риска, обычно для экономических задач λ=0,05).

Недостаток однофакторного анализа: невозможно выделить те выборки, которые отличаются от других. Для этой цели необходимо использовать метод Шеффера или проводить парные сравнения выборок.

В двухфакторном  дисперсионном анализе проверяется гипотеза о равенстве математических ожиданий выходного контролируемого параметра y при различных уровнях двух факторов. Например, производится выпуск одинаковых изделий различными предприятиями, использующих различных поставщиков. Здесь два фактора: предприятия и поставщики. Необходимо проверить гипотезу о равенстве математических ожиданий выходного контролируемого параметра (например качества изделия) при различных уровнях (предприятиях) первого и различных уровнях (поставщиках) второго фактора. Модель исследуемого объекта представлена на рис.2.1:

 

Рисунок 2.1- Изображение модели исследуемого обьекта

 

В этой модели входные переменные x₁ и x₂ принимают дискретные значения, а выходная переменная y является непрерывной случайной величиной, вероятностная природа которой обусловлена наличием аддитивной помехи e.

Двухфакторный дисперсионный  анализ базируется на следующих предпосылках:

1) В каждом наблюдении e_i имеет нормальное распределение с нулевым МО и конечной дисперсией.

2) Для любого i дисперсия  e_i является величиной постоянной.[2]

 

3 Результаты метода и  их применение

 

Дисперсионный анализ –  совокупность методов определения дисперсности, т. е. характеристики размеров частиц в дисперсных системах. Дисперсионный анализ включает различные способы определения размеров свободных частиц в жидких и газовых средах, размеров каналов-пор в тонкопористых телах (в этом случае вместо понятия дисперсности используют равнозначное понятие пористости), а также удельной поверхности. Одни из методов дисперсионного анализа позволяют получать полную картину распределения частиц по размерам (объёмам), а другие дают лишь усреднённую характеристику дисперсности (пористости).

К первой группе относятся, например, методы определения размеров отдельных частиц непосредственным измерением (ситовой анализ, оптическая и электронная микроскопия) или  по косвенным данным: скорости оседания частиц в вязкой среде (седиментационный анализ в гравитационном поле и в центрифугах), величине импульсов электрического тока, возникающих при прохождении частиц через отверстие в непроводящей перегородке (кондуктометрический метод).

Вторая группа методов  объединяет оценку средних размеров свободных частиц и определение  удельной поверхности порошков и  пористых тел. Средний размер частиц находят по интенсивности рассеянного  света (нефелометрия), с помощью ультрамикроскопа, методами диффузии и т.д., удельную поверхность - по адсорбции газов (паров) или растворённых веществ, по газопроницаемости, скорости растворения и др. способами. Ниже приведены границы применимости различных методов дисперсионного анализа (размеры частиц в метрах):

Ситовой анализ – 10^-2-10^-4

Седиментационный анализ в гравитационном поле – 10^-4-10^-6

Кондуктометрический метод  – 10^-4-10^-6

            Микроскопия – 10^-4-10^-7

 Метод фильтрации – -10^-7

 Центрифугирование – 10^-6-10^-8

 Ультрацентрифугирование – 10^-7-10^-9

 Ультрамикроскопия – 10^-7-10^-9

 Нефелометрия – 10^-7-10^-9

 Электронная микроскопия – 10^-7-10^-9

 Метод диффузии – 10^-7-10^-10

Дисперсионный анализ широко используют в различных областях науки и промышленного производства для оценки дисперсности систем (суспензий, эмульсий, золей, адсорбентов и т.д.) с величиной частиц от нескольких миллиметров (10^-3м) до нескольких нанометров (10^-9м)

В зависимости от поставленной задачи, объема и характера материала, вида данных и их связей находится  выбор методов математической обработки  на этапах как предварительного (для  оценки характера распределения  в исследуемой выборке), так и  окончательного анализа в соответствии с целями исследования. Крайне важным аспектом является проверка однородности выбранных групп наблюдения, в  том числе контрольных, что может  быть проведено или экспертным путем, или методами многомерной статистики (например, с помощью кластерного  анализа).

Но первым этапом является составление вопросника, в котором  предусматривается стандартизованное  описание признаков. В особенности  при проведении эпидемиологических исследований, где необходимо единство в понимании и описании одних  и тех же симптомов разными  врачами, включая учет диапазонов их изменений (степени выраженности). В  случае существенности различий в регистрации  исходных данных (субъективная оценка характера патологических проявлений различными специалистами) и невозможности их приведения к единому виду на этапе сбора информации, может быть затем осуществлена так называемая коррекция ковариант, которая предполагает нормализацию переменных, т.е. устранение ненормальностей показателей в матрице данных. "Согласование мнений" осуществляется с учетом специальности и опыта врачей, что позволяет затем сравнивать полученные ими результаты обследования между собой. Для этого могут использоваться многомерный дисперсионный и регрессионный анализы.

Признаки могут быть как  однотипными, что бывает редко, так  и разнотипными. Под этим термином понимается их различная метрологическая  оценка. Количественные или числовые признаки - это замеренные в определенной шкале и в шкалах интервалов и  отношений

(I группа признаков). Качественные, ранговые или балльные используются  для выражения медицинских терминов  и понятий не имеющих цифровых  значений (например, тяжесть состояния)  и замеряются в шкале порядка 

(II группа признаков). Классификационные  или номинальные (например, профессия,  группа крови) - это замеренные  в шкале наименований (III группа  признаков).

Во многих случаях делается попытка анализа крайне большого числа признаков, что должно способствовать повышению информативности представленной выборки. Однако выбор полезной информации, то есть осуществление отбора признаков  является операцией совершенно необходимой, поскольку для решения любой  классификационной задачи должны быть отобраны сведения, несущие полезную для данной задачи информацию. В  случае, если это не осуществлено по каким-то причинам исследователем самостоятельно или отсутствуют достаточно обоснованные критерии для снижения размерности  пространства признаков по содержательным соображениям, борьба с избыточностью  информации осуществляется уже формальными  методами путем оценки информативности. [3]

Дисперсионный анализ позволяет  определить влияние разных факторов (условий) на исследуемый признак (явление), что достигается путем разложения совокупной изменчивости (дисперсии, выраженной в сумме квадратов отклонений от общего среднего) на отдельные компоненты, вызванные влиянием различных источников изменчивости.

С помощью дисперсионного анализа исследуются угрозы заболевания  при наличии факторов риска. Концепция  относительного риска рассматривает  отношение между пациентами с  определенной болезнью и не имеющими ее. Величина относительного риска  дает возможность определить, во сколько  раз увеличивается вероятность  заболеть при его наличии, что  может быть оценено с помощью  следующей упрощенной формулы:

r' = a*d / b*c,

где  a - наличие признака в исследуемой группе;

b - отсутствие признака  в исследуемой группе;

c - наличие признака в  группе сравнения (контрольной);

d - отсутствие признака  в группе сравнения (контрольной).

Показатель атрибутивного  риска (rA) служит для оценки доли заболеваемости, связанной с данным фактором риска:

,

где   Q - частота признака, маркирующего риск, в популяции;

r' - относительный риск.

Выявление факторов, способствующих возникновению (проявлению) заболевания, т.е. факторов риска может осуществляться различными способами, например, путем  оценки информативности с последующим  ранжированием признаков, что однако не указывает на совокупное действие отобранных параметров, в отличие  от применения регрессионного, факторного анализов, методов теории распознавания  образов, которые дают возможность  получать "симптомокомплексы" риск-факторов. [4]

ВЫВОДЫ

 

Современные приложения дисперсионного анализа охватывают широкий круг задач экономики, биологии и техники  и трактуются обычно в терминах статистической теории выявления систематических  различий между результатами непосредственных измерений, выполненных при тех  или иных меняющихся условиях.

Благодаря автоматизации  дисперсионного анализа исследователь  может проводить различные статистические исследования с применение ЭВМ, затрачивая при этом меньше времени и усилий на расчеты данных. В настоящее  время существует множество пакетов  прикладных программ, в которых реализован аппарат дисперсионного анализа. Наиболее распространенными являются такие  программные продукты как:

- MS Excel;

- Statistica;

- Stadia;

- SPSS.

В современных статистических программных продуктах реализованы  большинство статистических методов. С развитием алгоритмических  языков программирования стало возможным  создавать дополнительные блоки  по обработке статистических данных.

Дисперсионный анализ является мощным современным статистическим методом обработки и анализа экспериментальных данных в психологии, биологии, медицине и других науках. Он очень тесно связан с конкретной методологией планирования и проведения экспериментальных исследований.

Дисперсионный анализ применяется  во всех областях научных исследований, где необходимо проанализировать влияние  различных факторов на исследуемую  переменную.

 

Список используемой литературы

 

1. Дисперсионный анализ. Материал из Википедии – свободной энциклопедии [Электронный ресурс].- Режим доступа: http://ru.wikipedia.org/.

2. Федоров, В. К. Прикладная статистика. Исследование зависимостей. [Текст] / В. К. Федоров,Н. П. Сергеев, А.А.Кондрашин. – М. : Техносфера, 2005. - 504 с.

3. Райхман, Э. П. Экспертные методы в оценке качества товаров [Текст] / Э. П. Райхман, Г. П. Азгальдов. – М. : Экономика, 1974. – 151с.

4. Шишкин, И. Ф. Квалиметрия и управление качеством [Текст] / учеб. для вузов / И. Ф. Шишкин, В. М. Станякин. – М. : Изд-во ВЗПИ, 1992. – 210с.