Робастость статистических оценок

Содержание 

Введение……………………………………………………………………2

Понятие робастности……………………………………………………..3

Основные подходы………………………………………………………..6

Группирование данных как метод робастной статистики…………..7

 Группирование наблюдений как способ получения робастных

 оценок………………………………………………………………………8 

 Функции влияния и робастность оценок……………………………..22

Список литературы………………………………………………………35

                                         Введение

    Робастные методы — новое направление в математической статистике. Методы могут применяться в оценке параметров статистических моделей, применяются также в экономико-математических моделях функциональных комплексов автоматизированных систем управления.

   При решении задач статистического анализа и, в частности, при вычислении оценок параметров распределений проблема наличия в выборке аномальных измерений имеет чрезвычайно важное значение. Присутствие единственного аномального наблюдения может приводить к оценкам, которые совершенно не согласуются с выборочными данными.            

 В борьбе  с грубыми погрешностями измерений,  если они не были обнаружены  в процессе измерений, используют  два подхода:

-      исключение резко выделяющихся аномальных измерений из дальнейшей обработки;

-      использование робастных методов обработки.           

 В данной  работе остановимся на комплексе  взаимосвязанных вопросов: “простом” способе робастного оценивания параметров непрерывных законов распределения, мощности критериев согласия и достаточно эффективном параметрическом методе отбраковки аномальных наблюдений.

                                     Понятие робастности

   Термин "робастность" (robustnes) образован от англ. robust - крепкий, грубый. Сравните с названием одного из сортов кофе - robusta. Имеется в виду, что робастные статистические процедуры должны "выдерживать" ошибки, которые теми или иными способами могут попадать в исходные данные или искажать предпосылки используемых вероятностно-статистических моделей.

   Термин "робастный" стал популярным в нашей стране в 1970-е годы. Сначала он использовался фактически как сужение термина "устойчивый" на алгоритмы статистического анализа данных классического типа (не включая теорию измерений, статистику нечисловых и интервальных данных). Затем реальная сфера его применения сузилась.

    Под робастностью в статистике понимают нечувствительность к различным отклонениям и неоднородностям в выборке, связанным с теми или иными, в общем случае неизвестными, причинами. Это могут быть ошибки детектора, регистрирующего наблюдения, чьи-то добросовестные или не очень попытки «подогнать» выборку до того, как она попадёт к статистику, ошибки оформления, вкравшиеся опечатки и многое другое. Например, наиболее робастной оценкой параметра сдвига закона распределения является медиана, что на интуитивном уровне вполне очевидно (для строгого доказательства следует воспользоваться тем, что медиана является усечённой М-оценкой). Помимо непосредственно «бракованных» наблюдений также может присутствовать некоторое количество наблюдений, подчиняющихся другому распределению. Ввиду условности законов распределений, а это не более, чем модели описания, сама по себе выборка может содержать некоторые расхождения с идеалом.

Тем не менее, параметрический подход настолько вжился, доказав свою простоту и целесообразность, что нелепо от него отказываться. Поэтому и возникла необходимость приспособить старые модели к новым задачам.

Стоит отдельно подчеркнуть и не забывать, что  отбракованные наблюдения нуждаются  в отдельном, более пристальном  внимании. Наблюдения, кажущиеся «плохими»  для одной гипотезы, могут вполне соответствовать другой. Наконец, отнюдь не всегда резко выделяющиеся наблюдения являются «браком». Одно такое наблюдение для генной инженерии, к примеру, стоит миллионов других, мало отличающихся друг от друга.

      В выборке могут присутствовать отклонения от предположений двух видов. Допустим, что наблюдаемая выборка действительно принадлежит тому закону распределения, оценки которого мы пытаемся найти. В этом случае отклонения могут быть связаны с наличием аномальных наблюдений, появление которых в выборке определяется самыми различными причинами, в том числе засорением значениями, принадлежащими другому закону. Если не учитывать наличие аномальных наблюдений, попытки оценивания параметров распределения могут привести к самым плачевным результатам. Что же делать? Естественно, надо отбраковать аномальные измерения, а затем искать оценки параметров. К сожалению, реализовать отбраковку наблюдений в общем случае оказывается совсем не просто. Наблюдения, аномальные с позиций одного закона распределения, являются естественным проявлением закономерностей второго. Если нет надежной процедуры отбраковки или практических соображений, связанных с физикой наблюдаемой величины, пытаются выйти из положения одним из следующих способов. В первом случае усекают выборку, отбрасывая определенную часть минимальных и/или максимальных наблюдений, и по оставшейся части оценивают параметры распределения, то есть используют так называемые -урезанные оценки (отбрасывается  наименьших и  наибольших значений выборки ). Во втором - перед процедурой оценивания винзорируют выборку: всем наблюдениям левее и/или правее определенных значений присваивают одинаковые значения. Эти два подхода используются при обработке наблюдений ещё с XIX века и связаны с именами Пуанкаре и Винзора. Обе эти процедуры далеко не всегда приводят к положительным результатам. Кроме того, в обоих случаях мы имеем дело с новой генеральной совокупностью, которой принадлежит видоизмененная выборка. Более правильным следует считать третий подход, когда выборку цензурируют. Для наблюдений, попавших левее и/или правее определенных значений, фиксируют лишь факт попадания в соответствующий интервал, опуская конкретные значения этих наблюдений. По такой цензурированной выборке оценивают параметры закона.         

 Другая  ситуация. В выборке нет аномальных  наблюдений, но наблюдаемый закон распределения отличается от предполагаемого. Такая ситуация присутствует практически всегда, так как множество законов распределения вероятностей бесконечно, а количество моделей, используемых на практике для описания наблюдаемых случайных величин, очень ограничено. Чем существенней вид предполагаемой модели отличается от реально наблюдаемого закона, тем сильнее это отражается на оценках параметров.          

 Очевидно, что в наблюдаемых на практике  выборках и закон, пусть мало, но отличается от используемой модели, и обычно налицо аномальные наблюдения. Поэтому применение цензурирования, одностороннего или двустороннего, далеко не всегда приносит желаемый эффект.

                                   Основные подходы

Для того, чтобы ограничить влияние неоднородностей, либо вовсе его исключить, существует множество различных подходов. Среди них выделяются два основных направления:

Сгруппировать данные, не отбраковывая отдельные  наблюдения, таким образом значительно снизив возможность порчи выборки отдельными выпадами. После чего с достаточной степенью уверенности пользоваться классическими методами статистики.

Отслеживать выбросы  непосредственно в процессе анализа. Например, для определения параметров закона распределения использовать итерационную процедуру с усечёнными или th-сниженными M-оценками .

         Группирование данных как метод робастной статистики

Посредством группирования  выборки можно резко снизить  влияние отдельных наблюдений, не отбрасывая их. Разбиение на интервалы  не представляет особых трудностей и  даёт весьма ощутимый результат. Существует три наиболее распространённых способа  разбиения:

Разбиение на интервалы  равной длины. Наиболее простой и  потому распространённый способ.

Разбиение на интервалы  равной вероятности, также называемое равно частотным группированием, что отражает практическую реализацию этого метода. В результате такого группирования выборки осуществляется максимизация величины информационной энтропии , где и достигается наибольшая асимптотическая мощность критерия согласия , либо критерия отношения правдоподобия.

Разбиение на асимптотически оптимальные интервалы. При таком  разбиении минимизируются потери информации в результате группирования, то есть максимизируется фишеровская информация , где  — оцениваемый параметр закона. Для многих законов распределения удалось получить инвариантные относительно параметров границы интервалов, и были составлены соответствующие таблицы. Такое разбиение позволяет максимизировать мощность критерия.

          Группирование наблюдений как способ получения

                                 робастных оценок

Метод максимального правдоподобия является одним из наиболее популярных и эффективных  методов оценивания параметров распределений. Достаточно часто приходится сталкиваться с необоснованными утверждениями, что оценки максимального правдоподобия являются робастными и, именно поэтому, предпочтительно использовать именно их. Автор является сторонником широкого использования метода максимального правдоподобия, но вместе с тем, основываясь на достаточно большом практическом опыте и результатах этого и следующего параграфа, обязан подчеркнуть, возможно очевидное для многих, что в общем случае ОМП параметров распределений не являются робастными.          

 Проиллюстрируем  сказанное следующими примерами.  Это можно было бы сделать с одинаковым эффектом на различных законах распределения, но, учитывая роль нормального распределения в теории и приложениях математической статистики, приведем примеры именно с нормальным законом. В первом примере иллюстрируется влияние аномальных ошибок на ОМП параметров нормального распределения, а во втором параметры нормального закона оцениваются по выборке, принадлежащей другому закону распределения. Для чистоты эксперимента выборки моделируются в соответствии с заданными законами.

Пример 2.1.   Выборка по нормальному закону моделировалась с математическим ожиданием  и среднеквадратическим отклонением . На рис. 2.1 приведены результаты статистического анализа смоделированной выборки. Вычисленные значения ОМП  и . На этом и последующем аналогичных рисунках приведены значения статистик отношения правдоподобия,  Пирсона, Колмогорова, Смирнова,  и  Мизеса, вычисляемые при проверке гипотез о согласии, и соответствующие вероятности вида , где  - вычисленное значение соответствующей статистики,  - предельное распределение вероятностей для статистики. Гипотеза о согласии не отвергается, если , где  - заданный уровень значимости. Для статистик отношения правдоподобия и  Пирсона значения вероятностей приводятся при двух различных степенях свободы. Разность степеней свободы определяется количеством параметров, оцененных по выборке. При вычислении вероятностей вида  для непараметрических критериев типа Колмогорова, Смирнова,  и  Мизеса учитывается факт потери ими свойства “свободы от распределения”. Как видим, согласие с нормальным законом очень хорошее.   

Рис.2.1. Результаты статистического  анализа исходной выборки по не группированным данным

    Теперь допустим, что в выборку “вкралось” всего 3 аномальных наблюдения (в результате замены трех первых наблюдений: -0.7783 на -10.7783, -0.6389 на -10.6389, 0.1698 на 10.1698). Результаты анализа с теоретической и эмпирической функциями распределения приведены на рис. 2.2. Полученные ОМП параметров нормального распределения  и . Особенно существенно наличие аномальных наблюдений повлияло на оценку среднеквадратичного отклонения. По всем критериям согласие с нормальным законом распределения будет отклонено при уровне значимости  > 0.0008.

Пример 2.2. Этот пример связан с использованием нормального закона распределения в ситуации, когда на самом деле выборка принадлежит распределению Лапласа. Распределение Лапласа с более “тяжелыми” хвостами, чем у нормального. На рис. 3.3 приведены эмпирическая и теоретические функции нормального распределения, когда по выборке, смоделированной в соответствии с распределением Лапласа, оценивались параметры нормального закона ( ). Как видно из значений статистик и соответствующих вероятностей, ни о какой близости эмпирической и теоретической функций распределения говорить не приходится.        

 Естественно,  что использование получившихся  в этих 2-х примерах нормальных  законов в качестве моделей  наблюдаемых выборок ни к чему  хорошему не приведет.

Рис.2.2. Эмпирическая функция  распределения (1) и  теоретическая 

функция нормального распределения (2), полученная по выборке  с аномальными  наблюдениями

    Что же можно сделать, чтобы снизить влияние аномальных ошибок и отклонений наблюдаемых выборок от предполагаемого закона на оценки вычисляемых параметров? Мы настоятельно рекомендуем использовать перед вычислением оценок параметров процедуру предварительного группирования наблюдений. Группирование выборки позволяет резко снизить влияние аномальных наблюдений, а иногда практически исключить последствия присутствия их в выборке. Резко снижается влияние на оценки параметров и отклонений вида наблюдаемого закона от предполагаемого. Продемонстрируем это на выборках приведенных примеров.          

 На  рис. 2.4 представлены результаты  оценивания параметров нормального распределения и последующего анализа по сгруппированной выборке из примера 2.1, содержащей 3 аномальных наблюдения (сравните значения статистик и соответствующих вероятностей с представленными на рис. 2.2). Полученные ОМП параметров нормального распределения по группированным данным  и . Визуального различия между эмпирической и теоретической функцией нормального закона в данном случае нет, поэтому соответствующие графики не приводятся.         

 На  рис. 2.5 представлены результаты  оценивания по сгруппированным данным параметров нормального закона по выборке из примера 2.2, принадлежащей распределению Лапласа (сравните результаты анализа с результатами, представленными на рис. 2.3). ОМП параметров нормального распределения по группированным данным  и . В данном случае в центре области определения случайной величины наблюдается некоторая близость эмпирической функции распределения и функции распределения нормального закона.

Рис.2.3. Эмпирическая функция  распределения (1) и  функция 

распределения нормального закона (2), найденного по выборке,

принадлежащей распределению Лапласа  

Рис. 2.4. Результаты оценивания по сгруппированной выборке и последующего статистического анализа при наличии в выборке аномальных измерений 

Пример 2.3. Выборка объёмом 1000 наблюдений была смоделирована в соответствии с распределением Вейбулла с плотностью

.      

Рис. 2.5. Эмпирическая функция, построенная по выборке, принадлежащей распределению  Лапласа (1), и теоретическая  функция нормального  закона (2), найденная  по сгруппированной  выборке 

  При моделировании были заданы параметры:  В процессе регистрации 8 наблюдений “подверглись” сильным искажениям.         

 На  рис. 2.6-2.7 приведены результаты статистического  анализа полученной выборки. В данном случае получили закон распределения Вейбулла с параметрами  Как видим из рис. 2.6, согласие по всем критериям отвергается: наличие аномальных наблюдений сыграло свою роль. На рис. 2.7 хорошо заметна разница между эмпирической и теоретической функциями распределения.         

 На рис. 2.8 приведены результаты статистического анализа, когда перед оцениванием выборка была разбита на интервалы равной частоты, затем по получившейся группированной выборке были найдены оценки параметров распределения , после чего проверены гипотезы о согласии исходной выборки с полученным законом распределения. При проверке гипотез о согласии исходная выборка разбивалась на интервалы равной вероятности. Как видим, результаты проверки гипотез о согласии по всем критериям очень хорошие.     

 Отличие  результатов на рис. 2.9 определяется  тем, что при проверке гипотез о согласии исходная выборка разбивалась на интервалы в соответствии с асимптотически оптимальным группированием. В данном случае критерии отношения правдоподобия и  Пирсона оказываются более чувствительными, чем остальные: улавливают наличие аномальных измерений. Гипотезы о согласии при  по этим критериям должны быть отвергнуты.

Рис. 2.6. Результаты статистического  анализа исходной выборки по не группированным данным

Рис. 2.7. Теоретическая и  эмпирическая функции  распределения

Рис. 2.8. Оценивание с предварительным  равно частотным группированием и проверкой гипотез о согласии с разбиением на равно частотные интервалы.  

Рис. 2.9. Оценивание с предварительным  равно частотным группированием и проверкой гипотез о согласии с разбиением на асимптотически оптимальные интервалы.

   Приведенные на рис. 2.10-2.11 результаты анализа, аналогичны тем, что представлены на рис. 2.8-2.9, но перед оцениванием выборка была разбита на асимптотически оптимальные интервалы. Получены оценки параметров . Если при проверке гипотез исходная выборка разбивалась на интервалы равной вероятности (рис. 2.10), то гипотеза о согласии по всем критериям принимается. При использовании асимптотически оптимального группирования гипотеза о согласии по критериям отношения правдоподобия и  Пирсона должна быть отвергнута (рис. 2.11). Если мы сравним эти результаты, с результатами, представленными на рис. 2.8-2.9, то увидим, что уровень согласия в данном случае ниже. То есть, полученные оценки оказались хуже, а способ их определения более чувствителен к аномальным наблюдениям.

    Приведем ещё один пример, подчеркивающий устойчивость оценок максимального правдоподобия по группированным данным. Он связан с использованием нормального закона распределения в ситуации, когда на самом деле выборка принадлежит распределению Коши. 

Рис. 2.10. Оценивание с предварительным  асимптотически оптимальным группированием. При проверке согласия использованы равно частотные интервалы.

   Пример 2.4. Распределение Коши это распределение с “тяжелыми” хвостами, а такое отклонение от нормальности особенно сильно отражается на оценках параметров нормального закона. На рис. 2.12-2.13 приведены эмпирическая и теоретические функции нормального распределения при использовании обычных оценок максимального правдоподобия (рис.2.12, оценки параметров нормального распределения: , ) и оценок максимального правдоподобия по группированным данным (рис. 2.13, оценки: , ). Качественная картина, хорошо прослеживаемая на графиках, говорит сама за себя: во втором случае можно даже говорить об определенной близости эмпирической и теоретической функций распределения. Выборка объёмом 100 наблюдений моделировалась по закону Коши с функцией плотности  и параметрами , . 

Рис. 2.11. Оценивание с предварительным  группированием с  разбиением на асимптотически оптимальные интервалы. При проверке согласия также использовано асимптотически  оптимальное группирование. 

 Подведем итоги вышесказанному. Группирование наблюдений перед оцениванием и последующее оценивание параметров по группированной выборке позволяет получать устойчивые оценки. Когда мы говорим об оценках по группированным данным, то имеем ввиду ОМП, которые определяются в результате максимизации функции правдоподобия вида

где  - вероятность попадания наблюдения в -й интервал значений, k - число интервалов, но только не оценки по методу моментов с последующим использованием поправок типа Шеппарда.

Рис. 2.12. Эмпирическая функция  распределения и  теоретическая функция нормального закона распределения, найденная по выборке, принадлежащей распределению Коши.

Выводы 

1.     Предварительное группирование исходной выборки и последующее вычисление ОМП по группированным данным приводит к робастным оценкам, устойчивым как к наличию в исходной выборке аномальных измерений, так и к отклонениям закона распределения выборки от предполагаемого.

2.     Процедура предварительного группирования реализована в программном обеспечении. Возможно использование равномерного, равновероятного и асимптотически оптимального группирования. На основании исходной негруппированной выборки может создаваться соответствующая группированная выборка. Реализован режим предварительного группирования при оценивании, в том числе при идентификации закона распределения.

3.     Высокая устойчивость к присутствию в выборке грубых искажений или принадлежности выборки к другому закону распределения оценок максимального правдоподобия по группированной выборке позволяет использовать их в процедурах отбраковки аномальных наблюдений.

                        Функции влияния и робастность оценок        

 В предыдущих разделах подчеркивается высокая устойчивость оценок максимального правдоподобия (ОМП) по группированным наблюдениям к наличию в выборке аномальных измерений, к отклонению реально наблюдаемого закона от предполагаемого, к засорению выборки данными, принадлежащими другому закону. Всё это подтверждается опытом эксплуатации программной системы и многочисленными результатами модельных экспериментов. В данном разделе свойство робастности ОМП исследуется с позиций функции влияния, предложенной Хэмпелом. Именно анализ функций влияния ОМП параметров различных распределений, в том числе того множества распределений, которое включено в программную систему, позволяет утверждать, что ОМП по негруппированным данным, вопреки порой бытующему заблуждению, в большинстве своём являются неро бастными. В то же время ОМП по группированным данным всегда оказываются робастными.         

 Влияние  ещё одного наблюдения на очень  большую выборку может характеризоваться  функцией (кривой) влияния, которая  определяется следующим образом

где  - единичная масса в точке ,  - функция распределения, к которому принадлежит выборка,  - вычисляемая статистика.        

 Функция  влияния позволяет оценить относительное  влияние отдельного наблюдения на значение статистики критерия или оценку параметров. Если функция влияния неограничена, то резко выделяющиеся наблюдения могут приводить к существенным изменениям оценок или статистик. Чувствительность к большой ошибке может характеризоваться величиной

 Для  асимптотически эффективных оценок, к которым относятся оценки максимального правдоподобия по негруппированным данным, функция влияния удовлетворяет равенству

где  - количество информации Фишера.        

 Для  оценок типа максимального правдоподобия  (М-оценок), где всякая оценка  определяется как решение экстремальной задачи на минимум вида

или как  решение неявного уравнения

где  - произвольная функция, , функция влияния имеет вид

где

 В  случае ОМП по группированным  данным

и функция  влияния будет иметь вид

.        (3.2)        

 Для  оценок, использующих квантили, соответствующие  асимптотически оптимальному группированию, и являющихся одним из частных случаев L-оценок, функция влияния имеет вид

где  - коэффициенты при выборочных квантилях в формуле для вычисления L-оценок, ,         

 Были  рассмотрены функции влияния  для оценок параметров множества распределений, включенных в программную систему.        

 Приводимые  ниже функции влияния построены  при конкретных значениях параметров и характеризуют качественную картину их поведения на области определения случайных величин. На рис. 3.1-3.2 представлены функции влияния для оценок параметров сдвига и масштаба нормального распределения, определяемых методом максимального правдоподобия по негруппированным и сгруппированным данным. Функция влияния для ОМП параметра сдвига по негруппированным данным имеет вид

для ОМП  параметра масштаба -

Функции влияния неограничены, и этим определяется чувствительность данных оценок к ошибкам измерения и засорению выборки. Напротив, функции влияния оценок параметров нормального распределения по группированным данным ограничены. Это ещё раз подчеркивает высокую устойчивость получаемых по группированным наблюдениям оценок, подтверждаемую практикой. На этих и последующих рисунках функции влияния для ОМП по группированным данным соответствуют случаю использования асимптотически оптимального группирования.         

 Аналогично, на рис. 3.3-3.4 приведены функции влияния для параметров распределения Вейбулла. Функция влияния для ОМП основного параметра по негруппированным данным имеет вид

где  - постоянная Эйлера и , для ОМП параметра масштаба -

Для основного  параметра функция влияния по негруппированным данным неограничена снизу на левой и правой границе области определения случайной величины, для масштабного параметра - неограничена сверху на правой границе. В то же время для группированных наблюдений функции влияния являются ступенчатыми ограниченными функциями.   

Рис. 3.1. Функции влияния  для параметра  сдвига

нормального распределения по негруппированным (прямая)

и сгруппированным  данным (ступенчатая  линия)   

                   Рис. 3.2. Функции влияния для параметра масштаба

                  нормального распределения по негруппированным

                     и сгруппированным данным (ступенчатая линия)