Метод главных компонент кака один из приемов многомерного анализа

Введение

 

 

     При обработке экспериментальной информации встречаются ситуации, когда данные типа “объект-признак” содержат общее  число признаков до ста и более, а число объектов, как правило, в несколько раз превышает  число признаков. Классификация, создание новой структуры с меньшей размерностью признакового пространства, хранение, передача по каналам связи, обработка и наглядное представление и интерпретация таких данных представляет трудности. Возникает проблема сокращения размерности признакового пространства. Такое сокращение возможно, так как в большинстве случаев признаки сильно взаимосвязаны (коррелированны) и, следовательно, данные избыточны с точки зрения информации и эта избыточность полностью определяется корреляционной матрицей исходных переменных. В таком случае и прибегают к методу главных компонент.

 

Статистический подход  в методе главных  компонент. Примеры использования главных компонент в экономике.

 

 

     Компонентный  анализ относится к многомерным  методам снижения размерности. Он содержит один метод - метод главных компонент. В этом методе линейные комбинации случайных величин определяются характеристическими векторами ковариационной матрицы. Главные компоненты представляют собой ортогональную систему координат, в которой дисперсии компонент характеризуют их статистические свойства.     

В зависимости от конкретных задач, решаемых в экономике, используется один из методов факторного анализа, или метод главных компонент.     

Метод главных компонент считается  статистическим методом. Однако есть другой подход, приводящий к методу главных  компонент, но не являющийся статистическим. Этот подход связан с получением наилучшей проекции точек наблюдения в пространстве меньшей размерности. Для решения подобной задачи необходимо знать матрицу вторых моментов.

В статистическом подходе, задача будет  заключаться в выделении линейных комбинаций случайных величин, имеющих  максимально возможную дисперсию. Он опирается на ковариационную или  корреляционную матрицу этих случайных  величин. У этих двух разных подходов есть общий аспект: использование матрицы вторых моментов как исходной для начала анализа.     

Из  сказанного следует, что для овладения методом главных компонент необходимо пользоваться методами теории вероятностей и математической статистики на основе моделей линейной алгебры. Рассмотрим основные положения этих математических дисциплин, на которые опирается метод главных компонент.     

Учитывая, что объекты исследования в экономике (фирма, завод, министерство, отрасль народного хозяйства, экономика страны) характеризуются большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане возьмем многомерные распределения, а в алгебраическом - многомерное пространство признаков.     

Если  рассматривать с экономический  точки зрения то метод главных компонент применяется в оценке стоимости бизнеса, так же этом метод применяется при анализе экономической безопасности региона, для анализа признаков, оказывающих наибольшее влияние на результаты деятельности банков.      

Применение  метода осуществляется так же в анализе  рыночной конъюнктуры, модели рыночной конъюнктуры.

Говоря  о методе многомерного статистического анализа при помощи главных компонент, а также оценки эффективности экономических организаций, экономических систем и систем управления рассматривают задачи обработки многомерных наблюдений в экономике и проблемы совершенствования метода главных компонент и расширения области его применения. Изучаются основные принципы исследования операций, используемые в теории эффективности; дается оценка эффективности на основе критериев - игровых, информационных, теории массового обслуживания.  
  
  
  
  
  
  
  
  
  
  
 Многомерное нормальное распределение  

 

 

     Математической  моделью, на которой основываются методы многомерного статистического анализа (в том числе и методы факторного и компонентного анализа), является многомерное нормальное распределение. Это распределение является зачастую наиболее хорошим приближением к действительному распределению на практике в экономических задачах.

Из центральной  предельной теоремы следует, что предельным распределением одномерных независимых случайных величин является одномерный нормальный закон.     

Из  обобщенной центральной предельной теоремы получаем, что предельным распределением в случае нескольких измерений является многомерное нормальное распределение.

В настоящее  время многомерные методы, основанные на нормальном распределении, нашли  широкое распространение при  изучении различных процессов в экономике.

Среди математических методов многомерного анализа выделяют:

1) корреляцию;

2)  аналоги одномерных статистических методов в многомерном анализе;

3) проблемы  системы координат;

4) проблемы  классификации;

5) зависимость  наблюдений.     

1.  При изучении корреляции нас  интересуют различные коэффициенты корреляции.

Выборочные  коэффициенты корреляции используются для оценки соответствующих параметров распределения.

Частный коэффициент корреляции измеряет зависимость между случайными величинами, когда действие других коррелированных случайных величин исключено.

При помощи множественного коэффициента корреляции распространяется понятие  коэффициента корреляции на измерение  зависимости между одной случайной величиной и множеством случайных величин.      

2. Аналоги одномерных статистических  методов.

Следует отметить, что многие проблемы, решаемые в многомерном статистическом анализе, когда изучаются многомерные совокупности, имеют свои аналоги при изучении одномерных совокупностей. Представим эти проблемы в виде таблицы (табл.1). 

Таблица .1 Аналоги одномерных статистических методов

Одномерное случайное     распределение	Многомерное случайное распределение
Проверка   гипотезы   о   математическом ожидании М[х]=µ t-критерий Стьюдента	Проверка гипотезы о векторе математических ожиданий М[х, ,х 2 ,..., х п J)T=µ  Обобщенный  Т критерий для многомерного распределения
Метод наименьших квадратов	Обобщение метода наименьших квадратов на многомерный  случай
Дисперсионный анализ	Обобщение   дисперсионного   анализа   на многомерное распределение

 

  
 

Для этих проблем выбор системы координат связан с линейным преобразованием переменных.

3. Проблемы системы координат.

В ряде случаев удачный выбор новой  системы координат может наиболее экономным способом выявить некоторые важные для исследователя свойства многомерной случайной совокупности.

Примером  может служить выявление главных  компонент, т.е. отыскание такой нормализованной линейной комбинации случайных величин, чтобы ее дисперсия была максимальной или минимальной. Это равноценно повороту осей, который приводит ковариационную матрицу к диагональной форме. Другой пример - нахождение канонических корреляций. Для решения подобных задач требуется определение характеристических векторов и характеристических корней различных систем линейных алгебраических уравнений.      

4. Проблемы классификации.

Это разбиение  множества случайных величин  на подмножества. Возникает важный вопрос проверки гипотезы о независимости подмножеств. Факторный анализ, метод главных компонент и кластерный анализ обычно используют в задачах многомерной классификации.     

5. Зависимость наблюдений.

Если  в экономических исследованиях  занимаются анализом временных рядов, то сталкиваются с наблюдениями над рядами случайных величин, последовательными во времени. Наблюдения в данный момент времени могут зависеть от ранее произведенных наблюдений. Это требует, например, изучения внутрирядной корреляции.

Поскольку в качестве основной статистической модели выступает многомерное нормальное распределение, остановимся более  подробно на этом распределении, которое  полностью определяется своей квадратичной формой, а последняя зависит от вектора математических ожиданий и ковариационной матрицы. Эта зависимость четко определяется следующей теоремой.

Теорема 1. Если даны вектор µ положительно определенная матрица ∑, то существует такая многомерная нормальная плотность  распределения вероятностей:

Nn (x/µ,∑) = (2π) |∑| е  

что математическое ожидание случайного вектора х с  этой плотностью распределения есть /л и ковариационная матрица есть ∑ .     

Обычно  плотность распределения вероятностей обозначают так, как записано  в равенстве (1), а многомерный нормальный закон распределения обозначают N(µ,∑). В данном распределении нас должна заинтересовать структура ковариационной матрицы и ее связь с корреляционной матрицей. Это можно сделать в общем виде для случайного вектора n-го порядка. Однако обратимся к простейшему многомерному распределению двумерному. При рассмотрении двумерного нормального распределения мы легко убеждаемся в том, что коэффициенты корреляции и дисперсии случайных величин являются основными числовыми характеристиками наряду с математическими ожиданиями. Если конечное число случайных величин превосходит n=2, то роль дисперсий выполняет ковариационная (корреляционная) матрица. Элементы этой матрицы получаются из экспериментальных или статистических данных и являются статистическими величинами, требующими своей оценки. В методе главных компонент в дальнейшем потребуется также оценка и весовых коэффициентов модели. 

 

Линейная модель  метода главных  компонент. Метод  Фаддеева - одновременное  вычисление коэффициента  характеристического  многочлена и присоединенной  матрицы

 

Рассмотрим  модель метода главных компонент:

y =  

где f_r - r-я главная компонента;

a вес r-q компоненты нa j-й переменной;

y - центрированное (нормированное) значение j-го признака.      

 Из модели видно, что отсутствуют специфические (индивидуальные) факторы; число главных компонент r=п здесь соответствует числу признаков п. Значит, в полной модели главных компонент исчерпывается вся дисперсия исследуемого процесса.     

Как будет сказано позже, главные  компоненты являются характеристическими  векторами ковариационной матрицы.

Множество главных компонент представляет собой удобную систему координат, а соответствующие дисперсии главных компонент характеризуют их статистические свойства. Из общего числа главных компонент для исследования, как правило, оставляют т (т<п) наиболее весомых, т.е. вносящих максимальный вклад в объясняемую часть общей дисперсии. Опыт показал, что m ≈(0,1÷ 0,25)n . Для экономической интерпретации полученных результатов самыми наглядными являются случаи, когда т=1,2 или З.      

Таким образом, несмотря на то, что в методе главных компонент для точного воспроизведения корреляций и дисперсий между переменными необходимо найти все компоненты, большая доля дисперсий объясняется небольшим числом главных компонент. Кроме того, можно по признакам описать главные компоненты, а по главным компонентам описать признаки. Для центроидного метода факторного анализа это принципиально невозможно; можно лишь добиваться, чтобы дисперсия остатков была минимальной. С.Р. Рао показал, что метод главных компонент одинаково хорошо приближает дисперсии и ковариации. Наконец, следует отметить еще одно существенное свойство метода-это его линейность и аддитивность. Центроидный метод, например, несет в себе только гипотезу линейности. Если она верна, то результаты могут быть использованы только для первого приближения. В настоящее время часто используется центроидный метод для получения приближенных оценок, которые затем уточняются методом максимума правдоподобия.     

Рассмотрим  метод Фаддеева. При помощи метода Фаддеева одновременно определяются:

а)    Р₁,Р₂,...,Р_п    -   скалярные   коэффициенты   характеристического многочлена

∆(λ)=λ -P λ -…-P

б) В₁,В₂,...,В_n-₁ - матричные коэффициенты присоединенной матрицы.

При помощи tr А следа матрицы получаем

trA =                         (2)

если  λλλ    характеристические    числа    матрицы   А,    т.е.

∆λ=( λ –λ ) ( λ – λ )….. ( λ – λ )

Теорема. Если λ λ………λ    - все характеристические числа (с учетом кратностей) матрицы A, a g(A) - некоторый скалярный многочлен, то g(λ),g(λ₂ ),...,g{λ„ ) - являются характеристическими числами матрицы g(A).

Частный случай. Дана матрица Л; λ_х, λ₂,..., λ_п - ее характеристические числа. Определить характеристические числа матрицы А .

В соответствии с теоремой g(A) = А  .

Поэтому g(λ,) = λ  g{λ₂) = λ,...,g(λ_n) = λ^k„,   (k = 0,1,2,...).

Отсюда  следует, что trA^k = S_k = , (k=0,1,2,...).

Суммы S_k (k=l,2, ... ,n) степеней корней многочлена (2) связаны с коэффициентами этого уравнения формулами Ньютона.

KP_k=S_k-P_lS_k-l-...-P_k-1S_l, (k=1,n).             (3)

Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:

1) определяются  S_l,S₂,...,S_n - следы матрицы А, А²,..., А".

2)  по (3) последовательно определяются P₁,P₂,...,P_n.

Фаддеев в свою очередь предложил вместо следов степеней матриц А,А²,...,А вычислять последовательно следы других матриц А_1,А₂,...,А„  и с их помощью определять Р₁,Р₂,...,Р„ и В₁В₂,...Bn.

A1=A;              P1=tr(A1);              В1=А1-P1E;

A₂=AB₁            P₂=tr(A₂);               В₂=А₂-Р₂Е;

Ап-1 =АВn-₂     P = tr(An-1)    Bn-1 =A n-1 -P n-1 E          (4)                                                                         

A n=AB n-1                P n=   tr(A n)                    Bn= A n- P n E=0        

Для контроля вычислений можно воспользоваться последней формулой (Вn=0). Убедимся, что по системе (4) Р₁,Р₂,...,Р_n; В₁,В₂,...,В_п-1 последовательно определяемые, являются коэффициентами ∆(λ) и В(λ).

Используя систему (4) для А_к и В_к, (к = 1,п) получим:

Ak=A -P1A -…-Pk-1A                                (5)

Bk=A -P1A -…-Pk-1A-PkE                        (6)  

Приравняем  следы левой и правой частей (5)

KP_k=S_k-P₁S k -1 -...-P k -1S₁.                      (7)

Выражения (7) и (3) совпадают с формулами  Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена ∆(λ). Значит, числа Р₁,Р₂,...,Р_п системы (4) являются коэффициентами ∆(λ).По формуле (6) определяют матричные коэффициенты В1 ,Вг ,..., В_п-1 присоединенной матрицы В(λ). Значит, система (4) определяет коэффициенты В₁,В₂,...,Вn матричного многочлена  В(λ).  
  
 

Квадратичные  формы и главные компоненты

 

Для того чтобы представить в геометрическом плане главные компоненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.

Пусть дано уравнение линии второго  порядка:

Ах² +2Вху + Су² =Н.                            (8)

Левая часть уравнения (8) не меняется при замене х, у на -х, -у. Значит, во-первых, точки линии (8) расположены парами симметрично относительно начала координат. Во-вторых, линия второго порядка, заданная (8), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (8) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.

Ах² +2Вху + Су².                                 (9)

Приведем данную квадратичную форму (9) к каноническому виду. Для этого  надо будет повернуть так координатные оси х и у, чтобы в новых

координатах исчез член с произведением новых  текущих координат. Переход к новым координатам производится по известным формулам:    

 х' = l1 х+т1 у                                       (10)    

 у' =l1 x+т2 у

Старые  координаты связаны с новыми по формулам:    

x=l1 x' + l2 y'    

 у = т1 х' + т2 у'                                  (11)

где х' и у' - новые координаты.

Если на новой оси абсцисс  отложить отрезок OX₁ единичной длины, тогда его проекции на старые координатные оси составят:

l1 =cos α

m1 =sin α

где а  - угол поворота осей х и у.

Значит, вектор с компонентами l1 и m1, является единичным вектором, определяющим направление новой оси абсцисс х':                                                                  

(13)

Аналогично  единичный вектор, определяющий направление  новой оси у' ординат, имеет вид:                                                                 

(14)

Рассматриваемые коэффициенты обладают следующими свойствами:

l + т² =1;                                                                        (15) 

l + т = 1;                                                                      (16)

l1 l₂ + m₁m₂ = 0;                                                                                            (17)   

l m    =1                                                                                   (18)          

    l m

Наконец  

l  m    = -1                                                                                 (19)              

l  m 

если  поворот осей совершен на α→x; (α+π)→y

Таким образом, может быть совершен поворот  осей прямоугольных координат с  неизменным масштабом. Итак, чтобы привести квадратичную форму (9) к каноническому виду, нужно в (9) величины х и у заменить согласно формуле (11). Данная квадратичная форма примет следующий канонический вид (средний коэффициент равен нулю):

λx +  λy                                                                                      (20)

т.е.

Ах² +2Вху + Су² =λ x+λ y                                                          (21)

Для решения (21) достаточно подобрать  так коэффициенты (11) и числа λ λ чтобы

A l +B m=λ l                                                 A l +B m=λ l

Bl+Cm=λm                                                   B l+C m=λ m

Значит, надо решить систему уравнений

A l +B m=λ l

B l+C m=λ m                                                                                 (22) 

В системе (22) перенесем правые части  влево и получим 

 (A-λ)l +Bm=0                                                                              (23) 

Bl+(C-λ)m=0

Определитель  данной системы 

 =0                                                                               (24)

можно представить в виде

λ² - (А + С)λ+ {АС - В²) = 0.                                                                                                 (25)

Откуда                                             

(26)   

Уравнение (24) представляет собой характеристическое уравнение квадратичной формы, а  корни этого уравнения λ , и λ ₂ являются характеристическими числами этой формы. После приведения формы к каноническому виду числа λ , и λ ₂ являются коэффициентами при неизвестных.

Так как  выражение под радикалом, равное

(А-С)² + 4В²≥0,                                                                         (27)

неотрицательно, то уравнение (24) имеет  только действительные корни. Отдельно рассмотрим случай, когда

(А-С)² + 4В²>0.                                                                                                     (28) 

При этом условии λ  λ .  Подставим в (23) λ = λ Система будет иметь ненулевое решение 1 и т.

Полученный  вектор будет иметь главное направление  квадратичной формы, которое соответствует характеристическому числу λ. По этому же главному направлению, которое соответствует числу λ , направлен и вектор l                           

                                                                                        m т.е. 

                            l=µl 

                        m = µm                                                                      (29) 

где µ   0.

Если  примем, что =_1, то по системе (29)                                                           

l² +т²=1.

Вектор   m  является единичным вектором главного направления.                                       Естественно, что вектор  m определяет другое главное направление квадратичной формы.

Согласно  выражению (17), если λ ₁  λ ₂, векторы главных направлений взаимно перпендикулярны.

Другой  случай соответствует

(А-С)² + 4В² = 0.                                                                       (30)

В данном случае   

 λ  = λ 2 = λ     

 А=С     .                                                                               (31)    

 В = 0

Из выражения (26) λ = А = С.     

Подставим в выражение (25) полученное значение λ и убедимся в том, что все коэффициенты системы обращаются в нуль. Таким образом, система (23) будет состоять из тождеств. Ей подходят любые числа l и т.

В результате можно заключить, что если λ = λ    то для квадратичной формы любое направление является главным. При повороте осей на любой угол форма сохранит свой канонический вид                                                      

Ax

При любом  преобразовании квадратичной формы  к любым прямоугольным координатам не меняются ее инварианты

А+С=А' + С                                                                                         (32)

АС-В² = А'С'-В'²

Согласно  теореме Виета

АС-В²= λ ₁ λ ₂.                                                                               (33)

1.   Если λ 0; λ ₂  0 имеют одинаковые знаки, то квадратичная форма называется эллиптической:                                                                  

 АС-В²>0.                          (34)

2.  Если  λ  0; λ ₂   0, но знаки у них разные, то форма называется гиперболической:                                                               

 АС-В²<0.                             (35)

3.  Если  одно из чисел λ , λ _г равно нулю, т.е. АС-В² =0, то форма называется параболической.

В методе главных компонент  характеристические числа по своему физическому смыслу не могут равняться нулю и быть отрицательными. Значит, λ >0 и λ ₂ >0. В этом случае квадратичная форма будет называться положительно определенной эллиптической формой. 

 
  
  
  
  
  
  
  
                                         

 

 

Заключение

 

 

 Подводя  итог всему выше сказанному  можно сказать о том, что  наличие множества исходных признаков, характеризующих процесс функционирования объектов, заставляет отбирать из них наиболее существенные и изучать меньший набор показателей. Чаще исходные признаки подвергаются некоторому преобразованию, которое обеспечивает минимальную потерю информации. Такое решение может быть обеспечено методами снижения размерности, куда относят факторный и компонентный анализ. Эти методы позволяют учитывать эффект существенной многомерности данных, дают возможность лаконичного или более простого объяснения многомерных структур. Они вскрывают объективно существующие, непосредственно не наблюдаемые закономерности при помощи полученных факторов или главных компонент. Они дают возможность достаточно просто и точно описать наблюдаемые исходные данные, структуру и характер взаимосвязей между ними. Сжатие информации получается за счет того, что число факторов или главных компонент – новых единиц измерения – используется значительно меньше, чем было исходных признаков.  
  
  
  
  
  
  
  
  
  
 

 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ  И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ