Нечеткие нейронные сети

Содержание:

    Введение.

    1.Сеть Такаги-Сугено-Канга.

    2.Сеть Ванга-Менделя.

    3.Гибридный алгоритм обучения.

    4.Нечеткие сети с самоорганизацией.

   5.Алгоритм нечеткой самоорганизации C-means.

   6.Алгоритм пикового группирования.

   7.Алгоритм разностного группирования.

  8.Заключение.

   Список  литературы.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение.

Сети данного типа получили свое название в силу того, что для  аппроксимации зависимости выходного  сигнала от входного вектора X=[x₁, x₂, ..., x_N, ]^T в них используются выражения, заимствованные из нечетких систем (в частности, из систем Мамдани-Заде и Такаги-Сугено-Канга). Теоретически доказано, что эти выражения позволяют с произвольной точностью аппроксимировать любую непрерывную нелинейную функцию многих переменных суммой функций (называемых нечеткими) одной переменной.                                                                                            

Нечеткие нейронные сети (fuzzy-neural networks) осуществляют выводы на основе аппарата нечеткой логики, однако параметры функций принадлежности настраиваются с использованием алгоритмов обучения НС. Поэтому для подбора параметров таких сетей применим метод обратного распространения ошибки, изначально предложенный для обучения многослойного персептрона. Для этого модуль нечеткого управления представляется в форме многослойной сети. Нечеткая нейронная сеть как правило состоит из четырех слоев: слоя фазификации входных переменных, слоя агрегирования значений активации условия, слоя агрегирования нечетких правил и выходного слоя.

    Наибольшее распространение в настоящее время получили архитектуры нечеткой НС вида ANFIS и TSK. Доказано, что такие сети являются универсальными аппроксиматорами.

      Быстрые алгоритмы обучения и интерпретируемость накопленных знаний – эти факторы сделали сегодня нечеткие нейронные сети одним из самых перспективных и эффективных инструментов мягких вычислений.

 

 

 

 

 

1.Сеть Такаги-Сугено-Канга

В сети Такаги-Сугено-Канга (сокращенно, TSK) выходной сигнал рассчитывается с помощью выражения

y(X)=sum[i=1:M](w_i*y_i (X))/sum[i=1:M](w_i ),

где y_i(X)=p_i0+sum[j=1:N](p_ij*x_j) - i-ый полиномиальный компонент аппроксимации.

Веса w_i компонентов рассчитываются по следующей формуле (с использованием рациональной формы функции Гаусса)

w_i=prod[j=1:N](w_ij(x_j))=prod[j=1:N](1/(1+((x_j-c_ij)/s_ij)^2*b_ij)).

Приведенным выражениям соответствует  пятислойная нейронная сеть, структурная  схема которой представлена ниже.

 

 

Первый слой содержит N*M узлов, каждый из которых реализует расчет функции Гаусса с параметрами c_ij, s_ij и b_ij. С точки зрения нечетких систем это слой фуззификации входных переменных. Слой называется параметрическим, поскольку в процессе обучения сети подбору подлежат параметры этого слоя.

Второй слой параметров не содержит. С точки зрения нечетких систем это слой агрегирования левых  частей продукций.

Третий слой - генератор (полиномиальных) функций TSK y_i(X) и их умножитель на весовой коэффициент w_i. Это параметрический слой, в котором в процессе обучения сети адаптации подвергаются коэффициенты p_ij, i=1,2 ,..., M, j=0,1 ,..., N. Общее количество коэффициентов p_ij в сети равно M*(N+1).

Четвертый слой составляют два нейрона-сумматора. Первый ряссчитывает взвешенную сумму сигналов y_i(X), а второй - сумму весов w_i, i=1,2 ,..., M. Это непараметрический слой.

Последний, пятый, слой осуществляет нормализацию весов. Это также непараметрический  слой.

Из описания сети TSK следует, что она содержит два параметрических  слоя (первый и третий), параметры которых подлежат подбору в процессе обучения. Параметры первого слоя будем называть нелинейными, так как они относятся к нелинейной функции, а параметры третьего слоя - линейными.

Общее количество параметров (линейных и нелинейных) сети TSK равно

M*3*N+M*(N+1)=M*(4*N+1).

Во многих практических приложениях  это чрезмерная величина, поэтому  часто для входных переменных x_j используют ограниченный набор функций mu(x_j), что уменьшает количество нелинейных параметров.

 

 

 

2.Сеть Ванга-Менделя

В сети данного типа выходной сигнал рассчитывается с помощью  выражения

y(X) = sum[i=1:M](c_i*w_i)/sum[i=1:M](w_i) 
= sum[i=1:M](c_i*prod[j=1:N](mu_ij(x_j)))/sum[i=1:M](prod[j=1:N](mu_ij(x_j))),

где c_i - весовой коэффициент (с точки зрения нечетких систем это центр функции принадлежности правой части продукции), mu_ij() - функция Гаусса (в экспоненциальном или рациональном виде) с параметрами центра c_ij, ширины s_ij и формы b_ij (с точки зрения нечетких систем mu_ij() - функция принадлежности к нечеткому множеству).

Легко заметить, что выражение  для y(X) в сети Ванга-Менделя является частным случаем аналогичного выражения в сети TSK, если в последней принять y_i(X)=c_i. Поэтому сеть Ванга-Менделя проще и имеет следующую трехслойную структуру.

 

 

В данной сети параметрическими являются первый и третий слои. Первый содержит M*N*3 нелинейных параметров функции Гаусса, а третий - M линейных параметров c_i.

Нечеткие нейронные сети (как Ванга-Менделя, так и TSK) могут быть обобщены на случай многих выходных переменных. Их обучение, так же как и классических сетей, может проводиться как с учителем, так и без оного. Обучение с учителем основано на минимизации целевой функции, определяемой с использованием эвклидовой нормы

E=(1/2)*sum[k=1:p]((y(X^k)-d^k)²).

Обучение без учителя  основано на самоорганизации сети, обеспечивающей кластеризацию входных  данных.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3.Гибридный алгоритм обучения

Данный алгоритм применим к обеим описанным выше структурам, но рассмотрим его касательно сетей TSK, как более общих. Гибридный  алгоритм обучения нечетких сетей можно  считать вариантом гибридного алгоритма  обучения радиальных сетей.

Алгоритм реализуется  чередованием двух этапов:

при зафиксиронных значениях нелинейных параметров c_ij, s_ij и b_ij первого слоя нейронов отыскиваются значения линейных параметров p_ij третьего слоя сети;

при зафиксиронных значениях линейных параметров p_ij третьего слоя уточняются нелинейные параметры c_ij, s_ij и b_ij первого слоя сети.

Этап 1. На данном этапе обучения нелинейные параметры фиксированы. Выходной сигнал определяется как

y(X)=sum[i=1:M](w'*(p_i0+sum[j=1:N](p_ij*x_j))),

где

w'=v_i=prod[j=1:N](mu_ij(x_j))/sum[l=1:M](prod[j=1:N](mu_lj(x_j)))=const.

Для K обучающих выборок <X^k,d^k>, k=1, 2 , ..., K, получаем систему K линейных уравнений

A*P=D,

где P=[p₁₀, p₁₁, ..., p_1N, ..., p_M0, p_M1, ..., p_MN]^T - вектор весов третьего слоя сети, а D=[d¹, d², ..., d^k]^T - вектор ожидаемых значений, составленный из всех K обучающих выборок. Матрица A представлена ниже:

v11	v11*x11	...	v11*x1N	...	v1M	v1M*x11	...	v1M*x1N
v21	v21*x21	...	v21*x2N	...	v2M	v2M*x21	...	v2M*x3N
.	.	.	.	.	.	.	.	.
vk1	vk1*xk1	...	vk1*xkN	...	vkM	vkM*xk1	...	vkM*xkN

Количество строк K матрицы A значительно больше количества ее столбцов M*(N+1). Решение этой системы линейных алгебраических уравнений может быть получено за один шаг следующим образом:

P=A⁺*D,

где A⁺ - псевдоинверсия матрицы A.

Этап 2. Здесь фиксируются значения коэффициентов полиномов третьего слоя и осуществляется уточнение (обычно многократное) коэффициентов функции Гаусса для первого слоя сети стандартным методом градиента:

c^k+1_ij=c^k_ij-nu_c*дE^k/дc^k_ij, 
s^k+1_ij=s^k_ij-nu_s*дE^k/дs^k_ij, 
b^k+1_ij=b^k_ij-nu_b*дE^k/дb^k_ij,

где k - номер очередного цикла обучения ( в режиме "онлайн" он совпадает с номером обучающей выборки). С технической точки зрения получение аналитических выражений для производных целевой функции по нелинейным параметрам проблем не представляет. Однако, здесь в силу громоздкости эти выражения не приводятся.

Поскольку в череде этапов этап уточнения нелинейных параметров функции Гаусса имеет много меньшую  скорость сходимости, то в ходе обучения реализацию этапа 1, как правило, сопровождает реализация нескольких этапов 2.

 

 

 

 

 

 

 

 

 

 

 

 

 

4.Нечеткие сети с самоорганизацией

Сети данного типа на этапе  обучения осуществляют группирование  входных вектров X^k, k=1, 2, ..., p, в M кластеров, каждый из которых определяется своим центром C_i, i=1, 2, ..., M. На этапе классификации сеть отождествляет очередной входной вектор данных X с одним из ранее определенных кластеров.

Нечеткая сеть с самоорганизацией имеет простую двухслойную структуру.

 

 

Нейроны первого слоя реализуют  обощенную функцию Гауcса в рациональной форме:mu_ij(x_j)=1/(1+((x_j-c_ij)/s_ij)^2*b_ij).

Каждый нейрон второго  слоя характеризуется центром C_i=[ц_1i, ц_2i, ..., ц_Ni, ]^T.

5.Алгоритм нечеткой самоорганизации C-means.

В данном алгоритме подаваемый на вход очередной обучающий вектор X^k принадлежит различным кластерам (представленным своими центрами C_i, i=1, 2, ..., M) в степени u^k_i, 0<u^k_i<1, при соблюдении условия

sum[i=1:M](u^k_i)=1.

При этом значение u^k_i тем больше, чем ближе X^k к C_i.

Погрешность соотнесения  обучающих векторов X^k и центров C_i для всех p обучающих векторов может быть выражена следующим образом

E=sum[i=1:M](sum[k=1:p]((u^k_i)^m*|X^k-C_i|₂)),

где m - показатель, выбираемый из ряда 1, 2, 3, ... .

Цель обучения - подбор таких  значений центров C_i, которые обеспечивают минимальное значение погрешности E при одновременном соблюдении условия

sum[i=1:M](u^k_i)=1.

Решение этой задачи можно  свести к минимизации функции  Лагранжа в виде

LE=sum[i=1:M](sum[k=1:p]((u^k_i)^m*|X^k-C_i|₂))+sum[k=1:p](L_k*(sum[i=1:M](u^k_i)-1)),

где L_k, k=1, 2, ..., p - множители Лагранжа.

Доказано, что решение  этой задачи можно представить в  виде

C_i=sum[k=1:p]((u^k_i)^m*X^k)/sum[k=1:p]((u^k_i)^m), 
u^k_i=1/sum[l=1:M](((d^k_i)²/(d^k_l)²))^1/(m-1)),

где d^k_i=|X^k-C_i|₂ - эвклидово расстояние между X^k и C_i.

Алгоритм обучения, реализующий  описанную выше идею, получил название C-means. Он носит итерационный характер и может быть описан следующим образом.

1. Выполнить случайный выбор коэффициентов u^k_i из диапазона [0,1] при соблюдении условия sum[i=1:M](u^k_i)=1.

2. Вычислить все M центров C_i по приведенной выше формуле.

3. Рассчитать значение  погрешности E. Если это значение меньше установленного порога или незначительно изменилось относительно предыдущей итерации, то закончить вычисления. Иначе перейти к п. 4.

4. Рассчитать новые значения u^k_i по приведенной выше формуле и перейти к п. 2.

Описанный выше итерационный алгоритм ведет к достижению минимума погрешности E, который, однако, необязательно будет глобальным минимумом. На вероятность отыскания глобального минимума влияет выбор начальных значений u^k_i и C_i. Специально для подбора "хороших" начальных значений центров C_i разработаны процедуры инициализации, две из которых представлены ниже.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6.Алгоритм пикового группирования

Для отыскания "первого  приближения" к наилучшему расположению центров C_i в данном алгоритме используются так называемые пиковые функции. При подаче на вход сети p обучающих векторов X^k создается равномерная сетка, покрывающая все пространство, занимаемое данными векторами.

Узлы сетки обозначим  как V_l, для каждого из них рассчитывается значение пиковой функции

m(V_l)=sum[k=1:p](exp(-(|X^k-V_l|₂^2*b/(2*s²)))),

где s - константа, индивидуально подбираемая для каждой задачи.

Значение m(V_l) пропорционально количеству обучающих векторов X^k, находящихся в окрестности потенциального центра V_l. Малое значение m(V_l) говорит о том, что V_l в области, где количество векторов X^k мало. Следует отметить, что коэффициент s оказывает незначитетьное влияние на соотношение значений V_l для разных узлов сетки, поэтому подбор его величины не является критичным.

После расчета m(V_l) для всех потенциальных центров (узлов сетки) отбирается узел, имеющий наибольшее значение пиковой функции. С этим узлом отождествляется первый центр C₁. Для выбора аналогичным образом следующего центра из рассмотрения исключается центр C₁ и соседние с ним узлы сетки. Это удобно сделать переопределением пиковой функции

m_new(V_l)=m(V_l)-m(C₁)*exp(-(|V_l-C₁|^2*b/(2*s²))),

где m(C₁) - значение пиковой функции в центре C₁.

Процесс последовательного  отыскания центров C₁, C₂, C₃, ... завершается после обнаружения центра C_M.

Основной недостаток алгоритма  пикового группирования - экспоненциальный рост сложности с увеличением  размерности векторов входных данных X^k. Следовательно, он применим лишь при при небольшом количестве входных сигналов N. Представленный далее алгоритм также имеет экспоненциальный рост сложности, но это рост в зависимости от количества обучающих выборокp.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

7.Алгоритм разностного группирования

В этом алгоритме в качестве потенциальных центров рассматриваются  обучающие векторы X^k, k=1, 2, ..., p. Пиковая функция m(Xⁱ) определяется в следующем виде

m(Xⁱ)=sum[k=1:p](exp(-(|X^k-Xⁱ|^2*b/(r₁/2)²))),

где значение коэффициента r₁ определяет размер сферы соседства. При большой плотности входных векторов вокруг Xⁱ значение функции велико, и, напротив, малое значение m(Xⁱ)свидетельствует о незначительном количестве соседей.

После расчета значений m(Xⁱ) для всех входных векторов в качестве первого центра C₁ принимается Xⁱ с наибольшим значением пиковой функции.

Для отыскания второго  центра используется модифицированная пиковая функция в виде

m_new(Xⁱ)=m(Xⁱ)-m(C₁)*exp(-(|Xⁱ-C₁|₂^2*b/(r₂/2)²)),

где r₂ задает новый размер сферы соседства, обычно r₂>=r₁.

Пиковая функция m_new(Xⁱ) принимает нулевое значение для Xⁱ=C₁.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8.Заключение. 

Основным достоинством применения нейронных сетей является возможность  решать различные неформализованные  задачи. При этом можно очень просто моделировать различные ситуации, подавая  на вход сети различные данные и  оценивая выдаваемый сетью результат.

В ходе применения нейронных сетей  отмечен существенный недостаток: сложность  понимания процесса получения сетью  результата. Первым шагом к устранению данной проблемы является разработка новой технологии, которая позволяет  генерировать описание процесса решения  задачи нейронной сетью. Используя  таблицу экспериментальных данных, описывающих предметную область, можно  будет получить явный алгоритм решения  поставленной задачи.

Список литературы

1. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы. - М: Финансы и статистика, 2004.
2. Рутковская Д., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с. польск. И. Д. Рудинского. – М.: Горячая линия – Телеком, 2004.- 452 с.
3. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. 1999.