Ассоциативная память Хопфильда

Ассоциативная память Хопфилда позволяет воспроизводить запомненные образы при предъявлении части изображения или искаженных примеров.

Ассоциативная память Хопфилда реализует полносвязную нейронную сеть, в которой каждый нейрон связан со всеми остальными.

Процесс обучения проходит без учителя на основе принципов правила Хэбба.

В наиболее общем виде ассоциативную память можно описать следующим образом.

Сеть  состоит из единственного слоя, все  элементы которого имеют связи по принципу каждый с каждым. Полная матрица  связей модифицируется на этапе обучения при предъявлении каждого образа по правилу Хэбба, заключающегося в усилении связей между одинаково возбужденными нейронами и уменьшении весов между нейронами с различными уровнями возбуждения.

Пусть x_j,...,x_m набор эталонных образов, каждый из которых представляет собой вектор размерностью N (x^h₁,...,х^h_N ).

Традиционно рассматриваются образы, состоящие из бинарных (+1,-1) элементов. Тогда при предъявлении любого из них в качестве ключевого, даже если он искажен под действием шума, должен  воспроизводиться чистый эталонный вектор. В качестве вектора можно  рассматривать любые изображения, в том числе многомерные, или наборы значимых параметров, которые следует запоминать. Под искажением понимается любое изменение одной или нескольких координат вектора.

Для запоминания  формируется матрица межнейронных связей R=[r_ij], размерностью NxN, которая описывается выражением:

В индексной  записи это равенство запишется  в виде:

Полученная  в результате такого обучения матрица  связей способна обеспечить восстановление искаженных образов. Для этого воспроизводимый  образ умножается на матрицу связей с последующей пороговой обработкой. Воспроизведение образа заключается  в умножении 

матрицы на вектор-изображение с последующим  поэлементным применением нелинейной пороговой операции:

где пороговая  функция f от двух параметров определяется  соотношением:

Эта операция синхронно (одновременно для всех элементов  образа) повторяется до тех пор, пока элементы не перестанут изменяться. При  этом на выходе появляется воспроизводимый  образ.

Доказано [223], что как в синхронном, так  и в несинхронном  случае ассоциативная  память является стабильной. Это следует  из  рассмотрения соответствующей  ей функции Ляпунова.

Максимальное  количество образов М_max , которое может быть  запомнено в ассоциативной памяти первого порядка, определяется  выражением [285]:

Традиционную  ассоциативную память можно условно  представить в виде следующей  схемы (рис. 2.22,а).

Ассоциативная память второго порядка [216] можно  изобразить в виде аналогичной схемы (рис. 2.22,6).

В индексной  записи это равенство запишется  в виде:

где матрица  R=[r_ij] является матрицей связей второго порядка размерностью NxNxN.

Аналогично  можно определить ассоциативную  память третьего порядка [216]:

где R = [r_ijkl] является матрицей связей третьего порядка размерностью NxNxNxN.

Такое определение допускает прямое обобщение порядка ассоциативной памяти вплоть до (N -1).

Воспроизведение образа проводится согласно выражению:

При обобщенном воспроизведении второго порядка  объединяются отклики первого и второго порядков:

Энергетическая  функция для ассоциативной памяти высших порядков обобщенного вида определяется в виде [137]:

где х - начальный образ, a x_h - h -й образ, запомненный системой, g - порядок ассоциативной памяти. Показано, что ассоциативные памяти всех порядков устойчивы при асинхронном режиме работы, а при всех нечетных порядках устойчивость обеспечивается и в синхронном режиме.  

Доказано, что при синхронном функционировании в случае симметричной положительно определенной матрицы весов, процесс воспроизведения устойчив и сходится к функциональному состоянию сети, реализующему минимум некоторой энергетической функции.  

Билет 5

1.

Формальный нейрон

Биологический нейрон — сложная система, математическая модель которого до сих пор полностью не построена. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших — формальный нейрон (ФН, рис. .). Несмотряна простоту ФН, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.

Нейрон состоит  из взвешенного сумматора и нелинейного  элемента. Функционирование нейрона определяется формулами:

где i

x_i  — входные сигналы, совокупность всех входных сигналов нейрона образует вектор x;

w_i  — весовые коэффициенты, совокупность весовых коэффициентов образует вектор весов w;

NET — взвешенная  сумма входных сигналов, значение NET передается на нелинейный элемент;

θ  — пороговый  уровень данного нейрона;

F — нелинейная  функция, называемая функцией  активации.

Нейрон имеет  несколько входных сигналов x и один выходной сигнал OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень θ  и вид функции активации F.

Виды  функций активации

Рассмотрим основные виды функций активации, получившие распространение в искусственных

НС.

1. Жесткая ступенька (рис. .):

Используется  в классическом формальном нейроне. Развита полная теория [Мкртчян71], позволяющая синтезировать произвольные логические схемы на основе ФН с такой нелинейностью. Функция вычисляется двумя*тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат.

Эта функция  чрезмерно упрощена и не позволяет  моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов. Сети на классических ФН чаще всего формируются, синтезируются, т.е. их параметры рассчитываюся итеративно.

2. Логистическая функция (сигмоида, функция Ферми, рис. .)

Применяется очень  часто для многослойных перцептронов и других сетей с непрерывными сигналами. Гладкость, непрерывность функции — важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратногораспространения ошибки).

Функция симметрична  относительно точки (NET=0, OUT=1/2), это делает равноправными значения OUT=0 и OUT=1, что существенно в работе сети. Тем не менее, диапазон выходных значений от 0 до 1 несимметричен, из-за этого обучение значительно замедляется.

Данная функция  — сжимающая, т.е. для малых значений NET коэффициент передачи K=OUT/NET велик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким.

Значение производной  легко выражается через саму функцию. Быстрый расчет производной ус*

коряет обучение.

3. Гиперболический тангенс (рис. ):

Тоже применяется  часто для сетей с непрерывными сигналами. Функция симметрична относиельно точки (0,0), это преимущество по сравнению с сигмоидой. Производная также непрерывна и выражается через саму функцию.

4. Пологая ступенька (рис. ):

Рассчитывается  легко, но имеет разрывную первую производную в точках  NET θ = ,  NET θ =+∆ , что усложняет алгоритм обучения.

5. Экспонента:  out=e^-NET Применяется в специальных случаях.

6. SOFTMAX-функция

Здесь суммирование производится по всем нейронам данного  слоя сети. Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов NETi данного слоя. Это позволяет трактовать OUTi как вероятности событий, совокупность которых (все выходы слоя) образует полную группу. Это полезное свойство позволяет применить SOFTMAX*функцию в задачах классификации, проверки гипотез, распознавания образов и во всех других, где требуются выходы-вероятности. 
7. Участки синусоиды:

Применяется в  случаях, когда реакция нейрона  должна быть максимальной для некоторого определенного значения NET.

8. Гауссова кривая (рис. ):

Применяется в  случаях, когда реакция нейрона  должна быть максимальной для некоторого определенного значения NET.

9. Линейная функция, OUT = K NET,  K=const. Применяется для тех моделей сетей, где не требуется последовательное соединение слоев нейронов друг за другом.

Билет 3

Математическая  модель динамического адаптивного  нейрона(непрерывный и дискретные варианты)

2. Кохонена. 

Самоорганизующиеся  карты признаков (Self-organizing feature maps - SOFM)

преобразуют пространство входных признаков  произвольной размерности в одно- или двухмерную карту признаков  в соответствии с топологическими (сохраняющими характер соседства, то есть соседние точки остаются соседними  и после преобразования) ограничениями. Карты признаков рассчитываются с использованием метода Кохонена обучения без учителя. Выходные значения карты признаков могут быть использованы в качестве входа для обучаемых с учителем классификационных нейронных сетей таких, как многослойный персептрон.

Ключевым  преимуществом таких сетей является составление карты признаков, которая  позволяет снизить размерность  пространства до наиболее значимых признаков, получаемых путем самоорганизации. Организация одномерного или  двухмерного представления признаков  позволяет добиться топологического  сходства исходного множества признаков, с получаемым при обучении. Близкие по значимости признаки в обучающих примерах отображаются в соседние области формируемой карты. При этом структура параметрического пространства входных значений сохраняется, а его размерность снижается.

Модель  была предложена известным финским  ученым Кохоненом в 1982 г. [247] на основе более ранней работы [248]. Метод обучения Кохонена является развитием метода обучения на основе соревнований.Известным вариантом этого метода является классический метод кластеризации k-средних (k-means), который широко применяется при анализе данных в задачах кластеризации. Суть этого метода заключается в следующем [2].

Пусть задан набор из N точек, каждая из которых представляет собой вектор x_n=(x₁,x₂,x_k) размерности к. Требуется построить множество М центров кластеров, которые будут являться центрами групп областей сгущения точек исходных данных. Алгоритм сводится к следующему. Первоначально задаются М центров кластеров с произвольным, обычно случайным, расположением. Затем поочередно рассматриваются точки из исходного набора, и вычисления проводится в соответствии с алгоритмом.

Шаг 1. Подать входной вектор x_n=(x₁,x₂,x_k)

Шаг 2. Вычислить  расстояния dj от входного вектора до всех центров кластеров.

Шаг 3. Определить ближайший центр кластеров с  минимальным значением dj.

Шаг 4. Переместить  ближайший центр кластеров по направлению 

к входной  точке:

где а - коэффициент скорости обучения.

Шаг 5. Перейти  на шаг 2.  

Доказано, что местоположение центра каждого  кластера в асимптотике стремится  к среднему от входных точек, расположенных  в соответствующей ему области  Вороного [247]:

Метод k-средних нашел свою интерпретацию в нейросетевой тематике в виде так называемого соревновательного обучения, простейшей форме нейронной сети Кохонена. При этом функционирование сети происходит следующим образом.

Входной вектор, подается на входной слой, который не содержит нейронов, а выполняет коммутационные функции, распространяя каждый входной вектор по всем нейронам второго слоя. Число узлов входного слоя равно размерности входного вектора.

Каждый  нейрон второго слоя (слой Кохонена) имеет обучаемые весовые коэффициенты своих входов, число входов соответствует числу узлов первого слоя.

Слой  Кохонена классифицирует входные векторы в группы схожих. Предполагается, что входные векторы фактически группируются в классы в соответствии с их положением в векторном пространстве. Слой Кохонена функционирует в стиле "победитель забирает все". Побеждает в соревновании нейрон, вектор весовых коэффициентов которого окажется наиболее близким к входному вектору. Сеть Кохонена функционирует в двух режимах: обучения и классификации.

На каждый нейрон второго слоя подается входной  вектор x_n=(x₁,x₂,…x_k). Каждый нейрон второго слоя вычисляет расстояние между входным вектором и вектором его весовых коэффициентов по

формуле:

где w_ij - вес входа i в нейроне j, x_i -i -ая компонента входного вектора. Веса всех входов нейрона j формируют весовой вектор

В процессе обучения значение а постепенно уменьшается. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Согласно рекомендациям Кохонена [248], для получения хорошей статистической точности количество обучающих циклов должно быть, по крайней мере,в 500 раз больше количества выходных нейронов.

Кохоненом было предложено ввести в эту модель топологические связи, которые позволяют формировать топологическую структуру на кластерах. Все заданные центры кластеров связываются между собой одномерной или двухмерной сетью связей. При движении одного из

центров кластеров, все соседние с ним  по этой сети перемещаются тоже,но на меньшее расстояние.

Степень влияния центров группирования  друг на друга уменьшается в зависимости  от расстояния и с ростов номера итерации.Зависимость от расстояния может быть линейной, как было первоначально предложено Кохоненом, или нелинейной, например, в виде функции «Mexican Hat», которая наиболее часто используется в настоящее время.В то время как при соревновательном обучении модифицируются веса только нейронов-победителей, в соответствии с методом Кохонена, веса нейронов, соседних с выигравшими, также изменяются. Выбор соседей для модификации их весов может осуществляться как в одномерном виде (соседние в положении на линии), так и в нескольких вариантов двухмерного вида (соседи на плоскости, торе, произвольной криволинейной поверхности) в зависимости от заданной метрики евклидовых расстояний. Обычно величина, описывающая степень близости соседей,уменьшается в ходе обучения.

В этом режиме после выполнения достаточно большого числа итераций весовые  вектора нейронов второго слоя примут значения близкие к центрам кластеров входных векторов. В результате описанного обучения вырабатываются таблицы кодирования, являющиеся списком весовых векторов нейронов, соответствующих центрам кластеров входных векторов.

Метод обучения Кохонена с сохранением топологии оказывается очень полезным при выявлении внутренней структуры данных.Если модель, лежащая в основе многомерных данных, имеет размерность, намного ниже, чем сами данные, простыми методами выявить структуру такой модели не удается. Известный метод принципиальных компонент [2] позволяет определить только линейное пространство, описывающее наиболее сильные отклонения данных, но никак не может 

следовать их нелинейной структуре.

Мат модель

/*Некоторые термины: Нейрон состоит из тела клетки, дендридов, по которым воспринимает сигналы других нейронов, аксона, по которому передает другим нейронам выработанный сигнал, и синапсов – некоторых контактных промежутков между аксонами других нейронов и дендридами данного нейрона. Входные сигналы на дендриды нейрона поступают через синапсы, которые по-разному реагируют на одинаковые сигналы, что можно характеризовать некоторыми весовыми коэффициентами – весами синапсов.*/

Схема функционирования нейрона представлена на рис. 2. Здесь  x _j (j=1,2…n)- входные сигналы, получаемые нейроном через синапсы; суммарный пространственный входной сигнал нейрона;  ) (u(t)   – мембранный потенциал нейрона, являющийся суммарным пространственно-временным входным сигналом; ) (θ(t)  – порог срабатывания нейрона; θ₀  – нормальное состояние порога; [u(t)- θ(t)] – превышение мембранного потенциала над порогом; x- выходной сигнал нейрона; t_p – интервал рефрактерности нейрона. Эта схема качественно и достаточно полно отражает функционирование нейрона и может являться основой для синтеза математической модели нейрона.

Суммарный пространственный входной сигнал нейрона  y(t)  является некоторой функцией времени  t  и может быть определен следующим выражением:

Суммарный пространственно-временной  сигнал, то есть мембранный потенциал нейрона  u(t) зависит от входного суммарного пространственного сигнала y(t)  и может быть смоделирован простым дифференциальным уравнением:

Здесь

 α1– коэффициент инерционности нейрона;

 β1– коэффициент пространственной суммации.

Порог нейрона  зависит от входных и выходных сигналов нейрона, в конечном счете  – от мембранного потенциала  u(t) и от выходного сигнала нейрона x(t), и моделируется дифференциальным уравнением:

Здесь  α2– динамический коэффициент адаптации порога нейрона;

β2– коэффициент адаптации нейрона по выходу;

β3– коэффициент адаптации нейрона по входу.

Выходной сигнал нейрона  x(t)  можно смоделировать некоторой нелинейной функцией  F, зависящей от максимального значения разности мембранного потенциала и порога срабатывания нейрона:

Эта функция  носит название функции активации.

В совокупности выражения (1.1) – (1.4) представляют собой математическую модель динамического адаптивного нейрона:

На основе этой математической модели может быть построена электронная модель нейрона, которую в дальнейшем мы будем называть нейропроцессором. Нейропроцессоры работают всегда в составе нейропроцессорной сети, которая в самом общем случае может быть представлена [4] в виде параллельной многослойной    сети    с    внутрислойными    и    межслойными обратными связями (рис. 3).

Если рассматриваемый  нейропроцессор с номером k расположен в слое нейропроцессорной сети с номером l, то он получает входные сигналы от нейропроцессоров слоя  (l-1) , а свои выходные сигналы передает на входы нейропроцессоров слоя  (l+1) . Для такого нейропроцессора математическую модель (1.5) можно записать в следующей форме:

Здесь индексы  l=1 , 2 ,.. n  – номер слоя нейропроцессоров; k=1 , 2 , m  –

номер нейропроцессора в слое;  j=1,2   m  – номер входа нейропроцессора.

В том случае, когда нейропроцессоры реализуются на основе цифровой техники,

удобнее исходить не из дифференциальной математической модели нейрона (1.6), а из

разностной модели или лучше – из рекурсивной  математической модели. Разностная

математическая  модель нейрона вытекает из дифференциальной математической мо-

дели (1.6), в которой  принято, что время  t  изменяется дискретно с шагом Δ t  и заменяется номером шага  i , в результате чего выражения (1.6) приобретают вид:

В такой разностной модели  нейропроцессора (нейрона) все сигналы представляются в цифровой форме. Практически более предпочтительной является рекурсивная математическая модель динамического нейропроцессора, которая получается, если в разностной модели (1.7) принять шаг  Δ t=1 :

нейрона, возникающего при выдаче нейропроцессором выходного сигнала x_lk(i)>0

, при котором мембранный потенциал u_lk(i) падает до нуля. Выражение σ=[- x_lk(i)]

представляет  собой пороговую функцию с  порогом в нуле, равную единице  при отрицательных и нулевых  значениях x_lk(i)  и принимающую нулевое значение при x_lk(i)>0, что обеспечивает моделирование свойства рефрактерности нейропроцессора.

Рекурсивная математическая модель (1.8) динамического нейрона с переменным порогом и адаптацией по входу и по выходу наиболее полно отражает основные важнейшие функции естественного нейрона. Соответственно нейропроцессор, построенный на основе рекурсивной математической модели (1.8), наиболее полно моделирует нейрон. Ниже будет показано, что все известные математические модели нейронов и построенные на их основе нейропроцессоры являются частным случаем универсальной рекурсивной математической модели (1.8) естественного нейрона, то есть частным случаем универсального нейропроцессора.