Искусственный интелект. 2

Аннотация

В рамках бакалаврской работы был рассмотрен метод распознавания графических образов с шумами, основанный на применении нейронной сети Хемминга. Было рассмотрено влияние шумов в данных на результат работы сети.

Также в рамках работы был построен программный комплекс, реализующий данный метод и позволяющий анализировать сгенерированные последовательности данных с внесённым в них шумом. Шум является случайной величиной и имеет заданный закон распределения. Были проведены исследования и на основе их результатов были сформулированы выводы.

 

The Annotation

As part of the Bachelor was the method of recognition of graphic images with noise, based on the application of the Hamming neural network. It was the influence of noise in the data at the output of the network.

Also as part of the software system has been built that implements this method and allows to analyze the sequence data generated from the noise made ​​by them. Noise is a random variable and has given law of distribution. Studies have been conducted on the basis of their results have been formulated conclusions. 

Оглавление

Введение 8

Постановка задачи 10

1. Системный анализ методов распознавания образов и построения генераторов псевдослучайных величин. 11

1.1. Анализ методов распознавания графических образов 11

1.1.1 Статистические методы распознавания 11

1.1.2 Структурные (лингвистические) методы распознавания 13

1.1.3 Нейросетевые методы распознавания 16

1.1.4 Вывод по результатам анализа рассмотренных методов 19

1.2. Генератор псевдослучайных величин 21

1.2.1. Генератор псевдослучайных величин, построенный методом обратной функции (непрерывная величина). 21

1.2.2. Генератор псевдослучайных величин, построенный методом обратной функции (дискретная величина). 22

1.2.3. Генератор псевдослучайных величин, построенный универсальным методом. 23

1.2.4. Проверка качества случайных величин 24

1.3. Процедура искажения изображений 28

1.3.1 Преобразование Бокса – Мюллера. 28

1.4. Выводы 30

2. Реализация эмулятора нейронной сети Хемминга, решающей задачи распознавания зашумлённых образов. 31

2.1. Выбор структуры ИНС 33

2.2. Программная реализация ИНС 35

2.2.1. Интерфейс пользователя программы-эмулятора ИНС 39

2.3. Описание программного генератора случайных величин 41

2.3.1. Интерфейс пользователя программного генератора случайных величин 42

2.4. Выводы 45

3. Исследование результатов работы генератора псевдослучайной величины 46

3.1 Метод обратной функции для непрерывной случайной величины. 47

3.2 Метод обратной функции для дискретной случайной величины. 51

3.3 Генерация псевдослучайной величины универсальным методом 53

3.4 Выводы 57

4. Исследование результатов работы программы-эмулятора ИНС 59

4.1 Выводы 61

Заключение 62

Библиографический список 63

Приложение А. Генератор ПСВ. 65

Приложение B.Эмулятор НС Хемминга. 71

 

 

Введение

 

 

Проблема  эффективного распознавания и анализа  изображений является актуальной в настоящее время в сферах автоматизации процессов человеческой деятельности, связанных с идентификацией различных объектов окружающего мира, например, авторизация по отпечаткам пальцев, сетчатке глаза или другим биометрическим признакам, считывание текста, распознавание лиц, жестов, автомобильных номеров и многое другое. Данная проблема не потеряет своей актуальности и в будущем, так как высокий темп развития уровня компьютеризации в области получения графической информации требует создания различных методов их анализа и распознавания.

В настоящее  время предложено большое количество нейросетевых моделей для решения задачи распознавания образов. Одним из главных преимуществ нейронных сетей (НС), свидетельствующим об их широких прикладных возможностях, является возможность параллельной обработки информации всеми нейронами. Благодаря этой способности при большом количестве межнейронных связей достигается значительное ускорение процесса обработки информации [1].

НС более устойчивы, чем другие статистические методы при распознавании изображений, если образы подвержены искажению. Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта внутренне присущая способность видеть образ сквозь шум и искажения важна для распознавания образов в реальном мире. Она позволяет преодолеть требование строгой точности, предъявляемое обычным компьютером. Важно отметить, что НС делает обобщения автоматически благодаря своей структуре, а не с помощью использования «человеческого интеллекта» в форме специально написанных компьютерных программ [2].

Уникальное свойство НС – универсальность. Хотя почти для всех вышеперечисленных задач существуют эффективные математические методы решения и, несмотря на то, что НС проигрывают специализированным методам для конкретных задач, благодаря универсальности и перспективности для решения глобальных задач, например, построения искусственного интеллекта и моделирования процесса мышления, они являются важным направлением исследования, требующим тщательного изучения.

Искусственные нейронные сети (НС) – набор математических и алгоритмических методов для решения широкого круга задач. Они превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. К задачам, успешно решаемым НС на данном этапе их развития, относятся [1]:

    • Распознавание зрительных и слуховых образов: от распознавания текста до систем голосового управления.
    • Ассоциативный поиск информации и создание ассоциативных моделей: синтез речи, формирование естественного языка.
    • Формирование моделей различных нелинейных и трудно описываемых математически систем, а также прогнозирование развития этих систем во времени: прогнозирование развития различных природных процессов, изменений курсов валют, курсов акций и других финансовых показателей.
    • Системы управления и регулирования с предсказанием: управление роботами и другими сложными устройствами.
    • Разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы.
    • Принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере и т.д.

Актуальность  исследований в направлении НС подтверждается большим количеством их различных применений.

Целью данной работы является создание программного обеспечения, реализующего построение генераторов псевдослучайных величин (ПСВ) с заданными законами распределения с возможностью исследования эффективности их работы и моделирование работы НС Хемминга, решающей задачи распознавания искаженных данных, шумы для которых формируются генераторами ПСВ.

 

Постановка  задачи

 

  1. Цель работы

 

Целью работы по построению генераторов псевдослучайной величины (ПСВ) и моделированию работы НС Хемминга с шумами в данных является разработка программного комплекса, позволяющего:

    • строить генераторы ПСВ с заданными законами распределения с возможностью исследования эффективности их работы;
    • моделировать работу нейронной сети Хемминга, решающей задачи распознавания искаженных данных, шумы для которых формируются генераторами ПСВ.

 

    1. Задачи

 

Для достижения поставленной цели в рамках данной работы, по построению генераторов ПСВ и моделированию работы НС Хемминга с шумами в данных являются:

-    построение эмулятора нейронной  сети Хемминга 

    • обучение нейронной сети Хемминга эталонным изображениям;
    • исследование качества распознавания искаженных изображений нейронной сетью Хемминга.
    • построение генераторов ПСВ тремя методами;
    • исследование эффективности работы генераторов ПСВ и представление результатов исследований в графическом виде;
    • искажение изображений с использованием генераторов ПСВ;

 

  1. Системный анализ методов распознавания образов и построения генераторов псевдослучайных величин.
    1.   Анализ методов распознавания графических образов

 

Проблема  эффективного распознавания образов  имеет важное значение в сферах автоматизации  определенных процессов человеческой деятельности, связанных с идентификацией различных объектов окружающего  мира, например, авторизация рабочего персонала по отпечаткам пальцев  или сетчатке глаза, идентификация  продукта и расчет цены в магазине по штрих-коду и так далее.

Основные  причины замены человеческого участия  в задачах распознавания:

- Освобождение человека от однообразных операций для решения других более важных задач.

- Повышение качества и скорости принимаемых решений.

Актуальность  настоящей темы обусловлена, с одной  стороны, большим интересом к  системам распознавания образов  в современной науке, с другой стороны, ее недостаточной разработанностью.

Различают три  основных группы методов распознавания [3,4]:

1. Статистические

2.Структурные

3. Нейросетевые  методы.

Далее будет  рассмотрена каждая группа методов, определены недостатки и преимущества каждого метода, а также выбран один из методов для распознавания  графических образов в данной работе.

 

 

1.1.1 Статистические методы распознавания

 

Сравнение объектов можно производить на основе их представления  в виде векторов измерений. Допустим, что каждый объект представлен в  точности d результатами измерений. У каждого объекта А i-я координата такого вектора признаков имеет один и тот же смысл. Например, первая координата может быть площадью объекта, вторая — моментом второго порядка по строке, третья координата — это протяженность объекта и так далее. Данные измерений удобно представлять в виде вещественных чисел. Сходство (близость) векторов признаков двух объектов может быть описано с помощью евклидова расстояния между векторами.  

Статистический  подход основывается на математических правилах классификации, которые формулируются и выводятся в терминах  математической  статистики. Этот метод обеспечивает получение классификатора в тех случаях, когда известны плотности распределения для всех совокупностей образов и вероятности появления образов для каждого класса.

В распознавании  образов неизвестный объект для  классификации представляется в  виде вектора элементарных признаков. Система распознавания на основе векторов признаков может быть разработана различными способами — эти векторы могут быть известны системе в результате обучения или предсказаны на основе каких-либо моделей.

Система распознания  на основе векторов признаков может  быть разработана двумя различными способами – эти векторы могут  быть известны системе в результате обучения или предсказаны на основе каких-либо моделей. Далее будут  рассмотрены два альтернативных метода использования базы данных эталонных  образцов, сформированных в результате обучения системы[3].

 

1)Классификация по ближайшему среднему значению

Алгоритм  классификации заключается в  группировке эталонных данных каждого класса с использованием вектора математического ожидания  класса,

     

где j - эталонный вектор признаков для класса i. Неизвестный объект с вектором признаков х относится к классу i, если он существенно ближе к вектору математического ожидания класса i, чем к векторам математических ожиданий других классов. Вектор х можно отнести к классу выбросов, если он не лежит достаточно близко к одному из векторов математических ожиданий. Этот метод классификации прост и быстро работает, он подходит для задач, в которых точки каждого класса располагаются компактно и далеко от других классов.

Простой пример с двумя классами с двумерными векторами представлен на рисунке 1.

Рисунок 1. Два компактных класса.

 

При данной структуре классов коэффициент  ошибок будет небольшим, если только структура эталонных образцов хорошо представляет структуру распознаваемых системой объектов. Трудности могут  возникнуть, если классы эталонных  образцов обладают сложной структурой или пересекаются[3].

2)Классификация по расстоянию до ближайших соседей

Более гибкий, но одновременно более долгий метод классификации заключается в отнесении неизвестного вектора признаков х к тому классу, к отдельному эталонному образцу которого этот вектор наиболее близок. Это правило ближайшего соседа. Классификация по ближайшему соседу может быть эффективна, даже если классы имеют сложную структуру и когда классы перекрываются. При таком подходе не требуется предположений о моделях распределения векторов признаков в пространстве; алгоритм предполагает использование только известных эталонных образов. Метод основан на вычислении расстояния от x до всех образцов в базе данных и нахождении минимального расстояния. Преимущество такого подхода в том, что новые маркированные образцы можно в любой момент добавлять в базу данных. Существуют структуры данных, позволяющие сократить количество вычисляемых расстояний. Примерами таких структур являются древовидные и сеточные структуры данных, описанные в [3].

 

1.1.2 Структурные (лингвистические) методы распознавания

 

Для распознавания  может оказаться недостаточно простых  численных или символьных признаков объекта. Сведения о взаимосвязи между примитивными признаками можно использовать на более высоком уровне обработки. Таким образом, формируются более мощные признаки для распознавания. На основе подобных соображений были разработаны методы структурного распознавания образов.

Если описание образов производится с помощью  непроизводных элементов (подобразов) и их отношений, то для построения   автоматических   систем распознавания применяется лингвистический подход с использованием принципа общности свойств.

В структурном  распознавании символов сущность представляется в виде совокупности элементарных частей, их атрибутов и отношений наряду с глобальными признаками сущности.

Ключевыми моментами  данного подхода являются выбор  непроизводных элементов образа, объединение этих элементов и  связывающих их отношений в грамматики образов и, наконец, реализация в  соответствующем языке процессов  анализа и распознавания [3]. Такой подход особенно полезен при работе с образами, которые либо не могут быть описаны числовыми измерениями, либо столь сложны, что их локальные признаки идентифицировать не удается и приходится обращаться к глобальным свойствам объектов.

В случае бинарных отношений между примитивами  структурное описание сущности можно  представить в виде графа.

Однако отношение  между двумя примитивами само может рассматриваться как элементарный признак, входить в вектор признаков и учитываться в процедуре статистического принятия решения. Один из простейших подобных способов состоит в том, что для данного образа можно подсчитать количество заданных отношений между двумя признаками разных типов (например, заливка внизу горизонтального штриха). Затем целочисленное значение счетчика используется в качестве признака для распознавания образа.

Структурные методы полезны для распознавания  сложных образов, состоящих из многих образов более низкого уровня. Они также имеют преимущества при наличии нескольких объектов.

1)Деревья решений

В сложных  задачах распознавания образов, в которых требуется учитывать большое количество различных возможных признаков, полное сравнение неизвестного вектора признаков со многими векторами признаков эталонных образцов может занимать слишком много времени. Иногда это недопустимо, например, в случае медицинской диагностики, когда измерение признаков часто требует дорогих и, возможно, болезненных лабораторных анализов. Использование дерева решений позволяет чередовать этапы выделения признаков и классификации. Дерево решений — это компактная структура, использующая один признак (или несколько) в каждый момент времени для разбиения пространства поиска всех возможных образов. Простая процедура принятия решения представляет собой поток управления для реализации дерева решения согласно рисунку 2. Узлы этого дерева представляют различные составляющие вектора признаков. Каждый узел с ветвями имеет по одному дочернему узлу на каждое возможное значение своего признака. Процедура принятия решения предполагает выбор дочернего узла на основе значения заданного признака в неизвестном векторе признаков. Дочерний узел может указывать на проверку другого признака или может оказаться листовым узлом, содержащим результат классификации, соответствующий пройденному пути на дереве решений.

Рисунок 2. Дерево решений.

 

Бинарное  дерево решений — это структура  данных в виде бинарного дерева, с каждым узлом которого связана  функция выбора решения. Функция  выбора решения применяется к  неизвестному вектору признаков  и определяет, какой дочерний узел текущего узла следует обрабатывать далее — левый или правый.

В простейшем случае, когда значения признаков  являются числами, функция выбора решения в узле просто сравнивает значение конкретного признака неизвестного вектора признаков с порогом и выбирает левый дочерний узел, если это значение признака меньше порога, или правый дочерний узел в противном случае. При этом в каждом ветвящемся узле дерева надо хранить только тип учитываемого признака и пороговое значение. В каждом листовом узле хранится метка класса образов. Если процедура обхода дерева решения достигает листового узла, то неизвестный вектор признаков классифицируется как элемент соответствующего класса образов.

Для любого данного множества эталонных  образцов может существовать более одного классифицирующего дерева решений. Поэтому важно выбрать признаки, которые дают наилучшее, согласно некоторому критерию, дерево решений. Обычно предпочтительнее дерево, которое является наиболее простым или с наименьшим количеством уровней, т. е. с меньшим количеством выполняемых проверок[3].

1.1.2.2 Байесовский подход к принятию решений

 

Байесовский классификатор на основе наблюдаемых признаков относит объект к классу, к которому этот объект принадлежит с наибольшей вероятностью.

Для вычисления вероятностей по данному измеренному  значению х необходимо знать следующие распределения.

Распределение условной вероятности р(х|wi) для каждого класса wi.  

Априорная вероятность Р(wi) для каждого класса wi .           

Распределение безусловной вероятности р(х). 

Если все  классы wi характеризуются собственными несовместными вероятностями, охватывающими все возможные случаи, то можно применить правило Байеса для вычисления апостериорных вероятностей каждого класса по априорным вероятностям этих классов и распределениям условной вероятности для х.

 

Для проектирования байесовского классификатора необходимы сведения об априорной вероятности  каждого класса Р(wi) и распределение условной вероятности класса р(х|wi). Знание этих характеристик позволяет принимать решения в процессе распознавания. Часто бывает трудно оценить эти априорные вероятности[3].

 

1.1.3 Нейросетевые методы распознавания

 

 

Нейроны живых  организмов благодаря своей способности  к обучению исследовались применительно к задачам машинного обучения. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших — формальный нейрон, представленный на рисунке 3[5].

Искусственные нейронные сети – математические модели, построенные по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма [5]. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Модели искусственных НС могут быть программного и аппаратного исполнения. В дальнейшем речь пойдет о первом типе.

Каждый искусственный нейрон (см. рисунок 3) характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Нейрон состоит из группы синапсов – однонаправленных входных связей, соединяющих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона – выходной связи данного нейрона, с которой сигнал поступает на синапсы следующих нейронов. На вход нейрона поступает некоторое множество сигналов, обозначенных x1, x2,…, xn, каждый из которых является выходом другого нейрона. Каждый сигнал умножается на соответствующий вес w1, w2,…, wn,, аналогичный синаптической силе, и поступает на суммирующий блок, обозначенный S. Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, определяя уровень активации нейрона [5]. Хотя нейросетевые модели весьма разнообразны, в основе почти всех их лежит эта конфигурация.

Рисунок 3. Искусственный нейрон

 

Выход нейрона  является функцией его состояния, т.е. Y = F(S). Функция F(S) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Активационная функция F(S) определяет зависимость сигнала на выходе нейрона от взвешенной суммы сигналов на его входах и ограничивает амплитуду выходного сигнала нейрона.

Хотя формальный нейрон является лишь приближением к  биологической модели, он приобрел большую важность в качестве модели для вычислений. Сети из подобных формальных нейронов, называемые искусственными нейронными сетями, были успешно применены во многих задачах распознавания образов, особенно благодаря своей способности к обучению. Нейронные сети допускают реализацию в форме параллельных алгоритмов.

Нейронные сети являются перспективной альтернативой  традиционным методам решения задач  распознавания образов.

Выбор структуры  НС осуществляется в соответствии с  особенностями и сложностью задачи. Для решения отдельных типов  задач уже существуют конфигурации, описанные в [6]. Если же задача не может быть сведена ни к одному из известных типов, приходится решать  проблему синтеза новой конфигурации. Рекомендовано в задачах распознавания использовать такие типы ИНС, как многослойные персептроны. Рекомендации по структуре НС  общеизвестны [5].

Различные алгоритмы  обучения НС подробно описаны в литературе [1,2,5,6].

 

 

 

 

 

1.1.3.1 Преимущества нейронных сетей

 

1)Решение задач при неизвестных закономерностях

Используя способность обучения на множестве  примеров, нейронная сеть способна решать задачи, в которых неизвестны закономерности развития ситуации и зависимости между входными и выходными данными. Традиционные математические методы и экспертные системы в таких случаях неприменимы.

2)Устойчивость к шумам во входных данных

Возможность работы при наличии большого числа  неинформативных, шумовых входных  сигналов. Нет необходимости делать их предварительный отсев, нейронная  сеть сама определит их малопригодность  для решения задачи и отбросит их.

3)Адаптация к изменениям окружающей среды

Нейронные сети обладают способностью адаптироваться к изменениям окружающей среды. В  частности, нейронные сети, обученные  действовать в определенной среде, могут быть легко переучены для  работы в условиях незначительных колебаний  параметров среды. Более того, для  работы в нестационарной среде (где  статистика изменяется с течением времени) могут быть созданы нейронные  сети, переучивающиеся в реальном времени. Чем выше адаптивные способности  системы, тем более устойчивой будет  ее работа в нестационарной среде. При  этом следует заметить, что адаптивность не всегда ведет к устойчивости; иногда она приводит к совершенно противоположному результату. Например, адаптивная система с параметрами, быстро изменяющимися во времени, может  также быстро реагировать и на посторонние возбуждения, что вызовет  потерю производительности. Для того чтобы использовать все достоинства  адаптивности, основные параметры системы  должны быть достаточно стабильными, чтобы  можно было не учитывать внешние  помехи, и достаточно гибкими, чтобы  обеспечить реакцию на существенные изменения среды.

4)Потенциальное сверхвысокое быстродействие

Нейронные сети обладают потенциальным сверхвысоким быстродействием за счет использования  массового параллелизма обработки  информации;

5) Отказоустойчивость при аппаратной реализации нейронной сети

Нейронные сети потенциально отказоустойчивы. Это  значит, что при неблагоприятных  условиях их производительность падает незначительно. Например, если поврежден  какой-то нейрон или его связи, извлечение запомненной информации затрудняется. Однако, принимая в расчет распределенный характер хранения информации в нейронной  сети, можно утверждать, что только серьезные повреждения структуры  нейронной сети существенно повлияют на ее работоспособность. Поэтому снижение качества работы нейронной сети происходит медленно.

1.1.4 Вывод по результатам анализа рассмотренных методов

 

Использование статистических методов классификации в распознавании образов возможно, когда для распознавания данных достаточно простых численных и символических признаков для описания объекта, таких как  площадь символа, высота и ширина описывающего прямоугольника, чтобы установить меры сходства образов.

Критерий  разбиения на классы объекты может  либо воспроизводить некоторые эвристические соображения, либо основываться на минимизации (или максимизации) заданного показателя качества.

При эвристическом  подходе решающую роль играют интуиция и опыт. Он предусматривает задание набора правил, которые обеспечивают использование выбранной меры сходства для отнесения образов к одному из классов. Евклидово расстояние хорошо приспособлено для подобного подхода, что связано с естественностью его интерпретации как меры близости.

Методы структурного анализы применимы в тех задачах, в которых важна информация, описывающая структуру каждого объекта, а от процедуры распознавания требуется, чтобы она давала возможность не только отнести объект к определенному классу (классифицировать его), но и описать те стороны объекта, которые исключают его отнесение к другому классу. Типичным примером таких задач служит распознавание изображений. В случае, когда объекты сложны и число требуемых признаков часто велико, описание сложного объекта в виде иерархической  структуры  более простых подобразов становится обоснованным.

Одно из преимуществ  ИНС это то, что все элементы могут функционировать параллельно, тем самым существенно повышая  эффективность решения задачи, особенно в обработке изображений. ИНС  предоставляют мощные гибкие и универсальные  механизмы обучения, что является их главным преимуществом перед  другими методами, указанными выше. Обучение избавляет от необходимости  выбирать ключевые признаки, их значимость и отношения между признаками. Но, тем не менее, выбор исходного  представления входных данных существенно влияет на качество решения. НС обладают хорошей обобщающей способностью, то есть могут успешно распространять опыт, полученный на конечном обучающем наборе, на множество образов.

Искусственный интелект. 2 📙 Курсовая → 🆔 94124

Искусственный интелект. 2 📙 Курсовая → 🆔 94124