Машинное зрение. 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержание 

 

1.   История развития машинного зрения                                                                                             3                                              

2.   Задачи машинного зрения и области его применения                                                              5                                                 

2.1 Определение понятия «машинное  зрение»                                                                                 5 
2.2 Машинное зрение в настоящее время.                                                                                          5

2.3. Основные задачи машинного  зрения                                                                                            5

2.4 Основные области применения  машинного зрения                                                                  7                                                         

3. Техническая составляющая машинного  зрения                                                                             8

3.1 Методы обработки изображения                                                                                                    8

3.2 Компоненты системы                                                                                                                          8

3.2.1.Компоненты системы машинного  зрения                                                                                  8

3.2.2.Типовая система машинного  зрения                                                                                         10

3.3. Принципы функционирования систем  машинного зрения                                                   10

4. Смежные области                                                                                                                                 12

4.1. Компьютерное зрение                                                                                                                    12

4.2. Обработка и анализ изображений                                                                                              12

4.3. Машинное обучение                                                                                                                        13

5. Наиболее интересные примеры  систем машинного зрения                                                   14

5.1. Видеонаблюдение                                                                                                                            14

5.1.1. Система обнаружения и сопровождения движущихся объектов                                   

по признак  их движения                                                                                                                        14

5.1.2. Система считывания регистрационных  номеров автомобилей                                        15

5.2 Биометрия                                                                                                                                            15

5.2.1. Система обнаружения и распознавания  лиц                                                                         16

5.2.2. Система распознавания жестов  руки человека                                                                     17

5.3 Медицинские приложения                                                                                                              17

5.3.1. Системы для компьютерного  анализа томографических изображений                        17

6. Будущее машинного зрения.                                                                                                            19

6.1. Достоинства и недостатки  систем машинного зрения                                                           19

6.2 Будущее машинного зрения                                                                                                           20

Список литературы                                                                                                                                   21

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.   История развития машинного зрения

Компьютерное зрение оформилось как  самостоятельная дисциплина к концу 60х годов. Это направление возникло в рамках искусственного интеллекта в тот его период, когда еще  были горячи споры о возможности  создания мыслящей машины. Оно выделилось из работ по распознаванию образов

Кратко история развития машинного  зрения представлена на рисунке 1.

 

 

 

Рис. 1. История машинного зрения

В истории развития машинного зрения можно выделить следующие этапы:

· 1955 г. - профессор Массачусетского  технологического института (МТИ) Оливер Селфридж опубликовал статью «Глаза и уши для компьютера». В ней автор выдвинул теоретическую идею оснащения компьютера средствами распознавания звука и изображения.

· 1958 г. - психолог Фрэнк Розенблатт из Корнеллского университета создал компьютерную реализацию персептрона (от perception - восприятие) - устройства, моделирующего схему распознавания образов человеческим мозгом. Персептрон был впервые смоделирован в 1958 году, причем его обучение требовало около получаса машинного времени на ЭВМ IBM-704. Аппаратный вариант - Mark I Perceptron - был построен в 1960 г. и предназначался для распознавания зрительных образов.Однако рассмотрение задач машинного зрения носило скорее умозрительный характер, так как ни техники, ни математического обеспечения для решения таких сложных задач еще не было.

· 1960-е гг.- появление первых программных  систем обработки изображений (в  основном для удаления помех с  фотоснимков, сделанных с самолетов  и спутников), стали развиваться  прикладные исследования в области  распознавания печатных символов. Однако все еще существовали ограничения  в развитии данной области науки, такие как отсутствие дешевых  оптических систем ввода данных, ограниченность и довольно узкая специализация  вычислительных систем. Бурное развитие систем компьютерного зрения на протяжении 60-х годов можно объяснить расширением  использования вычислительных машин  и очевидной потребностью в более  быстрой и эффективной связи  человека с ЭВМ. К началу 60-х годов  задачи компьютерного зрения в основном охватывали область космических  исследований, требовавших обработки  большого количества цифровой информации.

· 1970-е гг. - Лавренсе Робертс, аспирант МТИ, выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. На данном этапе стал проводиться более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.

· 1979 г. - профессор Ганс-Хельмут  Нагель из Гамбургского университета заложил основы теории анализа динамических сцен, позволяющей распознавать движущиеся объекты в видеопотоке.

· В конце 1980-х годов были созданы  роботы, способные более-менее удовлетворительно  оценивать окружающий мир и самостоятельно выполнять действия в естественной среде

· 80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей  различной физической природы. Развитие новых измерительных систем и  методов регистрации двухмерных цифровых информационных полей в  реальном масштабе времени позволило  получать для анализа устойчивые во времени изображения, генерируемые этими датчиками. Совершенствование  же технологий производства этих датчиков позволило существенным образом  снизить их стоимость, а значит, значительно  расширить область их применения

· С начала 90-х годов в алгоритмическом  аспекте последовательность действий по обработке изображения принято  рассматривать в согласии с так  называемой модульной парадигмой. Эта  парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от «иконического» представления объектов (растровое изображение, неструктурированная информация) – к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.).

· В середине 90-х годов появились  первые коммерческие системы автоматической навигации автомобилей. Эффективные  средства компьютерного анализа  движений удалось разработать в  конце XX века

· 2003 г. - на рынок были выпущены первые достаточно надежные корпоративные  системы распознавания лиц.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.   Задачи машинного зрения и области его применения

2.1.Определение понятия  «машинное зрение»                                                                                                  
Машинное зрение - это применение компьютерного зрения для промышленности и производства. В то время как компьютерное зрение - это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода/вывода и компьютерных сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией. Одним из наиболее распространенных приложений машинного зрения — инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение обрабатывающее изображение для выполнения аналогичных проверок. 

2.2 Машинное зрение в  настоящее время.

В настоящее время существует четкая граница между так называемым монокулярным и бинокулярным компьютерным зрением. К первой области относятся  исследования и разработки в области  компьютерного зрения, связанные  с информацией, поступающей от одной  камеры или от каждой камеры отдельно. Ко второй области относятся исследования и разработки, имеющие дело с информацией, одновременно поступающей от двух и  более камер. Несколько камер  в таких системах используются для  измерения глубины наблюдения. Эти  системы называются стереосистемами.

К настоящему моменту теория компьютерного  зрения полностью сложилась как  самостоятельный раздел кибернетики, опирающийся на научную и практическую базу знаний. Ежегодно по данной тематике издаются сотни книг и монографий, проводятся десятки конференций  и симпозиумов, выпускается различное  программное и аппаратно-программное  обеспечение. Существует ряд научно-общественных организаций, поддерживающих и освещающих исследования в области современных  технологий, в том числе технологии компьютерного зрения.

2.3. Основные задачи машинного  зрения

В целом, в задачи систем машинного  зрения входит получение цифрового изображения, обработка изображения с целью выделения значимой информации на изображении и математический анализ полученных данных для решения поставленных задач.

Однако машинное зрение позволяет  решать множество задач, которые  условно можно разделить на четыре группы (Рис.2):

Рис.2. Задачи машинного зрения

· Распознавание положения

Цель машинного зрения в данном применении - определение пространственного  местоположения (местоположения объекта  относительно внешней системы координат) или статического положения объекта (в каком положении находится  объект относительно системы координат  с началом отсчета в пределах самого объекта) и передача информации о положении и ориентации объекта  в систему управления или контроллер.  
Примером такого приложения может служить погрузочно-разгрузочный робот, перед которым стоит задача перемещения объектов различной формы из бункера. Интеллектуальная задача машинного зрения заключается, например, в определении оптимальной базовой системы координат и ее центра для локализации центра тяжести детали. Полученная информация позволяет роботу захватить деталь должным образом и переместить ее в надлежащее место.

• Измерение

В приложениях данного типа основная задача видеокамеры заключается  в измерении различных физических параметров объекта.  
Примером физических параметров может служить линейный размер, диаметр, кривизна, площадь, высота и количество. Пример реализации данного задачи - измерение различных диаметров горлышка стеклянной бутылки.

• Инспекция

В приложениях, связанных с инспекцией, цель машинного зрения - подтвердить  определенные свойства, например, наличие  или отсутствие этикетки на бутылке, болтов для проведения операции сборки, шоколадных конфет в коробке или  наличие различных дефектов.

• Идентификация

В задачах идентификации основное назначение видеокамеры - считывание различных  кодов (штрих-кодов, 2D-кодов и т. п.) с целью их распознавания средствами камеры или системным контроллером, а также определение различных буквенно-цифровых обозначений. Кроме того к задачам данной группы можно отнести системы, выполняющие задачи безопасности, такие как идентификация личности и техники, детекторы движения.

Исходя из задач, которые решает машинное зрение, можно выделить множество  областей применения машинного зрения. Однако стоит отметить, что сегодняшняя  структура спроса определяется пока еще ограниченными возможностями  современных систем машинного зрения.

Ниже приведена структура рыночного  спроса по проектной тематике (Рис.3):

Рис.3. Структура рыночного спроса

· 50% всех систем машинного зрения эксплуатируются в задачах контроля качества, т.е. решают инспекционные задачи машинного зрения. Это прежде всего визуальный контроль за процессом сборки, цветом и качеством поверхности продукции, внешним видом и чистотой упаковки, правильностью и разборчивостью этикеток, уровнем жидкости во всевозможной таре и т. д. Примерно 10% этих задач выполняются системами трехмерного зрения. Отдельная область использования систем машинного зрения на производстве - проведение всевозможных визуальных измерений параметров технологических процессов и, в частности, определение размеров предметов, т.е. решение задач измерения.

· 20% спроса приходится на системы  машинного зрения для проектов автоматизации  производства и внедрения промышленных роботов. Такие системы машинного  зрения упрощают самые разные виды высокоточной деятельности (сборка и  разборка, фасовка, покраска, сварка, утилизация), облегчают транспортировку грузов, применяются в системах учета, маркировки, регистрации и сортировки продукции. Также инспекционные задачи и задачи расположения для правильной работы робота.

· 17% всех продаж систем машинного  зрения составляют широко известные  и хорошо работающие OCR/OCV-системы  распознавания печатных символов и  штрих-кодов. Решение задачи идентификации.

· Рынок систем машинного зрения для непроизводственных (развлекательных, бытовых, исследовательских) роботов  составляет 13%.

2.4 Основные области применения  машинного зрения 
Применение машинного зрения разнообразно, оно охватывает различные области деятельности, включая, но не ограничиваясь следующими:

Крупное промышленное производство

Ускоренное производство уникальных продуктов

Системы безопасности в промышленных условиях

Контроль предварительно изготовленных  объектов (например, контроль качества, исследование допущенных ошибок)

Системы визуального контроля и  управления (учет, считывание штрих-кодов)

Контроль автоматизированных транспортных средств

Контроль качества и инспекция  продуктов питания

В автомобильной промышленности системы  машинного зрения используются в  качестве руководства для промышленных роботов, а также для проверки поверхности окрашенного автомобиля, сварных швов, блоков цилиндров и  многих других компонентов на наличие дефектов.

 

3. Техническая составляющая  машинного зрения

3.1 Методы обработки изображения

В системах машинного зрения, для  решения перечисленных задач, используются различные технологии и методы. Ниже перечислены основные методы обработки  изображения:

Счетчик пикселей: подсчитывает количество светлых или темных пикселей и на основе результата делает необходимые выводы об изображении.

Выделение связанных областей: Связная область изображения – это, с одной стороны, тип объекта, все еще очень близко связанный с растровым изображением, и в то же время – это уже некая самостоятельная семантическая единица, позволяющая вести дальнейший геометрический, логический, топологический и любой другой анализ изображения

Бинаризация: преобразует изображение в серых тонах в бинарное (белые и черные пиксели).

Гистограмма и гистограммная  обработка: Гистограмма характеризует частоту встречаемости на изображении пикселей одинаковой яркости.

Сегментация: используется для поиска и/или подсчета деталей. Сегментацией изображения называется разбиение изображения на непохожие по некоторому признаку области. Предполагается, что области соответствуют реальным объектам, или их частям, а границы областей соответствуют границам объектов.

Поиск и анализ блобов: проверка изображения на отдельные блобы связанных пикселей (например, черной дыры на сером объекте) в виде опорных точек изображения. Эти блобы часто представляют цели для обработки, захвата или производственного брака.

Надежное распознавание по шаблонам: поиск по шаблону объекта, который  может быть повернут, частично скрыт  другим объектом, или отличным по размеру.

Обнаружение краев: поиск краев  объектов

Чтение штрих-кодов: декодирование 1D и 2D кодов, разработанных для считывая или сканирования машинами

Оптическое распознавание  символов: автоматизированное чтение текста, например, серийных номеров

Измерение: измерение размеров объектов в дюймах или миллиметрах

Сопоставление шаблонов: поиск, подбор, и/или подсчет конкретных моделей

Инвариантные алгоритмы сопоставления точечных особенностей на изображениях: обнаружения и сопоставление точечных особенностей на изображениях.

Методы идентификация личности по радужной оболочке глаза

Различные методы восстановления формы  объекта по изображениям

В большинстве случаев, системы  машинного зрения используют последовательное сочетание этих методов обработки  для выполнения полного инспектирования. Например, система, которая считывает  штрих-код может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину обрабатываемых компонентов.

3.2 Компоненты системы

3.2.1.Компоненты системы машинного зрения

Хотя машинное зрение — процесс  применения компьютерного зрения для  промышленного применения, полезно  перечислить часто использовались аппаратные и программные компоненты. Типовое решение системы машинного  зрения включает в себя несколько  следующих компонентов:

Одна или несколько цифровых или аналоговых камер (черно-белые  или цветные) с подходящей оптикой  для получения изображений

Программное обеспечение для изготовления изображений для обработки. Для  аналоговых камер это оцифровщик изображений

Процессор (современный ПК c многоядерным процессором или встроенный процессор, например — ЦСП)

Программное обеспечение машинного  зрения, которое предоставляет инструменты  для разработки отдельных приложений программного обеспечения.

Оборудование ввода/вывода или  каналы связи для доклада  полученных результатах

Умная камера: одно устройство, которое  включает в себя все вышеперечисленные  пункты.

Очень специализированные источники  света (светодиоды, люминесцентные и  галогенные лампы и т. д.)

Специфичные приложения программного обеспечения для обработки изображений  и обнаружения соответствующих  свойств.

Датчик для синхронизации частей обнаружения (часто оптический или  магнитный датчик) для захвата  и обработки изображений.

Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Датчик синхронизации определяет, когда деталь, которая часто движется по конвейеру, находится в положении, подлежащем инспекции. Датчик запускает  камеру, чтобы сделать снимок детали, когда она проходит под камерой  и часто синхронизируется с импульсом  освещения, чтобы сделать четкое изображение. Освещение, используемое для подсветки деталей предназначено для выделения особенностей, представляющих интерес, и скрытия или сведения к минимуму появление особенностей, которые не представляют интереса (например, тени или отражения). Для этой цели часто используются светодиодные панели подходящих размеров и расположения.

Изображение с камеры попадает в  захватчик кадров или в память компьютера в системах, где захватчик  кадров не используется. Захватчик кадров — это устройство оцифровки (как часть умной камеры или в виде отдельной платы в компьютере), которое преобразует выходные данные с камеры в цифровой формат (как правило, это двумерный массив чисел, соответствующих уровню интенсивности света определенной точки в области зрения, называемых пикселями) и размещает изображения в памяти компьютера, так чтобы оно могло быть обработано с помощью программного обеспечения для машинного зрения.

Программное обеспечение, как правило, совершает несколько шагов для  обработки изображений. Часто изображение  для начала обрабатывается с целью  уменьшения шума или конвертации  множества оттенков серого в простое  сочетание черного и белого (бинаризации). После первоначальной обработки  программа будет считать, производить  измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает  деталь в соответствии с заданными критериям. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека работника для решения этой проблемы и сообщить, что привело к неудаче.

Хотя большинство систем машинного  зрения полагаются на «черно-белые» камеры, использование цветных камер  становится все более распространенным явлением. Кроме того, все чаще системы  машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком  кадров, что сокращает расходы  и упрощает систему.

«Умные» камеры со встроенными процессорами, захватывают все большую долю рынка машинного зрения. Использование  встроенных (и часто оптимизированных) процессоров устраняет необходимость  в карте захватчика кадров и во внешнем компьютере, что позволяет  снизить стоимость и сложность  системы, обеспечивая вычислительную мощность для каждой камеры. «Умные»  камеры, как правило, дешевле, чем  системы, состоящих из камеры, питания  и/или внешнего компьютера, в то время  как повышение мощности встроенного  процессора и ЦСП часто позволяет  достигнуть сопоставимой или более  высокой производительности и больших  возможностей, чем обычные ПК-системы.

3.2.2.Типовая система машинного  зрения

Типовая система машинного зрения состоит из одной или нескольких цифровых или аналоговых камер (черно-белые  или цветные) с подходящей оптикой  для получения изображений, подсветки  и объекта (рис. 4), оборудования ввода/вывода или каналы связи для доклада  о полученных результатах. Кроме  того, важна и программная составляющая систем машинного зрения, а именно программное обеспечение для  подготовки изображений к обработке (для аналоговых камер это оцифровщик изображений), специфичные приложения программного обеспечения для обработки  изображений и обнаружения соответствующих  свойств.

 

 

 

Рис.4. Состав типовой системы машинного  зрения

Матрица чувствительных элементов, входящих в состав видеокамеры, предназначена для получения цифрового изображения. В состав матрицы чувствительного элемента входит множество аналого-цифровых преобразователей, предназначенных для преобразования информации о световой интенсивности в цифровое значение.

Объектив позволяет камере фокусироваться на определенном расстоянии и получать четкое изображение объекта. В случае, когда объект находится вне фокусного расстояния, изображение получается нерезким (размытым, с нечеткими краями), что ухудшает возможность обработки видеоряда. В отличие от обычных цифровых фотоаппаратов с объективами, поддерживающими функции автофокусировки, в машинном зрении применяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса. Существуют различные типы объективов для самых разных задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), и выбор правильного типа оптики - важный этап при проектировании системы машинного зрения.

Подсветка - еще один важный элемент в машинном зрении. Благодаря использованию различных типов освещения можно расширить круг задач, решаемых машинным зрением. Существует различные типы подсветок, но наиболее популярным является светодиодная - в связи с ее высокой яркостью. При этом современный уровень развития светодиодной техники обеспечивает большой срок службы устройства и малое энергопотребление.