Повышение разрещающей способности изображения

УЗБЕКСКОЕ АГЕНТСТВО ИНФОРМАЦИИ И СВЯЗИТАШКЕНТСКИЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

 

 

 

 

 

Самостоятельная работа по предмету «Цифровая обработка изображений»

 “Повышение разрешающей способности изображения“

 

 

 

 

 

 

 

 

 

 

 

Выполнил студент группы №227-09

Ефимов Никита

Проверил

Ашуров Азиз Олимджанович

 

 

 

 

 

 

 

 

 

 

 

 

Ташкент 2012

СОДЕРЖАНИЕ

 

Введение

Глава I. Обзор и сравнительный анализ методов и алгоритмов повышения разрешения изображений

1.1 Анализ исследуемой проблемы

1.2 Сравнительная оценка существующих программ, повышающих разрешение изображений

Выводы к главе I

Заключение

Список использованной литературы

 

 

ВВЕДЕНИЕ

 

Работа посвящена обработке  цифровых изображений, в частности  задаче повышения разрешающей способности  изображений. Рассматриваются методы повышения (увеличения) изображений, алгоритм реализации.

Актуальность работы.

Выбор темы самостоятельной обусловлен тем, что задача повышения разрешения (увеличения) изображений является одной из важнейших задач цифровой обработки изображений. Несмотря на рост разрешения сенсоров камер, эта задача остается актуальной, например, для изображений, снятых на камеры низкого разрешения.

Предметом исследования является технология разработки программы  для решения задачи повышения  разрешающей способности изображений.

Целью работы является рассмотрение процесса реализации задачи повышения разрешающей способности изображений. Основные задачи, решаемые в представленной работе, изложены ниже:

1. Рассмотрение методов повышения разрешения изображений, выделение подходов, которые будут использованы при реализации программного продукта, т.е. выбрать метод достаточно простой, быстрый и устойчивый к ошибкам.

2. Постановка и решение задачи повышения разрешения изображений

. Поэтапная программная реализация построенного алгоритма повышения разрешающей способности изображений.

 

 

 

 

 

Структура самостоятельной работы:

Самостоятельная работа состоит из аннотации, введения, теоретической главы, заключения, использованной литературы

 

ГЛАВА I. ОБЗОР И СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ И АЛГОРИТМОВ ПОВЫШЕНИЯ РАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ

 

.1 Анализ исследуемой проблемы

 

Суть интерполяции заключается  в использовании имеющихся данных для получения ожидаемых значений в неизвестных точках.

В первую очередь отметим, что изображение представляется в виде функции f(x, y). Исходя из этого, строится математическая основа интерполяции.

Пиксели изображений  являются точками, в которых значение функции известно.

Сутью повышения разрешения изображений, с помощью интерполяции, является нахождение значений функции  в промежуточных точках.

Основной недостаток интерполяции - невозможно точно восстановить информацию.

Общепринятые алгоритмы  интерполяции можно поделить на две  категории: адаптивные и неадаптивные. В данной работе использованы неадаптивные алгоритмы интерполяции.

Адаптивные методы изменяются в зависимости от предмета интерполяции (резкие границы, гладкая текстура), тогда как неадаптивные методы обрабатывают все пиксели одинаково.

Неадаптивные алгоритмы  включают:

· метод ближайшего соседа

· билинейный

· бикубический

В зависимости от сложности, они используют от 0 до 256 (или более) смежных пикселей для интерполяции. Чем больше смежных пикселей они  включают, тем более точными могут  оказаться, но это достигается за счёт значительного прироста времени  обработки. Эти алгоритмы могут использоваться как для развёртки, так и для масштабирования изображения. В полной мере работа этих алгоритмов реализована в Photoshop.

К адаптивным алгоритмам можно причислить:

· градиентные методы, основная идея которых использование разных ядер для интерполяции вдоль и поперек границ.

· Обратная задача, постановка задачи в которой производится в виде:

=U (1),

 

где

Z - увеличенное изображение;

U - уменьшенное изображение;

А - оператор, уменьшающий  изображение.

Увеличение здесь реализуется  как решение этого уравнения с применением итерационных методов. Главный минус этого метода - неустойчивость, т.к. задача поставлена некорректно.

· Регулязирующий метод. Одним из способов решения этой некорректной задачи (1) является метод регуляции, созданный академиком А. И. Тихоновым. В результате этот метод сводит некорректно поставленную задачу - к корректной, за счет использования дополнительных ограничений.

Адаптивные алгоритмы  включают в себя многие коммерческие алгоритмы в лицензированных  программах, таких как Qimage, PhotoZoom Pro, Genuine Fractals и другие. Многие из них применяют различные версии своих алгоритмов (на основе попиксельного анализа), когда обнаруживают наличие границы - с целью минимизировать неприглядные дефекты интерполяции в местах, где они наиболее видны. Эти алгоритмы в первую очередь разработаны для максимизации бездефектной детальности увеличенных изображений, так что некоторые из них для вращения или изменения перспективы изображения непригодны.

Рассмотрим более подробно работу неадаптивных алгоритмов интерполяции. В моем проекте применены алгоритмы: билинейная и бикубическая. Так как из простейших и доступных методов интерполяции билинейная более проста в реализации и дает приемлемое качество при увеличении разрешения. А бикубический метод он немного сложен в реализации, но дает очень хорошее качество.

Метод ближайшего соседа - это наиболее базовый из всех алгоритмов интерполяции, который требует наименьшего  времени обработки, поскольку учитывает  только один пиксель - ближайший к  точке интерполяции. В результате каждый пиксель просто становится больше.

Билинейная интерполяция рассматривает квадрат 2x2 известных пикселя, окружающих неизвестный. В качестве интерполированного значения используется взвешенное усреднение этих четырёх пикселей. В результате изображения выглядят значительно более гладко, чем результат работы метода ближайшего соседа.

В вычислительной математике билинейная интерполяция - расширение линейной интерполяции для функций  в двух переменных, то есть - это линейная интерполяция первого порядка в двумерном случае:

 

f(x, y)=(1-x)(1-y)f(0, 0)+x(1-y)f(1, 0)+(1-x)yf(0, 1)+xyf(1, 1) (2).

 

Ключевая идея заключается  в том, чтобы провести обычную  линейную интерполяцию сначала в  одном направлении, затем в другом.

 

Рис.1. Билинейная интерполяция

 

Четыре красные точки  представляют собой известные значения функции. Значение в зеленой точке  должно быть интерполировано.

Допустим, что необходимо интерполировать значение функции f в точке P = (x, y). Для этого необходимо знать значения функций в (окружающих P) точках Q11 = (x1, y1), Q12 = (x1, y2), Q21 = (x2, y1), и Q22 = (x2, y2).

Первым шагом интерполируется (линейно) значение вспомогательных  точек R1 и R2 вдоль оси абсцисс, где

 

R1 = (x,y1)= (x,y2)

(3)

(4)

Теперь проводится линейная интерполяция между вспомогательными точками R1 и R2.

 

(5)

 

Это и есть приблизительное  значение функции в точке P, т.е. f(x, y).

 

(6)

 

В особом случае, когда  известные точки находятся на вершинах единичного квадрата, т.е. имеют  координаты (0, 0), (0, 1), (1, 0), и (1, 1), формула билинейной интерполяции упрощается до:

 

(7).

 

Или же с помощью умножения  векторов с матрицей:

 

(8).

 

Обратите внимание: сам  интерполянт нелинеен:

(9),

 

т.к. является произведением  двух линейных функций. Альтернативное написание:

 

(10),

 

Где

 

. (11).

 

Результат билинейной интерполяции не зависит от порядка шагов. Возможно сначала интерполировать между  известными точками вдоль оси  ординат и затем, получив два  вспомогательных значения, интерполировать  между ними вдоль оси абсцисс. Результат будет тот же.

В компьютерной графике  билинейная интерполяция получила широкое  распространение в процессе ресэмплинга (или, проще говоря, масштабирования) изображений.

При увеличении цифровых изображений наблюдается сильная  пикселизация картинки. Билинейная интерполяция используется для расчета цветов дополнительных пикселей (P) относительно основных, исходных (Q), что позволяет сглаживать переходы. Значением функции f в данном случае выступает цвет пикселя (его составляющие). При этом квадрат, образованный четырьмя рассматриваемыми основными точками принимается единичным.

Главным недостатком  билинейной интерполяции при масштабировании  изображений является тот факт, что  при увеличении в N раз изображения  размером W на H пикселей в результате будет получено изображение размером не NW на NH пикселей, а (N(W − 1) + 1) на (N(H − 1) + 1) пикселей.

Связано это с тем, что в исходном изображении, например, по горизонтали имеется W точек, т.е. (W − 1) смежных пар. При увеличении изображения в N раз между каждой парой основных точек вставляется по (N − 1) дополнительных точек (т.е. при увеличении вдвое между основными точками вставляется еще по одной, при увеличении втрое - по две и т.д.). Итого в результате ширина результирующего изображения будет равна сумме количества основных и дополнительных точек:

 

W + (W − 1)(N − 1) = N(W −  1) + 1 (12).

 

Проще говоря, для последнего пикселя (в каждой строке и столбце) исходного изображения не находится  пары, с которой можно было бы провести интерполирование.

Бикубическая интерполяция

Бикубическая интерполяция идёт на один шаг дальше билинейной, рассматривая массив из 4x4 окружающих пикселей - всего 16. Поскольку они находятся на разных расстояниях от неизвестного пикселя, ближайшие пиксели получают при расчёте больший вес. Бикубическая интерполяция производит значительно более резкие изображения, чем предыдущие два метода, и возможно, является оптимальной по соотношению времени обработки и качества на выходе. По этой причине она стала стандартной для многих программ редактирования изображений (включая Adobe Photoshop), драйверов принтеров и встроенной интерполяции камер.

В вычислительной математике бикубическая интерполяция - расширение кубической интерполяции на случай функции  двух переменных, значения которой заданы на двумерной регулярной сетке. Поверхность, полученная в результате бикубической интерполяции, является гладкой функцией, в отличие от поверхностей, полученных в результате билинейной интерполяции или интерполяции методом ближайшего соседа.

Чтобы лучше понять принцип  бикубической интерполяции, предлагаю  рассмотреть принцип кубической интерполяции.

Если значения функции f(x) и ее производной известны в  точках x=0 и x=1, тогда функция может  быть интерполирована на интервале [0, 1] используя полином третьего порядка. Формула для вычисления может быть легко получена.

Полином третьего порядка и его  производная:

 

  (13)

 

Значения полинома и его производной  в точках x=0 и x=1:

 

  (14)

 

Эти четыре тождества могут быть записаны как:

 

 

  (15)

программа изображение алгоритм интерполяция

Итак мы получили нашу интерполяционную формулу. На практике алгоритм использует для интерполяции функции, имея некие  известные значения в заданных точках. В этом случае мы не можем знать  производную функции. Мы могли бы принять производную в заданных точках, как 0, однако для получения более гладких и правдоподобных графиков функций мы примем за производную уклон линии между предыдущей и следующей точкой. Таким образом для расчетов нам понадобится 4 точки. Предположим, мы имеем 4 значения функции в точках p0, p1, p2 и p3, расположенных соответственно на x=-1, x=0, x=1 и x=2. Подставим полученные значения f(0), f(1), f(2) и f(3):

 

  (16)

 

Сопоставив эти данные с полученными  ранее формулами мы имеем:

 

 

  (17)

 

Результат:

 

 

Так как бикубическая интерполяция представляет собой кубическую интерполяцию в двух измерениях.

Мы можем, используя  формулу кубической интерполяции, полученную выше, построить бикубическую интерполяционную формулу.

Представим, что нам известно 16 точек p_ij, с точкой начала координат в (i-1, j-1), где i,j изменяются от 0 до 3. Тогда, мы сможем интерполировать поверхность на участке [0,0] х [1,1], для этого интерполируем 4 колонки и потом интерполируем полученные результаты в горизонтальном направлении:

 

 

Расчет коэффициентов

Мы можем переписать формулу для бикубический интерполяции как многомерный полином:

 

(20)

 

С помощью этих значений для Ij , коэффициенты:

 

 

 

На основе этих данных реализуются алгоритмы увеличения разрешения в моей работе. Далее  приведены основные недостатки, возникающие  после работы описанных выше методов  и алгоритмов.

Все неадаптивные интерполяторы  пытаются подобрать оптимальный  баланс между тремя нежелательными дефектами: граничными гало, размытием и ступеньчатостью.

Даже наиболее развитые неадаптивные интерполяторы всегда вынуждены увеличивать или уменьшать  один из вышеприведенных дефектов за счёт двух других - как следствие, как  минимум один из них будет заметен. Заметьте, насколько граничное гало похоже на дефект, порождаемый повышением резкости с помощью нерезкой маски, и как оно повышает кажущуюся резкость посредством усиления чёткости.

Адаптивные интерполяторы  могут создавать или не создавать вышеописанные дефекты, но они тоже могут породить несвойственные исходному изображению текстуры или одиночные пиксели на крупных масштабах.

Далее в следующем  параграфе приведена сравнительная  оценка программ, в которых реализованы  алгоритмы повышения разрешения изображений.

 

.2 Сравнительная оценка существующих программ, повышающих разрешение изображений

 

Photoshop

Photoshop выполняет ресамплинг (увеличение) изображения при помощи  методов интерполяции, присваивая  новым пикселам значения цвета,  полученные на основе значений цвета уже существующих пикселов. Выбрать используемый метод можно в диалоговом окне "Размер изображения".

По соседним. Быстрый, но менее точный метод, который повторяет  пикселы изображения. Этот метод  используется в иллюстрациях, содержащих несглаженные края, для того чтобы сохранить четкие границы и создать файл меньшего размера. Однако этот метод может создать зубчатые края, которые станут заметными при искажении или масштабировании изображения или проведении множества операций с выделением.

Билинейная. Этот метод  добавляет новые пикселы, рассчитывая  среднее значение цвета окружающих пикселов. Он дает результат среднего качества.

Бикубическая. Более медленный, но и более точный метод, основанный на анализе значений цвета окружающих пикселов. За счет использования более сложных вычислений бикубическая интерполяция дает более плавные цветовые переходы, чем интерполяция по соседним пикселам или билинейная интерполяция.

Бикубическая, глаже. Хороший  метод для увеличения изображений  на основе бикубической интерполяции разработанный специально для получения  более гладких результатов.

Бикубическая, четче. Хороший  метод для уменьшения размера  изображения на основе бикубической интерполяции с повышенной резкостью. Этот метод позволяет сохранить детали изображения, подвергнутого ресамплингу. Недостаток этого метода - делает слишком резкими некоторые области изображения .

Resize ITIT - это Adobe Photoshop-плагин, который работает со всеми приложениями, поддерживающими Adobe-совместимые плагины. Если вам необходимо увеличить 3-мегапиксельное изображение до 11 мегапикселов, то Resize IT предложит несколько интерполяционных алгоритмов, из которых можно будет выбрать оптимальный для конкретного случая.

Genuine FractalsFractals ("Подлинные фракталы") от компании Lizard Technologies - популярный пакет для увеличения разрешения изображений. Реализованные в Genuine Fractals интерполяционные алгоритмы основаны на кодировании изображения методом IFS (Iterated functions system). Они позволяют растягивать отдельные фрагменты изображения с учетом их локальных геометрических характеристик и соответственно избегать обычных артефактов интерполяции:

· вертикальные и горизонтальные границы между контрастными областями не размываются;

· вдоль наклонных линий не образуются зубцы, а вокруг острых углов - ореолы;

· контрастные фактуры не теряют четкости, но и не превращаются в решетки из укрупненных пикселов и т. д.

Программа обеспечивает конвертирование изображения в собственный формат Genuine Fractals, в котором изображение хранится в более компактном виде. Это дает возможность хранить и передавать по Сети большее количество изображений.

В качестве плагина Photoshop Genuine Fractals добавляет к приложению Adobe Photoshop дополнительную функцию - разрешение по запросу (resolution on demand), то есть позволяет получать файлы разного разрешения из одного базового кода.

Программа обеспечивает возможность увеличения изображения  до 600% без видимой потери качества.

Программы, подобные Genuine Fractals, необходимы всем, кому приходится иметь дело с изображениями низкого  разрешения. Это и фотографии из любительских и профессиональных камер, и картинки из Интернета.

На мой взгляд, Genuine Fractals дает отличное качество интерполяции, быстро работает (что заметно выделяет ее среди других программ фрактального кодирования) и обладает при этом удобным интерфейсом. Единственный недостаток - довольно высокая цена. Еще одна проблема для простого смертного - отслеживать математические зависимости в разных окошках: что на что в них влияет и почему. Для человека, совсем непосвященного, будет непросто.

Qimage

Программа Qimage будет интересна  пользователям, которых увеличение изображений интересует преимущественно  в контексте вывода на печать. Она предназначена для того, чтобы печатать увеличенные изображения с надлежащим качеством. Qimage использует собственные алгоритмы - более интеллектуальные, чем бикубическая интерполяция.

Программа позволяет  напечатать изображения с максимальным качеством, оптимально размещает несколько снимков на странице. Помимо интеллектуальных алгоритмов увеличения изображения имеются фильтры шума, удаление пятен, функции настройки яркости, контраста, резкости, вращения изображения, зеркального преобразования и т.д. Поддерживаются форматы JPEG, TIF, BMP, GIF, PCX, TGA, PCD, PNG, и NEF (Nikon D1 raw).

Pictura- это программа обработки графики, которая использует оригинальные алгоритмы интерполяции, подавление шума, фокусировку и другие фильтры, которые применяются для редактирования цифровых фотографий и в допечатной подготовке.основана на методе интерполяции AQua-2 (Adaptive Quadratic v.2), он основан на понятии оптимального восстановления заимствованного из теории обработки сигналов. В рамках данного метода- для каждого из синтезируемых пикселов определяется распределение вероятности значений цветовых компонентов, зависящее от локальных характеристик изображения.

Проект находится на стадии тестирования предварительной  альфа-версии.

Также есть некий программный продукт для повышения разрешения (увеличения) изображений, разработанный при факультете вычислительной математики и кибернетики - в лаборатории математических методов обработки изображений, МГУ имени М.В. Ломоносова. Автором является Насонов А.В. В этом продукте и реализованы адаптивные методы повышения разрешения, в частности, программа увеличивает разрешение изображений с использованием метода регуляризации Тихонова, что дает очень хорошее качество преобразования. Использованные в этой программе методы дают очень хорошее качество повышения (увеличения) разрешения изображения. Также в нем есть функция - подавления эффекта Гиббса, которое возникает в результате, повышения резкости изображения. За счет всего этого дается отличный результат. Могу только сказать, что проект еще дорабатывается, судя по публикациям конференции Графикон и в массовое распространение еще не вышел. Но в интернете есть демонстрационная версия программы.

В числе других перспективных  разработок стоит упомянуть технологию под рабочим названием SmartEdge, создаваемую по заказу компании Samsung Алексеем Лукиным из МГУ. Ключевой особенностью SmartEdge является использование алгоритма, оптимальным образом компонующего результаты линейных и нелинейных способов интерполяции в зависимости от локальных характеристик изображения. Таким образом, каждый из методов проявляет свои лучшие качества, а риск возникновения артефактов сводится к минимуму.

Исходя из описаний выше изложенных программных продуктов, реализующих повышение (увеличение) разрешения изображений могу сделать вывод, что самый оптимальный метод - это комбинация нескольких взаимно дополняющих друг друга методов. Из этих описанных программ выгодно отличается Genuine Fractals - его алгоритмы превосходно справляются с заданной задачей, но по цене он менее приемлем обычному пользователю. Наиболее оптимален, по-моему, Adobe Photoshop-плагин. Также программы, которые находятся в стадии доработки тоже, по лично моему мнению, обещают быть вполне приемлемыми, если не лучшими.

В заключение отметим, что увеличение разрешения изображений потенциально неограничен в перспективах роста, дальнейшего развития. Также помимо этого некоторые рассмотренные в данном обзоре программы обладают еще одной вселяющей надежду особенностью: сам факт их существования свидетельствует о том, что рынок графических приложений еще не окончательно поделен компаниями-монополистами и на нем по-прежнему хватает места для энтузиастов-одиночек.

 

Выводы к главе I

 

Изложенный в этой главе материал в первую очередь  содержит подготовительную информацию. Рассмотрены и в некоторой степени сравнены алгоритмы реализации увеличения разрешающей способности изображений, работающих с этой проблемой. А также произведен обзор некоторых уже существующих программ, какими алгоритмами они это реализуют, достоинства и недостатки.

Заключение

 

Могу сказать, что поставленная передо мной цель - разработка программного продукта для реализации задачи повышения  разрешающей способности изображений, выполнена. Задачи, решаемые в процессе достижения цели, тоже в полной мере реализованы. Рассмотрены основные методы и алгоритмы повышения разрешающей способности изображений. Выделены и использованы приемлемые подходы для разработки программного обеспечения, то есть достаточно простые, быстрые и обеспечивающие качественное повышение. Выполнена поэтапная программная реализация выбранного алгоритма повышения разрешающей способности изображений. И в итоге получена работающая программа, которая преобразует изображения, повышая их разрешение.

И напоследок, программа  имеет перспективы для дальнейшей доработки. Возможно, например, добавление функций для устранения некоторых, возникающих недостатков, так называемых артефактов, в результате интерполяции, в частности, если изображение будет увеличено во много раз: сглаживание, подавление эффекта Гиббса, повышение резкости в сильно размытых изображениях.

 

Список использованной литературы

 

1. Визильтер Ю.В., Желтов С.Ю., Князь В. А. и др. Обработка и анализ цифровых изображений с примерами на LabVIEW и IMAQ Vision: [учебный курс]. - М. : ДМК Пресс, 2007. 464 с

. Гонсалес Р. Цифровая обработка изображений. - М.:Диалог-МИФИ, 2005

. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2006

. Грузман И.С., Киричук В.С. Цифровая обработка изображений в информационных системах: Учебное пособие. - Новосибирск, НГТУ, 2002

. Насонов А., Крылов А., Лукин А., Увеличение разрешения изображения с использованием метода нрегуляризации Тихонова, материалы международной конференции "Тихонов и современная математика", Москва, 2006

. Петровский А.И. Adobe Photoshop 6.0: трюки в дизайне изображения. - М.: 2001

. Прэтт У. Цифровая обработка изображений. - М.: Мир, 2004. Кн. 1 и 2

. Ратушняк А. методы сжатия данных. - М.: Диалог-МИФИ, 2002

. Тихонов А.Н, Арсенин В.Я. Методы решения некорректных задач. - М.: Наука, 1979

. Яне Б. Цифровая обработка изображений. - М.: Мир, 2007

11. Lukin A., Krylov A., Nasonov A., Image Interpolation by Super-Resolution, труды конференции "Графикон-2006", стр. 239-242

12. <http://comrssion.graphicon.ru/>

13. <http://imaging.cs.msu.ru>

. <http://ru.wikipedia.org/wiki/Билинейная_интерполяция>

. http://ru.wikipedia.org/wiki/Бикубическая_интерполяция

. <http://www.cambridgeincolour.com/ru/tutorials/image-interpolation.htm>

. <http://forum.graphicon.ru/viewtopic.php?f=8&t=2901>

. <http://images.cambridgeincolour.com/...tion_temp1.png>

. <http://graphicon.ru/oldgr/ru/publications/>

. <http://balbesof.net/info/photoshop_map.html>

. <http://photoshop.demiart.ru/>

. <http://www.photoshop-master.ru/articles.php?rub=19>