Повышение качества цифровых изображений, искаженных в процессе фотосъемки

IMPROVING THE QUALITY OF DIGITAL IMAGES THAT ARE DISTORTED DURING PHOTOGRAPHY

The article considers the currently existing approaches and methods for improving the quality of images distorted as a result of movement of photographic equipment, as well as the types of these distortions – “defocusing” and “blurring”. An algorithm and software based on it have been developed to restore distorted images. The results of image processing with linear distortion parameters are presented. Keywords: defocus, blur, deconvolution, regularization.

Причины искажений изображений

Одной из основных трудностей, с которой приходится сталкиваться при решении задач восстановления изображений, является проблема размывания и смазывания изображений [4], которые возникают при взаимном относительном движении оптического сенсора и объекта во время экспозиции. Размывание (аналог расфокусировки изображения), возникающее, когда сцена и регистрирующее устройство находятся в покое по отношению друг к другу, можно смоделировать низкочастотными фильтрами в пространственной или частотной областях. Другая важная модель искажения изображений смазыванием соответствует равномерному прямолинейному перемещению сцены относительно регистрирующих устройств и датчиков в процессе фиксирующей съемки.

У некоторых исследователей присутствует мнение, что искажения являются необратимой операцией. Но информация перераспределяется по определенному закону и поэтому ее можно восстановить с некоторыми ограничениями. Другими словами, можно сказать, что в ходе процесса искажения любой пиксель исходного изображения отображается в случае расфокусировки в пятно, и в случае простого смаза – в отрезок. Можно сформулировать эту задачу и для искаженного изображения. В этом варианте любой пиксель искаженного изображения есть образ пикселей какого-то множества в исходном изображении. Именно соответствие какому-то закону, по которому собирается один пиксель, и называют функцией искажения. Другие названия-синонимы: PSF ( Point spread function ,

112 в ыпуск 3/2020

т.е. функция распределения точки) [9], ядро искажающего оператора [1]. Размерность этой функции обычно меньше размерности самого изображения.

Модель процесса искажения цифрового изображения может быть представлена в пространственной области в виде выражения g (x > y ) = h (x • y) * f (x > y)+n (x - y),

где g ( x , y ) – значение яркости пикселя искаженного изображения; h ( x , y ) – функция, представляющая искажающий оператор в пространственной области (функция искажения, или PSF ); f ( x , y ) – функция, представляющая неискаженное изображение; n ( x , y ) – функция шума, * – оператор свертки.

Операцию применения функции искажения к другой функции (в данном случае к изображению) называют сверткой (convolution) [Там же] и обозначают «*». То есть в результате операции «*» некоторое множество в исходном изображении сворачивается в один пиксель искаженного изображения. Операцию свертки к изображению можно представить в виде выражения m-1 n-1          z

g ( x , y ) = h ( x , y ) * f ( x, y ) = ^^ h ( i, j ) f I x i = 0 j = 0

Теорема о свертке гласит, что операция свертки в пространственной области эквивалентна обычному умножению в частотной области.

Процесс искажения в частотной области можно представить в виде

G ( u, v ) = H ( u , v ) * F ( u, v ) + N ( u, v ) ,

где G ( u , v ), H ( u , v ) и F ( u , v ) – образы двумерного преобразования Фурье искаженного изображения, функции искажения и исходного изображения соответственно.

Таким образом, процесс искажения можно представить с помощью двух моделей – пространственной и частотной, каждая из которых обладает своими особенностями.

Подходы и методы для повышения качества цифровыхизображений

Операция, обратная по отношению к свертке, называется деконволюцией (от англ. deconvolution ). Модель восстановления изображения при искажении представлена на рисунке 1.

Рис. 1. Модель искажения и восстановления изображения

Существующие подходы повышения качества изображений можно классифицировать по нескольким признакам:

• 1)    по области обработки;

• 2)    по наличию информации об искажающей функции:

• •    при известной функции,

• •    при неизвестной функции.

Трушин А.А. Повышение качества цифровых изображений...

На рисунке 2 представлена классификация подходов к повышению качества изображений.

В пространственной области

При неизвестной Л функции )

В частотной области

( При известной Л функции )

Рис. 2. Классификация подходов повышения качества изображений

Подходы по улучшению качества изображений по области обработки распадаются на две большие категории – обработка в пространственной области и обработка в частотной области. Термин «пространственная область» относится к плоскости растрового изображения, состоящего из отдельных пикселей, и объединяет методы, основанные на прямом манипулировании пикселями изображения [7]. Подходы, предназначенные для обработки в частотной области, основываются на модификации сигнала, формируемого путем применения к изображению преобразования Фурье или других аналогичных преобразований [1].

При применении методов повышения качества производится попытка реконструировать или воссоздать изображение, которое было до этого искажено, используя априорную информацию о явлении, вызвавшем ухудшение изображения.

Теория восстановления размытых изображений сначала рассматривала лишь размытие изображений при известной искажающей функции. Такая задача достаточно успешно решается применением фильтра Винера, алгоритмов Ричардсона – Люси и регулязации Тихонова.

Фильтр Винера рассматривает изображение и шум как случайные процессы и находит такую оценку F' для неискаженного изображения f , чтобы среднеквадратическое отклонение этих величин было минимальным. Минимум этого отклонения достигается на функции в частотной области [2] в виде выражения

F ‘(u, v ) =

| H (u, v )|2

H(u,v) |h(u,v)| +

f n^ u^v ) S f ( u, v )

G ( u. v ) ,

где H ( u,v ) – образ двумерного преобразования Фурье функции искажения; H *( u , v ) – комплексно сопряженное с H ( u , v ); | H ( u , v )|2 = H ^*( u , v ) H ( u , v ); Sη ( u , v ) – энергетический спектр шума; Sf ( u , v ) – энергетический спектр неискаженного изображения.

Идея регуляризации по Тихонову заключается в формулировке задачи в матричном виде с дальнейшим решением соответствующей задачи оптимизации [Там же].

114 в ыпуск 3/2020

Это решение записывается в виде выражения

F ‘(u, v ) =

A

H (u, v)

| H (u, v )|2 + j|P (u, v )| 2)?

G ( u, v ) ,

где y – параметр регуляризации; P ( u , v ) – Фурье-преобразование оператора Лапласа

- 1

P (x, У )=

- 1

4 - 1

- 1

Метод, основанный на алгоритме Люси – Ричардсона, является нелинейным в отличие от предыдущих, что потенциально может дать лучший результат; также алгоритм является итерационным, соответственно, возникают трудности с критерием останова итераций. Вычисление по данному алгоритму производится на основе формулы (7) без использо-

вания преобразования Фурье – все операции осуществляются в пространственной обла-

сти [1]:

fm (x, У ) = Л'( x, У)

^ ( X ^^j h ⁽ x , ^У ) h ( x, У ) * f ‘ ( x, У )

где k – номер итерации, на котором осуществляется применение алгоритма.

Вышерассмотренные методы получили широкое применение для решения специализированных задач (например, для космической и медицинской области), но их применение требует знание функции искажения.

На практике параметры размытия (функция искажения) неизвестны или известны лишь приблизительно по характеру видимых искажений. Поэтому в настоящее время в направлении повышения качества изображений развивается метод слепой деконволюции [8; 10].

Наиболее целесообразно использовать метод слепой деконволюции тогда, когда исследователь не располагает информацией об имеющихся искажениях (размытие и шум). Алгоритм восстанавливает одновременно изображение и функцию протяженности точки (PSF). Дополнительные характеристики оптической системы (например, камеры) могут быть использованы в качестве исходных параметров, которые приведут к улучшению восстановления изображений [3]. Поэтому исходное изображение должно быть восстановлено непосредственно из смазанного с использованием неполной информации о процессе смаза.

Как правило, метод слепой деконволюции содержит два этапа [9]. Во-первых, ядро размытия оценивается по входному изображению. Процесс оценки выполняется математическим способом [6]. Во-вторых, используя оценочное ядро, мы применяем стандартный алгоритм деконволюции для оценки скрытого (неровного) изображения, рассмотренный выше.

Методы слепого восстановления содержат много проблем, не имеющих однозначного решения, поэтому в этой области возможно проведение многочисленных исследований. Слепое восстановление изображений применяется в различных технических областях, таких как астрономические изображения, дистанционное зондирование, рентгенография,

Трушин А.А. Повышение качества цифровых изображений...    115

оптика, фотография, приложения высоких разрешений, приложения отслеживания движений и др. [5].

Таким образом, рассмотренные подходы принято разделять на подходы по областям обработки и наличию информации о функции искажения, которые коррелируют между собой в методах восстановления качества изображений. Также можно отметить, что метод слепой деконволюции является наиболее применимым при отсутствии большинства априорных сведений об искаженном изображении, но требует больших вычислительных ресурсов.

Алгоритм повышения качества искаженных изображений

В основе предлагаемого автором алгоритма восстановления лежит линейная фильтрация Винера (см. п. 2).

В алгоритме восстановления искаженных цифровых изображений предусмотрены следующие основные процедуры обработки:

• 1)    считывание изображения из файла;

• 2)    вычисление функции искажения на основевведенных параметров искажений;

• 3)    вычисление отношения сигнал – шум изображения;

• 4)    размытие контуров исходного изображения с целью предотвращения появления эффекта звона на краях изображения (искривления элементов изображения на границах), появляющегося при использовании двумерного дискретного преобразования в блоке деконволюции;

• 5)    получение монохромного изображения путем преобразования массивов значений интенсивности пикселей цветовых составляющих R , G , В полноцветного изображения в соответствующие им значение яркости с целью уменьшения времени, необходимого для обработки в блоке деконволюции;

• 6)    деконволюция монохромного изображения с использованием метода восстановления с помощью фильтра Винера на основе вычисленной функции искажения и отношения сигнал – шум;

• 7)    вывод преобразованного изображения;

• 8)    при удовлетворительном визуальном качестве изображения в соответствии с алгоритмом пользователю предоставляется возможность сохранить результаты восстановления обрабатываемого изображения.

Программная реализация алгоритма и результаты обработки изображений

Предложенный автором алгоритм реализован программно. Программное обеспечение (ПО) позволяет при изменении параметров настройки специальных функций обработки восстанавливать цифровые изображения, искаженные в результате таких видов воздействий, как смаз и расфокусировка.

Входными данными для работы ПО являются цифровые изображения любых форматов хранения и тип искажения. ПО реализовано на базе функций библиотеки Image Processing Toolbox пакета прикладных программ для решения технических задач MATLAB.

Разработанное ПО предназначено для коррекции и улучшения четкости изображений. В результате применения программы появляется возможность повышения визуального качества деталей объектов на изображении, которые на исходном снимке явно видны не были.

116 в ыпуск 3/2020

ПО позволяет восстанавливать качество всего изображения в случае, если искажению подверглось равномерно вся площадь фотоснимка. Для улучшения качества изображений подразумевается подбор параметров обработки в ручном режиме при постоянном визуальном контроле результатов обработки на каждой итерации. В качестве тестовых изображений выбраны те, у которых параметры искажения линейны, т.е. функция искажения при смазывании – отрезок, а при размывании (расфокусировки) – пятно с некоторым радиусом.

На исходном изображении автомобиля (рис. 3) наблюдается искажение типа смаз. Номер автомобиля читается с трудом.

Рис. 3. Окно программы с искаженным изображением автомобиля

При этом если анализировать направление смаза, то относительно вертикальной оси изображения он составляет приблизительно 45 градусов. Установить длину смаза в данном случае затруднительно в силу того, что не известен истинный размер отображаемого в окне программы изображения. Поэтому длина смаза подбиралась вручную и в итоге составила порядка 21–22 точек.

Результат обработки и сохранения полноцветного варианта восстановленного изображения представлены на рисунках 4–5.

Рис. 4. Результат восстановления изображения автомобиля

Трушин А.А. Повышение качества цифровых изображений...    117

Рис. 5. Сохранение полноцветного варианта изображения

Исходное изображение лица при портретной съемке (рис. 6).

Рис. 6. Окно программы с искаженным изображением лица

На изображении также наблюдается искажение типа смаз. В данном случае направление смаза относительно вертикальной оси изображения составило приблизительно 175– 180 градусов. Путем визуального анализа изображения при изменении длины смаза было установлено, что она равна порядка 60 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 7–8.

Рис. 7. Результат обработки изображения лица с заданными параметрами смаза

118 в ыпуск 3/2020

Рис. 8. Результат сохранения полноцветного варианта восстановленного изображения лица

Еще один вариант изображения лица (рис. 9).

Рис. 9. Окно программы с искаженным изображением лица

На изображении также наблюдается искажение типа смаз. В данном случае направление смаза относительно вертикальной оси изображения составило приблизительно 175–180 градусов. Путем визуального анализа изображения при изменении длины смаза было установлено, что она равна порядка 60 точкам. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 10–11.

Рис. 10. Результат обработки изображения лица с заданными параметрами смаза

Трушин А.А. Повышение качества цифровых изображений...    119

Рис. 11. Результат сохранения полноцветного варианта восстановленного изображения лица

На рисунке 12 представлен вариант изображения с наблюдаемым на нем искажением типа расфокусировка, т.е. нечеткое изображение.

Рис. 12. Окно программы с искаженным изображением автомобиля на стоянке

При этом номер автомобиля не читаем даже при увеличении масштаба. Путем визуального анализа изображения при изменении радиуса расфокусировки было установлено, что она составляет порядка 26 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 13–14.

Рис. 13. Результат обработки изображения автомобиля (тип искажения расфокусировка)

120 в ыпуск 3/2020

Рис. 14. Результат сохранения монохромного варианта изображения автомобиля

На рисунке 15 также представлено изображение с искажением типа расфокусировка.

Рис. 15. Окно программы с загруженным искаженным изображением таблички

Путем визуального анализа изображения при изменении радиуса расфокусировки было установлено, что она составляет порядка 22 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 16–17.

Рис. 16. Результаты обработки изображения сообщения на английском языке (тип искажения расфокусировка)

Трушин А.А. Повышение качества цифровых изображений...    121

Рис. 17. Результаты обработки изображения сообщения на английском языке (тип искажения расфокусировка)

Заключение

Рассматриваемый автором процесс повышения качества изображения состоит в том, чтобы снимок «выглядел лучше». Неудивительно поэтому, что если цель намечена туманно, то и методы, применяемые для повышения качества изображений, оказываются весьма разнообразными. Субъективные суждения о том, что изображение «выглядит лучше», связаны также с критериями, зависящими от предназначения изображения (изображение должно «выглядеть лучше» применительно к определенной задаче). Если использование изображения связано с точным анализом или количественными измерениями, то радикальные операции, приводящие к значительному изменению пространственных или яркостных соотношений в изображении, могут оказаться неприемлемыми.

С другой стороны, если изображение применяется только для субъективных целей, то допустимы операции, существенно изменяющие пространственные или яркостные соотношения или же и те, и другие, но в целом улучшающие субъективное восприятие изображения.

Следовательно, для повышения качества изображения можно применять широкий круг методов; пригодность каждого из них зависит от целей повышения качества данного изображения.