Метрика автоматической оценки качества восстановления расфокусированных изображений с помощью инверсной фильтрации Винера

Введение. Задача восстановления искаженных изображений была и остается достаточно важной и вместе с тем не до конца решенной проблемой. Практически все изображений, получаемые с различных приборов фиксации, имеют те или иные искажения (смаз, расфокусировка, шумы). В ряде случаев искажения не значительно влияют на конечный результат и с ними можно мириться. Однако зачастую дефекты необходимо устранять для получения более красивого изображения или улучшения качества машинной обработки и распознавания [5].

На сегодняшний день существует множество подходов к восстановлению искаженных изображений. Большинство из них сводится к поиску или моделированию потенциальной функции искажения, которая привела к дефекту и использованию инверсной фильтрации для его устранения. Т.к. сама функция или её параметры практически всегда не известны заранее, то подобный процесс подбора усложняется и может потребовать многократного итеративного применения инверсной фильтрации с разными входными значениями [1]. Поэтому очень важно иметь автоматизированные методы количественной оценки качества восстановления иска- женных изображений, разработке которых и посвящена данная работа.

Искажение изображений и инверсная фильтрация. Функция искажения изображения может иметь разный характер и природу появления. Математически процесс искажения можно выразить следующим образом [4]:

д(х,у) = /(^у) * h(x,y) + n(z,y), где f(x,y) – неискаженное четкое изображение; h(x,y) – искажающая функция; n(x,y) – аддитивный шум; g(x,y) – результат искажения (искаженное изображение).

На практике самыми распространенными функциями искажения являются размытие (результатом которого является расфокусированное изображение) и смаз (результатом является изображение со сдвигом пикселей). Размытое изображение может появляться из-за неправильно настроенного фокусного расстояния, съемки с большого расстояния, съемки множества предметов одновременно, чрезмерного увеличения и т.д. Смаз чаще всего появляется из-за движения регистрирующего прибора во время съемки. Оба этих дефекта хорошо моделируются и поддаются восстановлению, если параметры искажения точно извест-

ны. Однако на практике параметры взять не от куда и их приходится подбирать вручную или использовать методы слепой деконволюции, осуществляющие автоматизированный подбор [2,3].

Как правило, функция размытия изображения характеризуется радиусом, и может изменяться от одного оптического прибора к другому. При этом чем больше радиус размытия, тем сложнее работать с полученным изображением. В большинстве случаев как некоторое приближение функции размытия можно использовать обычную окружностью.

Для решения задачи восстановления изображения широко применяется инверсная фильтрация, например инверсная фильтрация Винера [4]. При этом задача восстановления искаженного изображения сводится к задаче поиска такой искажающей функции, при использовании которой в инверсной фильтрации, результат являлся бы наилучшим приближением исходного четкого неискаженного изображения.

/   1      |H(u, v)|2 \F' (u, v) = —-------- G (u, v),\Н<и, v) |H(u, v)|2 + KJ

где G ( u,v ) – искаженное изображение (в частотном представлении); H ( u,v ) – искажающая функция в частотном виде; H ( u,v )² – энергетический спектр искажающей функции; К – некоторый коэффициент, учитывающий шум.

Для восстановления изображения с помощью инверсного фильтра Винера требуется описать функцию искажения H и задать значение константы К , отписывающей отношение сигнал-шум. Активные исследования в области обработки изображений выделили два основных способа восстановления изображений – автоматическое и ручное восстановление.

Ручное восстановление изображения подразумевает, что пользователь вручную подбирает функцию искажения и её параметры. Данный метод позволяет с очень хорошим результатом восстанавливать изображения. Однако проблема такого подхода заключается в том, что функция искажения не всегда известна и подбор может потребовать большого числа экспериментов и времени. Так же часто случается, что процесс восстановления должен быть вы- полнен без участия в нем человека (например, в системах машинного или технического зрения).

Целью автоматического восстановления изображения является поиск неизвестной функции искажения. Данная задача называется слепой деконволюцией. На сегодняшний день предложено множество методов слепой деконволюции, однако данную проблему нельзя считать решенной. Автоматическое восстановление искаженных изображений была и остается актуальной задачей и по сей день.

Метрика оценки качества восстановления на основе градиента. Задача автоматического восстановления заключается в автоматизированном нахождении функции искажения, использование которой в инверсной фильтрации давало бы наилучший результат. При этом одним из важных элементов данного подхода является способ количественной оценки результата (метрика качества восстановления изображения). Очень часто от этой метрики и будет зависеть то, на сколько хорошо будет восстановлено изображение.

Четкое изображение отличается от искаженного наличием большего количества резких границ и переходов, поэтому оценивать качество изображения можно с помощью градиента изображения. Так, среднее значение градиента четкого изображения всегда будет выше, чем у искаженного.

Проблема данного подхода заключается в том, что оцениваемое восстановленное изображение может иметь большое количество резких переходов яркости и поэтому иметь высокое значение градиента, но при этом с точки зрения визуального восприятия изображение будет абсолютно неудовлетворительным.

Особенно данная проблема актуальна при восстановлении изображений с дефектом смаза, например, прямолинейным. В качестве примера рассмотрим оценку двух результатов инверсной фильтрации Винера изображения с дефектом прямолинейного смаза (см. рис. 1). В качестве функции искажения для первого результата восстановления выступает прямая линия с углом наклона 45 и длиной 22 пикселя, для второго – прямая линия с углом наклона 10 и длиной смаза 60.

Первый результат восстановления является желаемым и точным с точки зрения визуального восприятия, в отли-

Рис. 1. Восстановление смазанных изображений

Рис. 2. Пример восстановления размытого изображения

чии от второго, так как содержит в себе потерянную информацию. Однако, неверный результат восстановления будет наиболее предпочтителен с точки зрения градиента, так как содержит большое количество переходов яркости. Так, средние значения градиентов, вычисленных с помощью оператора Собеля, первого и второго изображений равны 4581,93 и 5140,57 соответственно. Поэтому данный подход не применим для оценки качества восстановленных изображений с дефектом смаза.

Однако, подход хорошо подходит для оценки качества восстановленных изображений с дефектом размытия, так как искажающая функция в данном случае характеризуется только одним параметром – радиусом, разные значения которого при инверсной фильтрации не могут привести к ситуации, описанной выше, так как функция размытия характеризуется только размером, и не имеет направления, которое в случае смаза приводит к выше описанной ситуации.

В качестве примера вычислим средние значения градиентов с помощью оператора Собеля для восстановленного четкого и размытого изображения для тестового изображения (см. рис. 2). Значения градиентов равны 7803.03 и 220.417 соответственно.

Особенности оценки результатов инверсной фильтрации Винера с помощью метрики на основе среднего значения градиента. Результат инверсной фильтрации Винера зависит не только от выбранной функции искажения, но и от уровня аддитивного шума, который выражается в фильтре Винера с помощью константы, описывающей отношение «сигнал-шум». При этом оценка методом среднего значения градиента может давать разные максимумы для результатов восстановления при использовании разных значений константы, описывающей сигнал-шум, поэтому важно выбрать такое значение константы, которое давала бы наиболее точный результат.

Кроме этого, для фильтра Винера характерно наличие краевых эффектов в результате фильтрации. Данные эффекты также влияют на значение среднего градиента. Для сглаживания данных эффектов следует дополнительно обрабатывать края изображения. Однако, в некоторых случаях данные эффекты могут быть едва заметными и предварительно подготавливать изображение в таких случаях нецелесообразно. При этом результаты фильтрации с максимальным средним значением градиента при подготовке краев и без нее могут отличаться – для одного случая будет соответствовать истинная функция размытия, для второго – неверная. Поэтому перед оценкой качества следует решить вопрос о предварительной подготовке краев, требующий дополнительного исследования. Один из подходов, предлагаемый в данной работе и использованный для проведения экспериментов, описан далее.

Проведенные исследования. Исследования показали, что для оценки описанным выше методом лучше всего использовать высокие значения константы K (примерно 0,1) в инверсном фильтре Винера. Для этого было выбрано изображение с радиусом размытия 13, которое было подвержено инверсной фильтрации Винера с разными значениями константы, для каждого из которых изображение было восстановлено с функциями размытия разного радиуса (от

Рис. 3. Тестовое изображение с эффектом размытия

Таблица 1. Результаты восстановления с разными радиусами размытия

Значение константы	Наибольшее значение среднего градиента	Радиус размытия
0,2	973,911	2
0,1	1051,11	12
0,01	1858,19	13
0,002	3857,55	8
0,001	4907,86	12
0,0005	7693,41	8
0,00033	8961,53	12

1 до 20). Одно из тестовых изображений показано на рис. 3, а полученные результаты представлены в табл. 1.

Данный эксперимент был проведен для других тестовых изображений, в которых так же выяснилось, что лучше всего для оценки качества данным методом подходят высокие значения, а именно 0,1.

Для этого нужно восстановить одно и тоже изображение два раза – с подготовленными краями и неподготовленными, при этом использовать одну и ту же функцию искажения в обоих случаях. После этого вычислить среднее значение градиентов обоих изображений. Если среднее значение градиента результата, полученного из изображения с подготовленными краями больше, то края изображения следует подготавливать, в противном случае – нет.

Так же при исследовании были замечены ситуации, при которых самому высокому значению градиента будет соответствовать далеко неверный результат. Как показали эксперименты, результат восстановления в таких ситуациях практически не отличим от искаженного изображения, так как был восстановлен с функцией искажения малень-

Рис. 4. Результат восстановления тестового изображения кого радиуса, которому как раз и соответствовало самое высокое значение градиента.

Чтобы избавиться от таких неприятных ситуаций, было принято решение о дополнительном использовании метрику MSE (Mean Square Error), которая пименяется для оценки схожести восстановленного изображения с искаженным. Чем больше значение метрики, тем сильнее различаются два сравниваемых изображения. Следовательно, результаты с крайне низким значением этой метрики рассматривать не стоит.

При использовании всех описанных выше подходов наилучший результат при восстановлении изображения, представленного на рис. 3, будет соответствовать радиус 27 со средним значением градиента 476,115 и значением метрики MSE 152,612. Результат восстановления изображения с таким радиусом представлен на рис. 4.

Для дополнительного исследования оценки качества результата фильтрации размытых изображений с помощью инверсного фильтра Винера были составлены 4 разных набора изображений, включающих в себя:

• •    изображение с явным центральным объектом (портреты);

• •    изображения природы;

• •    изображения техногенного характера с большим количеством элементов;

• •    произвольные изображения небольшой четкости.

Каждое из изображений исходного набора было размыто по 5 раз функциями искажения с разными радиусами (5, 10, 15, 20, 25). В качестве функции искажения выступала простая окружность.

После подготовки исходных данных для каждого такого изображения был найден радиус функции искажения, при использовании которой в инверсном фильтре Винера результат имеет наибольшее значение среднего градиента. Так же при оценке изображения учитывались вышеупомянутые особенности. Результаты восстановления подтвердили поставленные выше гипотезы.

Выводы. Предложенный в статье метод оценки качества восстановления расфокусированных изображений показал достаточно хорошие результаты при восстановлении изображений на основе фильтра Винера. На тестовой коллекции при разных радиусах размытия итерационный подбор фильтра при неизвестных параметрах с использованием предложенной метрики практически всегда выдавал хорошие результаты, близкие к реальным. Однако считать метод всесторонне изученным пока нельзя. В будущем необходимы дополнительные исследования робастности данного подхода, а также исследования его работы при наличии разного количества шума. Так же интерес представляет развитие данной работы в направлении получения общей метрики, применимой для разных типов искажений.