Компаративная фильтрация изображений с использованием монотонных морфологических операторов

6179-2018-42-2-306-311.

Ранее в работе [1] была предложена схема построения компаративных морфологий, обобщающая морфологический подход Ю.П. Пытьева [2] на более широкий класс процедур, решающих практические задачи сравнения изображений. Разработанные в рамках подхода [1] процедура морфологической компаративной фильтрации на основе взаимного контрастирования и использующий её алгоритм выделения отличий предполагают применение различных сочетаний упрощающих фильтров и локальных мер сходства, используемых при восстановлении элементов изображения, присутствующих как на тестовом (фильтруемом), так и на эталонном изображении. В качестве одной из возможных реализаций такой схемы в работе [4] были предложены селективные фильтры на основе взаимного контрастирования, отклик которых определялся сравнением коэффициента локального сходства с заданным пороговым значением.

В данной работе описан новый класс компаративных фильтров, использующих операции математической морфологии Серра [5] в качестве упрощающих фильтров. Также представлены результаты экспериментального сравнения предложенных фильтров с другими процедурами морфологической фильтрации в задаче выделения отличий.

1. Обобщённая схема компаративной морфологии и компаративная фильтрация на основе взаимного контрастирования

Согласно [1], компаративная морфология ( comparative morphology , CM) представляет собой математическую теорию формы, которая обеспечивает решение следующих основных задач анализа изображений: – оценка сходства изображений;

– взаимная привязка изображений;

– выделение отличий между изображениями (формами);

сравнение изображений (форм) по сложности;

оценка сходства/различия форм, предоставляя для этого следующие основные средства:

– возможность описания формы изображения тремя эквивалентными способами – структура в пространстве кадра, многообразие в пространстве изображений, морфологический оператор в пространстве изображений;

– способ автоматического получения описания формы изображения по заданному эталону или эталонному набору изображений;

– морфологический коэффициент корреляции (МКК) для оценки сходства изображения с формой. Используется также для решения задачи взаимной привязки изображений ( matching );

– способ выделения отличий между изображениями на основе морфологической нормализации фона – вычисления разности между изображением и его проекцией;

– способ относительного сравнения форм по сложности, причём отношения «сложнее по форме» и «проще по форме» должны быть определены для каждого из трёх морфологических способов описания формы;

– способ сравнения форм по сходству/различию при помощи мер сходства (морфологических коэффициентов корреляции форм) и мер различия (морфологических метрик сравнения форм), причём сходство и различие должны оцениваться как в пространстве структурных описаний (меры сходства и метрики на формах-структурах), так и в пространстве изображений (меры сходства и метрики на формах-многообразиях).

В зависимости от конкретного выбора базовой структурной модели и способа её формирования данная обобщённая схема компаративной морфологии может реализовываться в виде той или иной частной компаративной морфологии или, иными словами, конкретной морфологической системы. Послужившая основой для обобщения морфология Пытьева также является одним из известных частных случаев.

Далее в [1] было описано обобщение морфологического анализа Пытьева на основе компаративных фильтров, непосредственно принимающих на вход оба сравниваемых изображения из множества всех изображений Q (эталонное и тестовое), но выдающих на выходе результат, который можно трактовать как результат фильтрации одного (тестового) изображения:

V( f, g): QxQ^Q, причём для любого фиксированного feQ фильтр Vf(g) = Vf g) является морфологическим фильтром. При этом двухвходовый компаративный фильтр является взаимным, если невозможно как-либо заранее обучить некий фильтр выполнять такую операцию на эталоне f, чтобы потом фильтровать любое тестовое изображение g этим фильтром, т.е. если в каждой точке изображения в процессе фильтрации необхо- димо обрабатывать именно пару соответствующих изображений f и g (или пары их фрагментов).

В качестве способа конкретной реализации такой взаимной фильтрации в [1] был предложен компаративный фильтр на основе взаимного контрастирования :

^ф w ( ^f , g )( x , У ) =

= g о w (x, y) (x, У) + a (f, g w (x, y))(g (x, У)- g о w (x, y) (x, У)), где Vf, geQ: af, gwx,y))e [0,1], a(g, gwx,y)) = 1, a (o,g wx,y)) = 0, a (f,g wx,y)) - локальный коэффициент взаимного сходства фрагмента изображений g wx,y) с элементами изображения f, g0 - упрощающий фильтр, o (x,y)= const - простейшее постоянное изображение. Обобщённая схема такой взаимной компаративной фильтрации представлена на рис. 1. В качестве упрощающих фильтров в данной схеме могут использоваться, вообще говоря, любые процедуры фильтрации, не повышающие энергию (среднее, медиана, размытие по Гауссу и пр.), так же как в качестве мер локального сходства - любые нормированные меры сходства изображений.

Коэффициент локального сходства фрагментов

Оценка локального сходства фрагментов изображений

Неусложняющий фильтр (среднее, открытие и др.)

восстановлено

не восстановлено

Результат взаимной фильтрации

Восстановление локальных особенностей теста, имеющих соответствие на эталоне

Результат первичной фильтрации тестового изображения

Рис. 1. Схема взаимной компаративной фильтрации

Позднее в работе [4] в рамках данной схемы были предложены селективные компаративные фильтры на основе взаимного контрастирования, отличающиеся тем, что для их построения использовались бинарные коэффициенты локального сходства:

,       , _п [ 1, if a( f , g w ^{( x} • ^y ’) >  t ;

at (f, gw(x,y) ) = f       (           )

[ 0, otherwise.

Бинаризация по порогу позволяет использовать ненормированные меры сходства изображений (такие, как взаимная информация) при построении компаративных фильтров. Кроме того, она повышает селективные свойства фильтра на основе взаимного контрастирования: детали на изображении после фильтрации или вообще не восстанавливаются, или восстанавливаются полностью.

• 2.    Компаративная фильтрация
  
  на основе морфологических операторов Серра

Исходя из описанного выше подхода, определим компаративный взаимный фильтр на основе морфологического открытия (закрытия) как взаимный фильтр следующего вида:

С w (f, g) = Sw (f) + a (fw, gw)[ f - Sw (f)] t; (1) a (fw, gw) e {0,1}, где [f- S w(f)] t - отсечение значения разности по минимальному порогу t; fw, g w - фрагменты тестового и эталонного изображения, соответствующие окну фильтра; a (f, g) - бинарный коэффициент локального сходства изображений; S w( f) - морфологический фильтр открытие (закрытие) Серра со структурирующим элементом размера w. В качестве мер локального сходства в таком фильтре могут быть использованы как нормированные, так и ненормированные показатели:

-

-

-

-

нормированный линейный коэффициент корреляции;

взаимная информация;

морфологические коэффициент корреляции;

«тепловые» ядра взаимного сходства фрагментов изображения на основе сравнения векторов локальных признаков вида a (fw(u ^ v), gw(x ^y)) =

= exp(-dv (v)( fw(u,v)), v( gw(u,v))/o), где v - векторы признаков из пространства V c метрикой dV, о - масштабный настроечный коэффициент.

В качестве альтернативного способа конструирования компаративного фильтра на основе операторов математической морфологии Серра предлагается использовать компаративный взаимный фильтр на основе референтного морфологического открытия, отличающегося адаптивным замещением структурирующего элемента в каждом положении окна фильтра w соответствующим фрагментом эталонного изображения f.

С р ( f , g ) = S w ( f ) + a ( f w , g w )[ f - S w ( f )] t ;

a = {O;1};

S o w ( f ( x , y ), k ( u , v , x , y ) =

= max ( c ( u , v ) + k ( u , v , x , y ) ) <  f ( x , y ),           ⁽²⁾

u, v

k ( u , v , x , y ) = g w ⁽ u ' ^v ) ( x , y ).

Аналогичным образом может быть определён и компаративный взаимный фильтр на основе референтного морфологического закрытия.

• 3.    Результаты качественных экспериментов по выделению отличий на изображениях

С целью исследования предложенных компаративных фильтров было проведено несколько десятков качественных экспериментов по выделению отличий с помощью морфологической нормализации фона [2], [3] с использованием алгоритма, описанного в [4]. Кроме того, представлены маски отличий, полученные с помощью других компаративных фильтров [3], [5] и средств морфологического анализа Пытьева. На рис. 2-4 представлены примеры результатов выделения отличий тестового изображения g (рис. 2-4 б) от формы эталонного изображения f (рис. 2-4 а ).

При этом используются следующие обозначения: - ВК (мед.+ НКК) (рис. 2-4 в ) и ВК (мед.+ МКК)

• (р ис. 2-4 г ) - компаративный фильтр на основе вза-

• имного контрастирования с использованием медианного фильтра и мер локального сходства: нормированного коэффициента корреляции (НКК) и морфологического коэффициента корреляции (МКК);

• -    КФС (1) (НКК) (рис. 2-4 д ) и КФС (1) (МКК) (рис. 2-4 е ) - компаративный фильтр (1) с использованием морфологической операции открытия дисковым структурирующим элементом, локальное сходство определяется нормированным (НКК) и морфологическим коэффициентами корреляции (МКК);

  - КФС (2) (НКК) (рис. 2-4 ж ) и КФС (2) (МКК) (рис. 2-4 з ) - компаративный фильтр (2) с использованием референтного открытия с переменным структурирующим элементом, локальное сходство также оценивается НКК и МКК;

• -    «морфология Пытьева» (рис. 2-4 и ) - выделение отличий по схеме Пытьева на основе проектора на мозаичную форму [2], [3], форма получена путём гистограммной сегментации изображения;

• -    «диффузная морфология» (рис. 2-4 к ) - компаративный фильтр на основе диффузной морфологии [1].

Размер скользящего окна фильтров для всех экспериментов был одинаковым (7х? пикселей). Изображения были предварительно приведены к одному масштабу.

Как видно из представленных примеров, результаты выделения отличий с помощью компаративных фильтров (1), (2) на основе морфологического открытия качественно не хуже, а в ряде случаев (рис. 3, 4) лучше ранее предложенных фильтров на основе взаимного контрастирования. Кроме того, они лишены некоторых недостатков других рассмотренных методов.

В частности, морфологическая нормализация фона с помощью классического проецирования тестового изображения на кусочно-постоянную форму эталонного изображения подразумевает процедуру сегментации последнего.

Рис. 2. Пример 1 результатов выделения отличий с помощью морфологической нормализации фона с помощью различных процедур морфологической фильтрации

Рис. 3. Пример 2 результатов выделения отличий с помощью морфологической нормализации фона с помощью различных процедур морфологической фильтрации

Поэтому качество результирующей маски отличий в большой мере зависит от робастности того или иного метода сегментации. В случае с выделением отличий с помощью компаративных фильтров на основе диффузной морфологии получаются более устойчивые результаты, однако есть ряд недостатков, связанных с краевыми эффектами на резких переходах яркостей из-за размытия деталей тестового изображения, не соответствующих эталону.

Помимо этого, к преимуществу предложенных компаративных фильтров по сравнению с фильтрацией методами диффузной морфологии и морфологического анализа изображений можно отнести инвариантность к небольшому относительному сдвигу тестового и эталонного изображений.

В данной работе представлены два новых класса компаративных фильтров, основанных на использова- нии в качестве упрощающих фильтров операторов открытия и закрытия с фиксированным и переменным (адаптивным) структурирующим элементом соответственно. Для исследования предложенных фильтров были проведены качественные результаты экспериментов по выделению отличий между изображениями с помощью морфологической нормализации фона в сравнении с ранее предложенными методами.

Эксперименты подтвердили, что представленные компаративные фильтры качественно не хуже, а в ряде случаев оказались лучше ранее предложенных фильтров на основе взаимного контрастирования. Дальнейшие исследования в данной области будут связаны с развитием описанного в работе класса компаративных фильтров на основе операций математической морфологии Серра, а также с проведением сравнительных экспериментов на базах изображений, предназначенных для тестирования алгоритмов выделения отличий.

Работа выполнена при поддержке РНФ, грант № 16-11-00082.