Двухэтапное формирование пространственного преобразования для совмещения изображений

Задача совмещения изображений состоит в нахождении преобразования одного изображения по отношению к другому, обеспечивающего совпадение пар точек изображений, каждая из которых является образом одной и той же точки на регистрируемой сцене. При совмещении многоспектральных изображений совпадение по пространственным координатам часто является необходимым для обеспечения близости по спектральным координатам. Поэтому для совмещения изображений строятся процедуры пространственного преобразования. Такое преобразование может строиться как в ситуации, когда совмещаемые изображения одной сцены получены с использованием разных регистрирующих устройств, так и в случае последовательности изображений, зарегистрированных одной камерой [1–3].

Задача совмещения изображений обычно ставится как задача построения пространственного преобразования, обеспечивающего наилучшую (в смысле некоторого критерия) близость совмещаемых изображений, при условии совпадения некоторого множества так называемых опорных соответствующих точек [45]. Требование совпадения опорных точек в данном случае выступает как ограничение. К сожалению, указанная строгая математическая формулировка на практике нереализуема. Дело в том, что даже при отсутствии помех пространственные координаты соответствующих точек на изображениях сцены, зарегистрированной камерой (или двумя камерами) в различных ракурсах, никогда не совпадут в силу того, что координаты точек сцены вещественные, а на плоских изображениях видов они дискретные. Кроме того, возможны грубые ошибки в определении соответствующих точек вследствие искажений и помех.

Задаче определения соответствующих точек на изображениях посвящено большое число работ. Наиболее эффективными известными процедурами поиска опорных (ключевых) точек являются SIFT [6] и SURF [7]. Тем не менее, даже при использовании указанных общепризнанных эффективных процедур возникают ошибки установления соответствий. Эти ошибки чаще возникают на малоинформативных участках изображений, например, на космических снимках такими участками могут быть изображения полей, лесных массивов, гладких рельефов и др.

Наиболее надёжно определяемые соответствующие точки обычно достаточно тесно группируются в информативных частях изображения, где сосредоточены техногенные объекты, например, городские постройки. Таким образом, на изображении имеют место (малоинформативные) области, в которых число найденных соответствующих точек существенно меньше, притом именно они чаще подвержены ошибкам. Ясно, что при последующем использовании интерполяционной схемы пространственного преобразования даже небольшое число ошибочных точек может привести к существенным различиям совмещаемых изображений.

Настоящая работа посвящена исследованию двухэтапной технологии формирования преобразования, позволяющей в значительной степени преодолеть указанные трудности. Идея состоит в том, что по надёжным соответствующим точкам, найденным в информативной части изображения, вначале строится проективное преобразование, которое затем используется для задания и/или уточнения соответствующих точек. Эффект достигается за счёт того, что приближённое проективное преобразование позволяет существенно сузить области поиска соответствующих точек, что обеспечивает существенное повышение точности и надёжности их определения. На втором этапе по уточнённым (в силу проективного преобразования) точкам осуществляется построение пространственного преобразования на основе триангуляции Делоне.

Правомерность реализации указанного подхода опирается на тот факт, что различия изображений одной сцены, зарегистрированной в разных ракурсах, в значительной степени связаны с проективными искажениями, на которые «накладываются» также нелинейные искажения, характер которых также зависит от ракурса и условий съёмки. Поэтому проективное преобразование на первом этапе может дать богатую дополнительную информацию для более точного последующего сопоставления изображений.

1. Описание технологии

Рассматривается задача совмещения двух изображений одной сцены, в общем случае зарегистрированных в разных ракурсах. Предполагается, что различия координат положений камеры и ракурсов невелики, а разрешение камер (в случае регистрации двумя камерами) одинаково. Допускается возможность регистрации путём смещения камеры параллельным переносом. При этом относительные сдвиги по полю изображений могут быть значительными и неравномерными (неизопланатичными). Близкие к указанному случаю условия реализуются при космической съёмке.

Общая схема предлагаемой двухэтапной технологии формирования пространственного преобразования приведена на рис. 1. Она включает этап 1 - построение проективного преобразования и этап 2 - построение интерполяционного преобразования с использованием триангуляции Делоне. Каждый из этих этапов реализуется с использованием некоторой последовательности процедур, указанных на рис. 1. Привёдем краткое описание назначения и содержания этих процедур.

Этап J. Построение проективного преобразования

Рис. 1. Схема этапов построения преобразования для совмещения изображений

На этапе 1 реализуются: глобальное сопоставление изображений, выявление информативных фрагментов изображений и поиск соответствующих точек на множестве информативных фрагментов.

Глобальное сопоставление изображений осуществляется с целью приближённого совмещения изображений. Применение этой процедуры даёт особенно значительный эффект в случае, когда совмещаемые изображения изначально имели большой относитель- ный сдвиг. Устранение больших сдвигов позволяет существенно сократить размеры области поиска соответствующих точек, что обеспечивает достаточную для первого этапа точность и надёжность их опреде- ления.

Для глобального сопоставления используется фрагмент изображения достаточно больших размеров - ( N^M) , обычно в центральной его части. Поиск соответствующего фрагмента на втором изображении осуществляется в большой области, которая выбирается с учётом возможных больших относительных сдвигов. Поскольку по предположению разрешение камер одинаково, масштабы изображений полагаются совпадающими. При указанных условиях ищется точка ( k i , 1 1 ), для которой достигается максимум функции корреляции R ( k _ь1 1 ) [8]:

R ( k i , 1 1 ) =7

KL

EE I Д k , 1 ) 1 2 ( k - k 1 , 1 - 1 1 ) k =1 1 =1

412 ,(1)

-11² Г к L

KL

ЕЕ 1 2 ( k , 1 )     ЕЕ 1 2 ( k - k 1 , 1 - 1 1 )

k =1 1 =1

k =1 1 =1

где I 1 ( k , 1 ) и I 2 ( k , 1 ) - значения яркостей в точках с координатами ( k , 1 ) на совмещаемых фрагментах первого и второго изображений соответственно.

Следующая процедура первого этапа - выявление информативных фрагментов на изображении. Она осуществляется с целью выявления на изображении фрагментов, на которых функция распределения яркости имеет пространственную динамику, позволяющую более точно и надёжно определять соответствующие точки.

В качестве критерия информативности используются значения дисперсий, которые вычисляются в каждой точке неискажённого изображения (рис. 2 а ):

PP а2(k0,10,P) = — 2 Е Е (11(k + k0,1 +10))2 -

• ⁽² P + И x =- Py =- P

I                   P P)

• -    ---тУ У I ( k + k ₀, 1 + 1 ₀) ,

• 2    ^ ^ 1V 00

У (2P + 1) x=-Py=-P где (k0,10) - точка изображения, для которой определяется информативность, P - выбранный размер окрестности точки (k0,10). Порог информативности задаётся исходя из требования обеспечения высокой надёжности определения соответствующих точек.

На множестве найденных информативных точек осуществляется поиск соответствующих. Координаты соответствующих точек определяются так же, как и выше, т.е. по формуле (1). Однако в данном случае с учётом достигнутой точности приближённого совмещения на этапе глобального сопоставления размеры сравниваемых фрагментов и размеры окна поиска назначаются сравнительно небольшими, поскольку зависят в основном только от степени неравномерности и интенсивности искажений.

Заключительная процедура первого этапа - определение проективного преобразования H по множеству найденных соответствующих точек на изображении:

	h 11	h 12	h 13
H =	h 21	h 22	h 23
	h V h 3i	h 32	h n 33 7

Проективное преобразование переводит точки одного изображения в точки другого:

rk'^ r hii h12 h13' r kЛ l ~ h 21 h22 h23 l , (4) 1 V 7 V h31 h32 h33) V1) где (k,l), (k ',l ') – координаты точек на первом и втором изображениях соответственно.

В результате реализации процедуры определения

соответствующих точек, несмотря на принятые меры: глобальное сопоставление и поиск информативных фрагментов – всё-таки возможны ошибки. Поэтому для определения проективного преобразования (3) используется алгоритм, устойчивый к грубым ошибкам типа сбоев – RANSAC [9].

В этом алгоритме из множества соответствующих точек последовательно выбираются подмножества точек, с использованием которых рассчитываются параметры проективного преобразования H. Получаемое на каждом шаге преобразование проверяется на исходном множестве точек путём расчёта степени соответствия гипотезы (проективного преобразования) исходным данным.

R ( H ) = I p ( r i ( H , ( k i , l i ) , ( k' i , l' i ) ) ) ,

P ⁽ r i ) =

ri < T, Г > T, где (ki,li), (ki',li') – координаты i-й точки на первом и втором изображениях соответственно, Г (H,(ki, li), (k'i,l'i)) - мера соответствия построен- ного проективного преобразования H паре точек (ki,li), (ki',li'), T – выбранный порог. Принимается та гипотеза H , значение R (H) для которой принимает минимальное значение.

Если нелинейными искажениями можно пренебречь по сравнению с проективными, на этом этапе может быть достигнуто высокое качество совмещения изображений. Если нелинейные искажения существенны или проективные искажения имеют различные параметры в разных частях изображения, необходимо перейти ко второму этапу уточнения соответствующих точек и интерполяции изображения.

На втором этапе для первого изображения с использованием построенного в соответствии с (2) поля информативности задаётся множество равномерно расположенных на нём точек. Плотность задаётся с учётом динамики искажений по пространственным координатам. Если имеется априорная информация о характере изменения искажений по полю изображения, точки могут задаваться неравномерно. В частности, в областях, где динамика искажений выше, плотность задаваемых точек должна быть выше. Для за- дания точек удобно «наложить» на изображение сетку, из каждой ячейки которой затем выбрать наиболее информативную точку.

Найденные таким образом точки объединяются в сеть треугольников с помощью триангуляции Делоне. Затем для каждого треугольника на первом изображе- нии ищется соответствующий треугольник на втором изображении. Координаты соответствующих точек в вершинах треугольников на втором изображении определяются приближённо с использованием построенного на первом этапе проективного преобразования:

' k i f-

V ^l i 7

h il k i + h i2 l i + h i3 h 31 k i + h 32 l i + h 33 h 21 k i ⁺ h 22 l i ⁺ h 23 V h 31 k i ⁺ h 32 l i ⁺ h 33 )

В результате применения проективного преобразования, вариации параметров нелинейных искажений по полю изображения обычно невелики. Это даёт возможность задавать область поиска и окно поиска для уточнения соответствующих точек в вершинах треугольников по формуле (1) значительно меньше, чем на предшествующих этапах. Поэтому достигается высокая точность и надёжность соответствий тре- угольников.

Далее осуществляется аффинное преобразование координат точек каждого треугольника:

' k\' г V ^l i 7

a о k i + a i l i + a 2 b₀ k i + b 1 l i + b 2

Такой способ трансформирования изображений известен как способ «резинового листа». В данном случае даже на мелкодетальных текстурах с повторяющимся распределением яркости на малых фрагментах достигается высокое качество совмещения за счет высокой точности и надёжности сопоставления треугольников.

Далее приводятся результаты экспериментов, иллюстрирующие эффективность предложенной технологии.

2 . Результаты экспериментов

Для проверки эффективности предлагаемой технологии осуществлялось совмещение изображений, приведённых на рис. 2 а и б . Изображение, показанное на рис. 2 б получено из первого (рис. 2 а ) путем применения проективного преобразования и последующего нелинейного искажения. На рис. 2 в ) приведено так называемое разностное изображение, которое иллюстрирует характер несовпадения пространственных координат точек совмещаемых изображений. Оно получено путём вычисления разности отсчётов яркости в точках с одинаковыми значениями координат.

На рис. 3а, б, в приведены разностные изображения, полученные путём вычисления разности отсчётов яркости в одноимённых точках исходного и преобразованного изображений (наличие необработанных участков по краям связано с отсутствием соответствующих точек на границах изображения). На рис. 3а показан результат, полученный после первого этапа – про- ективного преобразования. На рис. 3б приведено разностное изображение исходного (рис. 2а) и восстановленного, которое было получено после второго этапа уточнения соответствующих точек и интерполяции с использованием триангуляции Делоне. Этот результат получен на множестве точек, которые задавались на сетке с размерами ячейки 100×100 пикселей. На рис. 3в приведен результат, полученный по той же схеме при задании точек на сетке с размерами ячейки 50×50 пикселей. Нетрудно заметить, что на более плотном множестве точек результат лучше. Это означает, что плотность задания точек с использованием сетки с ячейкой 50×50 пикселей является более согласованной с характером изменения искажений по полю изображения.

б)

Рис. 2. Исходные изображения: а) неискаженное; б) искаженное, в) разностное (инвертированное)

б)

Рис. 3. Разностные изображения после восстановления второго изображения: а) проективным преобразованием; б) интерполяцией с использованием триангуляции Делоне на 40 точках; в) по той же схеме на 165 точках

в)

Для более точной сравнительной оценки эффективности предложенной технологии в табл. 1 для всех указанных разностных изображений приведены значения среднеквадратичного отклонения (СКО), которое вычислялось по формуле:

m -1 n -1

СКО = — XEI 1 1 ( i , j ) - 1 2 ( i , j )| .

mn i =0 j =0

Таблица 1 Числовые значения СКО

Способ восстановления	СКО
Исходные модельные изображения	1064
Проективное преобразование (первый этап)	185
Способ «резинового листа» с триангуляцией на 40 точках	45
Способ «резинового листа» с триангуляцией на 165 точках	39

Заметим, что для изображений, восстановленных способом «резинового листа», СКО рассчитывалось только для преобразованных точек, т.е. за исключением необработанных участков по краям изображения.

Заключение

Показано, что использование в качестве начального приближения проективного преобразования совмещаемого изображения даёт богатую информацию для последующего уточнения пространственного преобразования. В частности, возможность приближенного задания соответствующих точек позволяет существенно уменьшить размеры искомых соответствующих фрагментов и областей поиска. При этом практически полностью исключаются ошибочные соответствующие точки, в т.ч. в малоинформативных областях.

Кроме того, проективное преобразование предоставляет свободу в выборе плотности задания соответствующих точек в различных областях изображения. Это представляется важным, поскольку характер изменения искажений по полю изображения может быть различным и неравномерным.

Авторы выражают признательность Бибикову Сергею за обсуждения в ходе подготовки работы, способствовавшие формированию общей концепции.

Работа выполнена при финансовой поддержке Министерства образования и науки РФ (гос. задание 2014/198).