Усовершенствование методики проективного совмещения изображений

Проективное совмещение изображений является актуальным направлением при решении различных прикладных задач. В охранных системах совмещение изображений используется для исключения слепых зон и для удобства оператора (просмотр на экране одного изображения, полученного после совмещения изображений с нескольких камер, удобнее, чем просмотр изображений отдельно по каждой из камер).

В медицинской технике проективное совмещение изображений используется для более точной реконструкции положения органов при создании цифровой модели тела человека.

В профильных датчиках проективное совмещение используется при разработке устройств, способных измерять профиль объекта с различным разрешением; грубое разрешение позволяет фиксировать профиль объекта и окружающую обстановку, высокое разрешение позволяет фиксировать микрорельеф профиля. Подобные устройства позволяют заменить два датчика и используются для измерения так называемых «коротких неровностей» на железной дороге.

В системах реконструкции ландшафта проективное совмещение изображений используется для обработки изображений, полученных с квадракоп-теров и беспилотных летательных аппаратов.

Задача автоматической оценки параметров проективного совмещения успешно решается с использованием тест-объектов (шахматной до- ски). Тест-объект обеспечивает автоматическое сопоставление особых точек на изображениях, что позволяет составить систему линейных уравнений для оценки параметров.

Однако не во всех задачах можно использовать тест-объекты. Среди приведенных примеров: для охранных систем, систем реконструкции ландшафтов этот способ не подходит.

Получили распространение два способа, которые позволяют решить задачу в случае, если тест-объект не может быть использован:

– ручное сопоставление особых точек, осуществляемое оператором;

– автоматическое сопоставление особых точек, осуществляемое специальным программным обеспечением.

Оба способа имеют свои особенности и недостатки. Однако наиболее перспективным является автоматическое сопоставление, чтобы работа систем, связанных с обработкой изображений, минимально зависела от человека.

Существующие работы

Известны работы [1-3], которые описывают универсальный способ оценки параметров преобразования, в том числе проективного совмещения, на основе сопоставления особых точек.

Погрешность оценки параметров и качество совмещения изображений сильно зависит от правильности сопоставления особых точек. Для автоматического совмещения изображений необходимо, чтобы все точки были правильно сопоставлены, а для этого необходимо дорабатывать исходную методику, чтобы она выполняла это требование.

Известны работы [4; 5] для проективного совмещения изображений подстилающих поверхностей, снятых с борта летательного аппарата. Методика заключается в распознавании замкнутого контура на изображении и особых точек на нем, затем методом полного перебора формируются варианты сопоставления между особыми точками, а критерием правильности совмещения является количество совпавших точек.

Недостатком этой методики является узкая область применения – только для изображений подстилающей поверхности.

Известна работа [6], в основе которой лежит предварительное распознавание прямых линий и их сопоставление. Точки пересечения прямых линий формируют особые точки, на основании которых рассчитываются параметры проективного совмещения. Использование этой методики возможно, если на совмещаемых изображениях можно распознать прямые линии.

Также известна работа [7], в основе которой лежит предварительное совмещение достаточно крупных фрагментов изображений и последующее вычисление параметров проективного совмещения.

Однако, отличие по масштабу между фрагментами не должно превышать 2%, а отличие по углу – не более 5 градусов.

Таким образом, существующие методики нуждаются в доработке или содержат ограничения, не позволяющие использовать их для совмещения различных видов изображений (различных сцен, отличающихся масштабом, поворотом и т.д.).

Методика, представленная в работах [8, 9], лишена этих недостатков. Однако время совмещения изображений достаточно велико.

Усовершенствованию, которое позволит уменьшить время обработки, посвящена данная статья.

Исходная методика

Пусть изображения F ( x , y ), G ( x ', y ') связаны проективной моделью преобразования, которая описывается восемью параметрами ( h _u,..., h 3₂ ) :

, _ h 11 ■ x + h 1₂ ■ y + h 13 , _ h 21 • x + h 22 • y + h 23 (1) h 31 ■ x + h 32 ■ y + 1 h 31 ■ x + h 32 ■ y + 1

Выражение (1) можно записать в виде:

x '■ ( h ₃₁ ■ x + h 32 y '■ ( h ₃₁ ■ x + h 32

■ ^{y +} 1 ) ( ^h 11 ■ ^{x + h} 12 ■ ^{y + h} 13 ) 0; (2) ■ y + 1 ) - ( h ₂₁ ■ x + h ₂₂ ■ y + h ₂₃ ) _ 0.

Выражения (2) представляют собой линейные уравнения относительно параметров ( h 11 , . ,h ₃₂ ) .

Достаточно сопоставить 4 точки между изображениями, чтобы сформировать систему из восьми уравнений с восемью неизвестными ⁽ h 11 , . , h 32 ) .

Решение этой системы будет определять параметры проективного совмещения.

Исходная методика проективного совмещения изображений основана на предварительном распознавании особых точек на изображении [10-12], формировании гипотез из четырех пар точек, которые могут соответствовать друг другу, и выборе гипотезы, которая определяет наилучшее совпадение общего фрагмента после совмещения. Мерой совпадения служит коэффициент корреляции.

Количество вариантов из четырех пар точек по методу полного перебора определяется как:

V _ C M ■ A N . (3)

где M, N – количество особых точек на первом и втором изображении соответственно, С, A – сочетание и размещение соответственно.

Количество вариантов, определенных формулой (3) очень велико. При этом время обработки не будет удовлетворять требованиям практического использования.

По этой причине предусмотрено два этапа, направленных на уменьшение количества вариантов:

• 1.    Предварительное сопоставление точек – сравнение фрагментов в окрестности особых точек, чтобы определить похожие и отбросить заведомо неверные варианты соответствия;

• 2.    Выбор точек, удовлетворяющих геометрическим требованиям; геометрические требования основаны на эвристическом наблюдении, что выпуклый четырехугольник на первом изображении будет соответствовать выпуклому четырехугольнику на втором изображении, что позволяет отбросить много вариантов соответствия.

Для изображений, представленных в работе [9], время обработки составляло порядка 45 минут в соответствии с вышеописанной методикой. Размер совмещаемых изображения составлял 1024х768 пикселей, а детектор [11] определял порядка тысячи особых точек.

Для уменьшения времени совмещения предлагается усовершенствовать методики, добавив еще один этап, который будет обеспечивать обработку особых точек, соответствующих уникальным фрагментам изображений. Описанию этого усовершенствования посвящен следующий параграф.

Усовершенствование методики

Суть усовершенствования покажем на следующем примере.

Пусть на первом изображении было распознано 5 особых точек, а на втором 6. Правильное соответствие может быть оценено по следующим парам точек 1–1 ’ , 2–2 ’ , 3–3 ’ , 4–4 ’ , 5–5 ’ . На рис.1. показана таблица с возможным соответствием между точками, определенное после этапа «предварительного сопоставления точек». Белым цветом выделены ячейки, которые не могут быть сопоставлены, серым – которые могут.

\№ точки №Л^ изоб. точк1Г^2 изоб. №1\	1'	2'	3'	4'	5'	6'
1
2
3
4
5

Рисунок 1. Формирование гипотез после предварительного сопоставления

Из рисунка 1 видно, что точке 4 могут соответствовать сразу две точки 4 ′ и 6 ′ , т.е. два фрагмента, находящиеся на изображении, являются похожими.

Исходя из рисунка 1 можно сформировать следующие варианты сопоставления (см. таблицу1).

Таким образом, количество вариантов, которое может быть сформировано в соответствие с исходной методикой будет равно 9. Усовершенствование, которое позволяет удалить похожие фрагменты на изображении, позволяет уменьшить количество вариантов.

Таблица 1. Гипотезы при использовании предварительного сопоставления

№	Изоб. №1	Изоб. №2	Результат
1	1234	1 ’ 2 ’ 3 ’ 4 ’	Верное
2	1235	1 ’ 2 ’ 3 ’ 5 ’	Верное
3	1245	1 ’ 2 ’ 4 ’ 5 ’	Верное
4	1345	1 ’ 3 ’ 4 ’ 5 ’	Верное
5	2345	2 ’ 3 ’ 4 ’ 5 ’	Верное
6	1234	1 ’ 2 ’ 3 ’ 6 ’	Неверное
7	1245	1 ’ 2 ’ 6 ’ 5 ’	Неверное
8	1345	1 ’ 3 ’ 6 ’ 5 ’	Неверное
9	2345	2 ’ 3 ’ 6 ’ 5 ’	Неверное

В частности, для рассматриваемого примера рис. 1 будет иметь вид (см. рисунок 2).

Исходя из рисунка 2 можно сформировать следующие варианты (см. таблицу 2).

Как можно видеть из таблицы 2 будет сформирован один вариант для проверки.

\№ точки J\[o\h3°6. точки^З изоб. №1\	1'	2'	3'	4'	5'	6'
1
2
3
4
5

Рисунок 2. Формирование гипотез после предварительного сопоставления и удаления похожих фрагментов

Таблица 2. Гипотезы при использовании предварительного сопоставления и удалении похожих фрагментов

№	Изоб. №1	Изоб. №2	Результат
1	1235	1’ 2’ 3’ 5’	Верное

Сравнивая таблицы 1 и 2 можно видеть, что количество вариантов сократилось, однако в обеих таблицах содержится вариант, обеспечивающий корректное совмещение изображений.

Таким образом, предложенное усовершенствование обеспечивает уменьшение количества вариантов сопоставлений, тем самым сокращая время обработки.

В следующем параграфе показана реализация предложенного усовершенствования.

Реализация усовершенствования

Для сравнения фрагментов в окрестности особых точек использована логарифмически-поляр-ная система координат. Эта система координат позволяет сравнивать изображения с различным масштабом и поворотом за гораздо меньшее время, чем в декартовой системе. Это объясняется тем, что для проверки гипотез в декартовой системе необходимо сформировать набор одного из сравниваемых изображений (например шаблона) с разными углами поворота и масштабами. Число таких шаблонов в наборе будет равно количеству проверяемых гипотез (количеству сочетаний масштаба и поворота) и каждый из них должен поучаствовать в сравнении.

При использовании логарифмически-поляр-ной системы координат формирования набора шаблонов с разными углами поворота и масштабами не требуется. Кроме этого пиксельный раз- мер сравниваемых изображений в логарифмиче-ски-полярной системе значительно меньше, чем в декартовой системе координат [13-18]. Эти два обстоятельства позволяют существенно уменьшить время на сравнение фрагментов в окрестностях выделенных особых точек.

Для определения «похожести» двух фрагментов был использован критерий на основе коэффициента корреляции, превышающего порог.

Все особые точки, соответствующие «похожим» фрагментам будут удалены. Они не будут использоваться при расчетах, так как являются источником большого числа «потенциально неверных гипотез», которые необходимо проверять, что ведет к увеличению времени обработки изображений.

Алгоритм

На рисунке 3 показан алгоритм обработки для усовершенствованной методики проективного совмещения.

Усовершенствованная методика была реализована в виде программы. В следующем параграфе представлен результат совмещения изображений.

Результаты работы

Разработанный алгоритм был проверен на снимках, снятых беспилотным летательным аппаратом. Исходные изображения имеют размер 2272х1704 пикселя (см. рисунок 4).

На рисунке 5 показано особые точки, которые были обнаружены детектором Harris [11]. Они отмечены «белой точкой». А особые точки, которые остались после этапа «Удаление особых точек», соответствующих неуникальным фрагментам» выделены «белой окружностью».

Как можно видеть из рисунка 5 на представленном фрагменте изображения бо́льшая часть особых точек соответствуют «неуникальным фрагментам».

Например, количество особых точек на первом изображении после детектора Harris составляет 510, а после этапа удаления «неуникальных» – 129. Для второго изображения аналогичное количество точек равняется 670 и 160.

Таким образом, количество особых точек сократилось приблизительно в 4 раза как для первого, так и для второго изображения, что обеспечивает сокращение времени обработки.

На рисунке 6 показан результат совмещения изображений.

Как можно видеть из рисунка 5, усовершенствованная методика позволила уменьшить количество особых точек, используемых для совмещения, что позволило сократить время обработки.

Согласно первоначальной методике [8,9] время обработки составляло приблизительно 40 минут, а усовершенствованная методика позволила сократить это время до 6,5 минут.

Начало

• 1.    Загрузка изображения imgl, img2, определение параметров для алгоритма обработки

• 2.    Определение особых точек

• 3.    Удаление особых точек, соответствующих неуникальным фрагментам

• 4.    Формирование таблицы сопоставления: каждой особой точке (х„у,) изображения imgl ставится в соответствие совокупность точек {«„у',) - (х'„„,у'„,)} изображения img2

• 5.    Формирование комбинаций {(х„ yj ..

• 6.    Формирование комбинаций {(/„у',) .. (х₄, у V)}, для ™ё2, удовлетворяющих геометрическим ограничениям

• 7.    Расчет параметров проективного совмещения Ну по варианту сопоставления {(у, у) •• (у, V₄)}, и {(^'„у',) .. (x'^y'^j, расчет коэффициента корреляции по общему фрагменту K_ir

• 8.    Выбор первого варианта с К_и больше заданного порога thr_K. Определение параметров проективного преобразования

*

(х4,у4)}, для imgl, удовлетворяющих геометрическим ограничениям

Нр= Ну

Конец

Рисунок 3. Алгоритм проективного совмещения

Заключение

В статье представлено описание усовершенствованной методики проективного совмещения изображений, в которой благодаря введению дополнительного этапа выбираются особые точки с уникальными фрагментами, что позволило уменьшить время обработки изображений.

В дальнейшем планируется улучшать методику обработки для дальнейшего сокращения времени обработки. Одним из возможных вариантов является использование количества совпа-

Рисунок 4. Исходные изображения

Рисунок 5. Особые точки на изображении

Рисунок 6. Совмещение изображений

дающих особых точек после совмещения вместо коэффициента корреляции.