Совмещение изображений с двух камер с различными диапазонами излучения

В настоящее время использование систем технического зрения в авиации приобретает всё большую популярность. Для пилотируемых и дистанционно пилотируемых летательных аппаратов такие системы могут предоставлять дополнительную информацию пилоту; навигация беспилотного летательного аппарата, может основываться на. поступающих с камер данных. В то же время существует ряд ограничений на. применение таких систем. Одно из них связано с сильным влиянием погодных условий на. качество получаемых изображений. Один из способов преодолеть эту проблему состоит в использовании стереосистемы из обычной и инфракрасной камер (для краткости в дальнейшем эти камеры называются ТВ-камерой и ИК-камерой). Чтобы получить преимущество от использования обоих диапазонов излучения, необходимо совместить полученные изображения.

Целью данной статьи является апробация различных методов совмещения изображений и выбор наиболее подходящего метода, для обработки полётных данных в сложных метеоусловиях. Помимо этого рассматривается подготовка, к совмещению изображений, включающая в себя калибровку камер и выравнивание полученных изображений.

2.    Подготовка изображений

Необходимость в подготовке изображений возникает из-за следующих факторов. Во-первых, получаемые камерами изображения содержат в себе различные искажения. Во-вторых, эти изображения сняты из разных точек пространства. Калибровка и последующее выравнивание изображений друг относительно друга позволяет существенно уменьшить негативное влияние этих факторов на точность совмещения изображений.

2.1.    Калибровка камер

Калибровка - процесс определения внутренних и внешних параметров камеры по сделанным изображениям. В данной работе используется подход Жанга [1], требующий применения плоского калибровочного объекта (шаблона). В качестве шаблонов были рассмотрены изображения шахматной доски (рис. 1а) и набора кругов (рис. 16).

Количество изображений, достаточных для надёжного определения параметров камеры с помощью калибровки, зависит от физического размера шаблона, количества элементов в нём и площади поля зрения камеры, занимаемой шаблоном на тестовых изображениях. Можно оценить качество калибровки, вычислив ошибку репроекции [2].

а)                                                         б)

Рис. 1. Калибровочные шаблоны

К внутренним параметрам камеры относятся матрица внутренних параметров (1) и коэффициенты дисторсии (2). Если настройки камеры не меняются в процессе эксперимента, данные параметры достаточно определить только один раз.

■ fu У cu К = 0 fr c. 0 0 1 гДе fu,fy ~ фокусное расстояние камеры;

с_п,С у - координаты принципиальной точки;

у - коэффициент перекоса пикселя, для большинства сенсоров равен единице.

Дисторсия описывает искажение изображения объекта, вносимое линзой. Вычислив коэффициенты дисторсии, можно впоследствии сделать соответствующие поправки. Обычно наибольшее искажение в изображение вносит радиальная дисторсия, источником которой является неидеальная форма линзы. При большой радиальной дисторсии на изображении возникает эффект «рыбьего глаза». Выделяют также тангенциальную дисторсию, источником которой является непараллельность линзы и плоскости изображения. Используя модель дисторсии Брауна [3], сформулируем общую для радиальной и тангенциальной дисторсии формулу (2):

^ corrected = x(1 + ki? + к2?4 + кз?⁶) + 2ріХр + р^Т² + 2x2 ); У corrected = у(1 + к і т² + к2?4 + к з ?⁶) + рі(т2 + 2у²) + 2p2xy;

где кі,к2,кз - коэффициенты радиальной дисторсии;

Р1,Р2 ~ коэффициенты тангенциальной дисторсии; г - расстояние до центра изображения.

Определив внутренние параметры обеих камер, можно выполнить расчёт внешних параметров - матрицы вращения R и вектора сдвига t. Внешняя матрица вращения (3) принимает форму матрицы преобразования:

	г 1 , 1	Г 1 , 2	Г 1 , 3 | t 1
[R | t] =	Г 2 , 1	Г 2 , 2	г 2 , 3 1 t 2	.                                             (3)
	. гз , 1	Г 3 , 2	Г 3 , 3 | < 3.

Системой стереокамер называют связку двух камер, наблюдающих одну и ту же сцену из разных положений. Данная система позволяет определить трёхмерные координаты точек, попавших в поле зрения обеих камер. Для этого помимо данных калибровки обеих камер необходимо узнать положение одной из камер в системе координат, связанной с другой камерой. Данные калибровки можно получить как по отдельности для каждой из камер описанной ранее процедурой, так и одновременной съёмкой калибровочного объекта обеими камерами. После этого матрицы внешних параметров обеих камер можно описать следующим образом (4):

Рт = К1[1 | 0];

Р2 = K2[R2lt2].

2.2.    Выравнивание изображений с помощью гомографии

Два изображения соотносятся гомографией, если оба изображения содержат одну и ту же сцену под разными углами, а камера вращается вокруг своего центра проекции без сдвига. В этом случае можно определить матрицу гомографии Н, которая отображает точки одного изображения сцены в соответствующие точки другого изображения [4] (5).

х1х

^00  ^01  ^02

^10  ^11  ^12

^20  ^21  ^22

У1 = НУ2

Преобразование изображения отображает координаты точки (х, у) в новом местоположении (х , у ) (6). В данном случае этим местоположением является кадр другой камеры. Путём деления новых координат на коэффициент масштабирования можно получить новые координаты в пикселях (х ,у ) (здесь s - коэффициент масштабирования).

/■ sх sy

s

^ 00 ^ 01 ^ 02 ^х ^ 10 ^ 11 ^ 12 * У . ^ 20 ^ 21 ^ 22_| L¹.

3.    Совмещение изображений

Существует большой набор методов совмещения изображений [5]. В данной статье рассматриваются следующие методы:

•    Слияние с управляемой фильтрацией. •    Выделение границ с использованием алгоритма Собеля. •    Бинаризация с весовым наложением. 3.1.    Слияние с управляемой фильтрацией

Процедура слияния заключается в выборе каждого пикселя выходного изображения из одного из входнвіх изображений. Таким образом, выходное изображение представляет собой линейную комбинацию входнвіх изображений (7). В общем случае входнвіх изображений может быть больше двух.

W a * і а + W_B * І в = Result,

где і а ,ів ~ входные изображения;

W a , W b ^ соответствующие им бинарные маски.

Особенность алгоритма слияния с управляемой фильтрацией заключается в способе определения, из какого из входных изображений взять пиксель. Для этого алгоритм опирается на понятие заметности (saliency). К каждому из входных изображений применяется фильтр Лапласа. Полученный набор значений называется картой заметности изображения. Затем для каждого пикселя сравнивается заметность входных изображений и определяются маски Wa ii W_b.

Рис. 2. Слияние с управляемой фильтрацией

Рис. 3. Совмещение изображений слиянием с управляемой фильтрацией

Недостатком такого подхода является появление артефактов при переходе одного изображения в другое на границах масок. Для решения этой проблемы в [6] все входные изображения делятся на два слоя: базовый слой и слой деталей. Базовый слой получается применением фильтра среднего с размером окна 31 х 31 пиксель. Он используется для выделения основных особенностей изображения. Слой деталей получается вычитанием базового слоя из исходного изображения и служит для выделения небольших деталей. Полученные изображения обрабатываются описанным выше методом и суммируются в одно изображение, как показано на рис. 2. Пример обработки изображений этим методом приведён на рис. 3.

3.2.    Выделение границ с помощью алгоритма Собеля

Алгоритм выделения границ состоит из двух шагов. Сначала производится размытие изображения методом Гаусса (Gaussian blur), на втором шаге используется детектор границ Собеля.

Размытие методом Гаусса используется для устранения шума. Для этого каждый пиксель изображения заменяется на взвешенное среднее значение окружающих его пикселей. Вес пикселя уменьшается с удалением от ядра. Для его определения используется уравнение (8) [7]:

1 - + +Д

^{G (х,У}^ = _2п^2^е • (⁸)

Детектор границ Собеля основан на вычислении градиентов интенсивности в горизон тальном (ж) и вертикальном (у) направлениях. Производные Gx и Gy вычисляются свёрткой G со следующими значениями ядер Собеля (9) [8]. Затем рассчитывается величина и угол направленных градиентов (10). Пример совмещения изображений этим методом при ведён на рис. 4.

-10 1          -1 -2 -1

G_x = -2 0 2 , G_y = 0   0   0 ,

\-1 0 1         -1+2 +1

|G| =   G2 + G2, angle (G) = arctan( ). Gx

Рис. 4. Совмещение изображений с использованием алгоритма. Собеля

3.3.    Бинаризация с весовым наложением

Процедура, бинаризации с весовым наложением состоит из следующих шагов:

• •    Бинаризация изображения ТВ-камеры методом Оцу.

• •    Преобразование изображения ПК-камеры в горячий цветовой диапазон.

• •    Весовое наложение полученных изображений.

При бинаризации изображения необходимо выбрать некоторое пороговое значение интенсивности. После этого все пиксели со значением интенсивности выше порога заменяются на белые, а остальные - на чёрные. Предложенный Оцу алгоритм [9] определяет порог бинаризации следующим образом. Для каждого возможного порогового значения вычисляется сумма взвешенных отклонений, т.е. взвешенная дисперсия пикселей с каждой стороны порога. В качестве порога выбирается значение, минимизирующее это значение.

На втором шаге происходит обработка изображения с ПК-камеры. По заданной таблице поиска различным уровням освещённости сопоставляется определённый цвет. В результате получается цветное («горячее») ПК-изображение.

На последнем шаге происходит линейное совмещение изображений (11). Рис. 5 иллюстрирует процедуру обработки изображения этим методом.

9 (ж) = (1 — а) /о (ж) + а/1(ж). (11)

Изображение с ТВ-камеры

Бинаризованное ТВ-изображение

Рис. 5. Совмещение изображений бинаризацией с весовым наложением

4.    Эксперимент

Для проведения эксперимента были выбраны камеры фирмы Proto, так как они обладают достаточной частотой съёмки и устойчивостью к погодным факторам. Основные характеристики выбранных камер представлены в табл. 1. В качестве вычислителя был выбран NVIDIA Jetson TX2i.

Таблица!

Характеристики камер

Характеристика	Proto EH10F36IR	Proto EK13F76IN
Тип изображения	Чёрно-белое (8 бит)	Чёрно-белое (8 бит)
Диапазон	инфракрасный	видимый
Частота кадров	80	80
Разрешение	1280 х 960	1280 х 960
Порты	1 Ethernet (100 Мб)	1 Ethernet (100 Мб)
Размер сенсора	1/4”	1/3”
Тип матрицы	ПЗС	ПЗС
Объектив	М0814-МР2 (16 мм)	Mkim44-MP2 (16 мм)

При подготовке к эксперименту была проведена калибровка стереосистемы. После сравнения полученных результатов калибровки был выбран шаблон с кругами размером 8 х 11

элементов (рис. 16). На наборе из сорока изображений ошибка репроекции составила 0.24 пикселя.

В первой части эксперимента выбранные алгоритмы совмещения работы сравнивались по скорости и качеству работы. Результаты сравнения приведены в табл. 1. Иллюстрации к этому этапу были приведены ранее в описании соответствующих методов (рис. 3, рис. 4 и рис. 5). Результаты приведены в табл. 2.

Т а б л и ц а 2

Результаты сравнения алгоритмов совмещения изображений

Метод	Время работы	Задержка синхронизации	Ошибка фильтрации
Слияние управляемой фильтрации	0,0871 ±0,0067 с.	0,03 с.	9%
Алгоритм Собеля	0,0244±0,0093 с.	0,02 с.	8%
Весовое наложение с бинаризацией	0,0364±0,0032 с.	0,006 с.	13%

Показавший лучшие результаты метод на основе фильтра Собеля был использован во второй фазе эксперимента. В этой фазе алгоритм применялся к данным с полётов БИЛА. Было подтверждено, что совмещение изображений ТВ и ИК-камер упрощает обнаружение особенностей на изображении. Пример с обнаружением взлётно-посадочной полосы приведён на рис. 6. Кроме этого, алгоритм упростил выделение границ объектов в условиях тумана (рис. 7).

Рис. 6. Обнаружение взлётно-посадочной полосы

Рис. 7. Применение метода в условиях тумана

5.    Заключение

В ходе исследования было проведено сравнение методов совмещения изображений применительно к стереосистеме из ТВ-камеры и ПК-камеры. Проанализированы и реализованы актуальные методы совмещения изображений: метод слияния с управляемой фильтрацией, метод выделения границ с помощью алгоритма Собеля, а также метод бинаризации с весовым наложением. Помимо этого, была рассмотрена процедура калибровки стереосистемы и выравнивания полученных изображений с помощью гомографии.

По итогам вычислительного эксперимента лучшие результаты по скорости и точности работы показал метод выделения границ с помощью алгоритма Собеля. Обработка полётных видеоданных подтвердила возможность использования метода для улучшения качества изображений видимого диапазона излучения в сложных погодных условиях.