Алгоритм слияния последовательности дальностных изображений для приборов с электроуправляемым объективом

Для создания высокоэффективных комплексов обнаружения и распознавания объектов необходимо оснащение приборов наблюдения встроенными функциями оперативной обработки данных, направленной на повышение качества регистрируемых изображений. В первую очередь востребованы процедуры подавления шума, повышения резкости и выделения информативной составляющей [1–3], для реализации которых может быть эффективно использован анализ последовательностей дальностных кадров. Однако получение таких изображений до последнего времени было затруднено из-за отсутствия объективов, обеспечивающих управление фокусным расстоянием в необходимых пределах с требуемым быстродействием.

Новые, принципиально не реализуемые ранее возможности в этом плане возникают в результате проводимых исследований по использованию жидкостей в качестве материалов оптических элементов [4].Так, экспериментально апробирован гидравлический способ управления линзой, состоящей в данном случае из оболочки с легко деформируемой мембраной в качестве одной из стенок (возможно двух) и наполняющей ее жидкости. (Гидравлический способ управления подробно рассмотрен в [5].) Данная конструкция окружается защитным корпусом из стекла или прочного пластика, вне которого находится дополнительный сосуд с жидкостным компонентом, оборудованный поршнем. Объем линзы связан с внешним сосудом через капилляр. При перемещении поршня давление в обоих объемах изменяется, что приводит к деформации стенок оболочки линзы и изменению ее фокусного расстояния.

В качестве наполняющего компонента может быть использована обычная вода, но гораздо более привлекательно применение других прозрачных в оптическом диапазоне жидкостей. Такие материалы предоставляют существенно больший, по сравнению с твердотельными, выбор комбинаций показателя преломления, коэффициента Аббе и частных дисперсий [6]. При этом для исправления хроматических аберраций в широком спектральном диапазоне имеется возможность получения оптической среды с точной подгонкой показателя преломления, дисперсии и частных дисперсий под требования конкретной разработки, в отличие от ограниченного набора комбинаций дискретных оптических характеристик у стекол. Использование жидкостей также позволяет снизить количество воздушных промежутков, отрицательно влияющих на светопропуска-ние оптической системы.

В результате исследования созданных макетов жидкостных линз с гидравлически управляемым фокусным расстоянием на базе электромагнитного актюатора и линейного пьезоэлектрического двигателя определен диапазон изменения оптической силы – 12 диоптрий (как известно, диапазон аккомодации глаза молодого человека составляет 14 диоптрий) со временем перестройки в крайние положения 15 мс. Результаты этих исследований изложены в [7]. На этой основе разработан и создан объектив, обеспечивающий дальность фокусировки от 30 см до бесконечности.

Одним из возможных применений такого объектива является создание приборов наблюдения, способных за время одного стандартного телевизионного кадра последовательно зарегистрировать несколько изображений с фокусировкой на различную дальность, выполнить их цифровую обработку и синтезировать единый кадр с увеличенной глубиной резкости.

Целью данной работы является анализ различных подходов к формированию синтезированных изображений (слиянию последовательностей дальностных кадров), разработка и исследование эффективности алгоритма слияния с перспективой аппаратной реализации в приборах наблюдения.

Методы слияния дальностных изображений

При объединении дальностных кадров могут быть эффективно использованы методы, разработанные как для совмещения телевизионных и тепловизионных изображений [8–10], так и для слияния мульти- и гиперспектральных данных [11, 12]. Самый очевидный из них – метод маски [9], который заключается в выборе отображаемого пикселя из кадра с максимальной резкостью в его окрестности. Процедура состоит из двух этапов. На первом в каждом из исходных кадров поблочно (с дальнейшей интерполяцией) или скользящим окном оценивается резкость, а затем формируется картосхема дальностей, в которой каждому элементу присваивается номер кадра с максимальной резкостью в соответствующей зоне. Оценка резкости фрагмента И изображения I ( i , j ) может осуществляться различными способами [13]. В работе использованы критерии, основанные на определении контраста (контрастности Майкельсона)

C = max и I ( i , j ) - min и I ( i , j ) max _n I ⁽ i , ^j ) + min _n I ⁽ i , ^j ) ’

среднего значения локальных контрастов

C = _v E A ⁷ ( i , j )                             (2)

N И i, jеИ и дисперсии

C = T1- E ( I - 1 ( i , j )) ² ,                        (3)

N И i, j еИ где I – среднее значение яркости фрагмента изображения, Nи - количество пикселей во фрагменте.

При этом лучшие результаты достигаются с помощью метода пирамид, основанного на формировании картосхемы дальностей на основе анализа резкости изображений внутри блоков разного масштаба [14–16] (метод пирамид более подробно поясняется при описании предлагаемого алгоритма). На втором этапе синтезируется единое изображение путем выбора пикселей из исходных дальностных кадров в соответствии с полученной картосхемой.

Другой также достаточно очевидный подход заключается в расчете синтезированного изображения взвешенным суммированием соответствующих пикселей дальностных кадров [10]. В [17, 18] показано, что оптимальные весовые коэффициенты для такого слияния могут быть получены с применением метода главных компонент ко всем входным множествам значений интенсивности. Однако это требует оценивания скользящим окном матриц ковариации, что весьма трудоемко, поэтому для оперативной обработки изображений использованы весовые коэффициенты, пропорциональные перечисленным выше мерам локальной резкости (1–3).

В данной работе в качестве альтернативы перечисленным методам объединения дальностных кадров предлагается комбинированный алгоритм слияния, основанный на построении картосхемы дальностей путем анализа поблочного разномасштабного контраста изображений методом пирамид и взвешенном попиксельном суммировании исходных кадров с коэффициентами, пропорциональными числу отсчетов картосхемы соответствующей дальности в каждой локальной окрестности.

Алгоритм состоит из трех этапов. На первом – для каждого дальностного изображения I ^{( n )}( i , j ) строится пирамида контрастов, при этом анализ идет снизу вверх. Сначала рассчитываются минимальные и максимальные значения по блокам наименьшего размера (задается оператором) и оценивается контраст по каждому из блоков

V n = 1.N , V ( k , l ) = ( 1.K.1.L ,): M 1 n ) ( k , l ) = max _Q kl I ⁽ n ) ( i , j ), m ln ^{) (} k , l ) = min и kl I ⁽ n ^{) (} i , ^j ),

C ⁿ ) ( k , l ) =

M 1 ⁿ ) ( k , l ) - m 1ⁿ ) ( k , l ) M 1 ⁿ ) ( k , l ) + m ₁ ^{( n} ) ( k , l )’

где k и l - номер блока Q kl по горизонтали и по вертикали, i.j е Q kl - координаты пикселей в исходных кадрах, K,L – количество блоков по горизонтали и вертикали, n – номер дальностного кадра (и соответствующей ему пирамиды контраста), N – их количество, здесь нижний индекс – номер уровня формируемой пирамиды контраста.

Затем блоки по четыре объединяются, из четырех минимальных и четырех максимальных значений по блокам нижнего уровня (4) определяются минимальные и максимальные,

V n = LN , V ( k , l ) = ( 1.K/2.1.L/2 ):

M ₂ ^{( n} ) ( k , l ) = max( M ,^{( n} ) ( 2k. 2l ), M ,^{( n} ) ( 2k + 1.2l ),

M 1ⁿ ) ( 2k. 2l + 1 ), M 1ⁿ ) ( 2k + 1.2l + 1 )),               (6)

m 2(n) (k, l) = min( m^n) (2k. 2l), m,(n) (2k +1.2l), mln) (2k. 2l +1), mln) (2k +1.2l +1)), на основе которых аналогично (5) рассчитывается контраст для блоков следующего уровня

C 2( n ) ( k , l ) =

M ₂ ^{( n} ) ( k , l ) - m ₂ ^{( n} ) ( k , l ) M ₂ ^{( n} ) ( k , l ) + m ₂ ^{( n} ) ( k , l ) .

Затем процедура повторяется с последовательным объединением блоков до полного изображения (верхний уровень пирамиды с номером P ).

На втором этапе на основе анализа полученных пирамид контрастов формируется картосхема дальностей (сверху вниз). Первоначально каждому отсчету карто- схемы присваивается номер кадра с максимальным общим контрастом

V ( i , j ) eQ_n , D ( i , j ) = argmax n ( C ) ( 1.1 )),      (8)

где Иц - в данном случае вся область изображения.

Далее анализируется следующий уровень пирамид.

Если контраст блока Ии в каком-то кадре выше некото- рого порога h, то соответствующим данному блоку отсчетам картосхемы, аналогично (8), присваивается номер дальностного кадра с максимальным контрастом

V(i, j) e □ k, if maxn (Cp’(k, l)) > h, (9) D(i, j) = arg maxn (Cpp (k, l)), где i, j e Qki, a k, l =1,2. В противном случае в соответствующих отсчетах картосхемы сохраняется номер кадра, присвоенный на предыдущем этапе.

Процедура формирования картосхемы дальностей D ( i, j ) продолжается в соответствии с (7) до нижнего уровня пирамид контраста C 1 ^{( n )}( k, l ).

На заключительном этапе синтезируется единое изображение, яркость пикселей которого рассчитывается путем взвешенного суммирования отсчетов дальностных кадров

N

F ( i , j ) = 77 Е w ( n ) ( i , j ) • I ( n ) ( i , j ). (^w) n t : 1

Весовые коэффициенты w⁽ⁿ⁾(i, j) равны количеству отсчетов с номером кадра n в соответствующем окне картосхемы D(i, j), размер которого выбирается обратно пропорциональным максимальному локальному контрасту, определяемому согласно (5). В результате на участках, выбираемых из одного наиболее резкого изображения, сохраняется максимальный контраст, а на их границах выполняется взвешенное усреднение двух и более кадров для сглаживания возможных перепадов яркости.

Предложенный алгоритм легко распараллеливается за счет поблочных вычислений, не содержит затратных процедур обработки исходных изображений скользящим окном или оценок статистических параметров многомерных распределений яркостей и может быть достаточно просто реализован аппаратно. Единственными процедурами, выполняемыми с многоградационными исходными изображениями, являются поблочный выбор максимально и минимального значения на первом этапе и попиксельное взвешенное суммирование на заключительном. Обработка скользящим окном используется лишь однажды при определении весовых коэффициентов по картосхеме дальностей (количество уровней в которой ограничено числом дальностных изображений). Поэтому наиболее принципиальным требованием является наличие памяти для хранения серии дальностных кадров, пирамид контрастов и картосхемы дальностей.

Для исследований эффективности перечисленных методов слияния дальностных изображений разработаны соответствующие программные модули средствами MATLAB.

Экспериментальные исследования

Исследование эффективности перечисленных методов выполнено на примере слияния изображений (№ 1– 4), зарегистрированных с применением цифровых очков ночного видения с разработанным электроуправля-емым жидкостным объективом и низкоуровневой ПЗС- камерой формата 1200×960 при различных дальностях фокусировки: 30 см, 60 см, 1,2 м, 3,0 м (рис. 1а-г соответственно). Для подобных приборов наблюдения формирование изображений с увеличенной глубиной резкости принципиально важно, поскольку оператор должен иметь возможность одновременно видеть как обстановку в непосредственной близости от него, так и объекты на значительном удалении.

На рис . 2а приведен результат синтеза путем выбора отображаемых пикселей из соответствующих дальност-ных изображений по максимуму резкости, оцененной по среднему значению локального контраста (2) в окне размером 30×30 пикселей (оценка резкости по контрастности Майкельсона (1) и дисперсии дает (3) аналогичные результаты). Принципиальный недостаток данного метода заключается в том, что в областях однородной яркости на переднем и на заднем плане сцены появляются многочисленные артефакты в виде ореолов вдоль границ перепада яркости. Причем увеличение размера окна для оценки резкости не решает данную проблему, а лишь приводит к уширению указанных ореолов. Этот эффект объясняется неопределенностью, которая возникает при определении дальности в достаточно однородных областях сцены из-за низкой локальной резкости во всех исходных изображениях.

Рис. 1. Исходные изображения: а – дальность фокусировки 0,3 м (№1), б – 0,6 м (№2), в – 1,2 м (№3), г – 3,0 м (№4)

w s

б)

Рис. 2. Результат слияния при оценке резкости по локальному контрасту: выбор пикселей из наиболее резкого кадра (а), взвешенное суммирование кадров (б)

При слиянии изображений с применением взвешенного суммирования отмеченные артефакты проявляются в меньшей степени, однако в этом случае происходит значительное снижение контраста синтезированного изображения . На рис . 2б приведены результаты взвешенного попиксельного суммирования дальностных кадров с коэффициентами, пропорциональными среднему значению локального контраста (2) в окрестностях

(оценка резкости по контрастности Майкельсона (1) и дисперсии (3) приводит к похожим результатам).

Изображение, синтезированное с помощью разработанного комбинированного алгоритма, основанного на пирамиде контрастов (4)–(7), картосхемы дальностей (8), (9) и взвешенном суммировании кадров (10) приведены на рис. 3. Анализ показывает, что предложенный алгоритм слияния наиболее адекватен задаче формирования единого изображения из после- довательности дальностных кадров, поскольку он в значительной степени обеспечивает подавление указанных выше артефактов.

Рис. 3. Слияние на основе пирамиды контрастов и взвешенного суммирования дальностных кадров

Для количественной оценки эффективности алгоритмов слияния на наблюдаемой сцене выбраны 8 тестовых зон, характеризующих указанные выше артефакты, а также оценено соотношение их яркости на исходных и синтезированных изображениях.

При этом каждая из зон имеет размер 5×5 пикселей и соотношение между яркостью зон n и m рассчитывается как

Cmn = (Im - In V( Im + In ), где Im и In – средние значения пикселей по соответствующим зонам.

В поле зрения находятся таблички с текстом, расположенные на разной дальности. Первая тестовая зона принадлежит тексту таблички на переднем плане (далее – объект переднего плана), вторая, третья и четвертая – фону на этой же табличке (далее – фон переднего плана). Шестая зона принадлежит фону одной из наиболее удаленных табличек, а пятая, седьмая и восьмая – фону заднего плана.

Соотношения C 12 , C 13 , C 14 , характеризующие контраст текста таблички на переднем плане, C 23 , C 24 , C 34 – неоднородность фона на этой табличке, C 45 – контраст границы фон таблички переднего плана – фон заднего плана, C 67 , C 68 – контраст между удаленной табличкой и фоном заднего плана, а C 78 – неоднородность фона заднего плана. Таким образом, выбранные зоны позволяют количественно оценить артефакты, возникающие при реализации исследуемых методов. Усредненные значения соответствующих контрастов и неоднородностей в исходных и синтезированных изображениях, полученных с применением различных алгоритмов слияния, представлены в таблице.

Табл. Оценка эффективности алгоритмов слияния

Характеристика изображения	Дальностные изображения				Синтезированные изображения
	№1	№2	№3	№4	I	II	III
Контраст объектов переднего плана	0,22	0,04	0,05	0,03	0,17	0,13	0,20
Контраст границы фона переднего и заднего плана	0,39	0,02	0,03	0,02	0,39	0,29	0,32
Контраст объектов заднего плана	0,12	0,43	0,47	0,51	0,37	0,42	0,40
Неоднородность фона переднего плана	0,01	0,08	0,07	0,05	0,09	0,02	0,02
Неоднородность фона заднего плана	0,07	0,21	0,11	0,08	0,25	0,11	0,04

Как и следовало ожидать, объекты переднего плана имеют максимальный контраст при фокусировке на минимальную дальность (изображение №1), а объекты заднего плана – на максимальную (изображение №4). Неоднородность фона для каждого плана минимальна при фокусировке на соответствующую дальность. В результате слияния изображений путем выбора отображаемых пикселей из дальностного изображения с максимальной локальной резкостью (I) сохраняется контраст изображений объектов на различной дальности, однако существенно снижается однородность фона как переднего, так и заднего плана. Слияние путем взвешенного суммирования в соответствии с локальной резкостью (II) снижает контраст объектов переднего плана и границы фона переднего и заднего плана. Применение предложенного комбинированного алгоритма (III) приводит к наименьшим искажениям. В этом случае контраст объектов переднего плана близок к их контрасту в изображении №1 (фокусировка на минимальную дальность), контраст объек- тов заднего плана – к контрасту в изображении №4 (фокусировка на максимальную дальность), а неоднородность фона для каждого плана минимальна.

Работоспособность предложенного алгоритма продемонстрирована также на примере обработки изображений более сложной сцены, разнообразие которой не позволяет получить количественные оценки, аналогичные представленным выше. На рис. 4 а – г приведена последовательность дальностных изображений одного ракурса, на рис. 4 д – синтезированное по этой последовательности изображение увеличенной глубины резкости, а на рис. 4 е – фотография наблюдаемой сцены с другого ракурса, которая дает достаточное о ней представление.

Заключение

Продемонстрирована возможность применения жидкостных объективов для оперативного проецирования различных плоскостей наблюдаемой сцены. Программно реализованы алгоритмы слияния даль-ностных кадров.

Рис. 4. Обработка изображений более сложной сцены: а, б, в, г – исходные изображения при дальности фокусировки 0,3 м, 0,6 м, 1,2 м, 3,0 м;, д – результат слияния, е – изображение сцены с другого ракурса

На примере обработки последовательности изображений, зарегистрированных с применением цифровых очков ночного видения с электроуправляемым жидкостным объективом при изменении фокусировки от 30 см до 300 см показано, что наиболее эффективным является предложенный комбинированный алгоритм слияния.

В его основе – формирование картосхемы дальностей путем анализа пирамиды контрастов и взвешенное суммирование исходных изображений с коэффициентами, пропорциональными числу отсчетов соответствующей дальности в локальной окрестности каждого пикселя . В этом случае в синтезированном изображении контраст объектов, находящихся на различном расстоянии от наблюдателя, близок к контрасту в изображениях, полученных при фокусировке на соответствующую дальность, а неоднородность фона для каждого плана минимальна. Данный алгоритм легко распараллеливается за счет поблочных вычислений, не содержит затратных процедур обработки исходных изображений скользящим окном или оценок статистических параметров многомерных распределений яркостей. Это определяет перспективность его аппаратной реализации в компактных системах наблюдения реального времени.