Формирование контрастных полихроматических изображений заданных объектов на основе многооконной акустооптической фильтрации

Развитие средств дистанционного зондирования характеризуется в настоящее время активным внедрением технологий гиперспектральной съемки. Современные гиперспектральные приборы позволяют получать изображения в сотнях узких полос ультрафиолетового, видимого и ближнего инфракрасного диапазонов спектра [1, 2] и могут устанавливаться как на спутниковые и самолетные платформы, так и на малогабаритные беспилотные летательные аппараты. Результаты гиперспектральной съемки используются для решения задач обнаружения объектов, в том числе малоразмерных, их идентификации и классификации, определения их состояния и т.п.

Стоит отметить, что при большом числе регистрируемых спектральных каналов гиперспектрального изображения необходимо иметь достаточные вычислительные ресурсы для оперативной автоматической бортовой обработки данных либо высокоскоростную линию передачи информации на наземные пункты обработки. Поэтому анализ в реальном масштабе времени гиперспектральных изображений с высоким пространственным и спектральным разрешением в настоящий момент представляется затруднительным. При этом наиболее ценная для различных прикладных задач информация сосредоточена, как правило, в нескольких спектральных каналах [3–5], что дает возможность радикального сокращения массива регистрируемых гиперспектральных данных. Предварительный выбор наиболее информативных спектральных каналов позволяет снизить требования к вычислительным ресурсам и времени анализа, что особенно актуально при размещении гиперспектральной аппаратуры на малогабаритных беспилотных летательных аппаратах.

Одной из важных задач оперативного мониторинга является контрастная визуализация искомых объектов с целью их эффективного обнаружения и распознавания. Перспективными спектральными элементами для этого являются перестраиваемые аку-стооптические (АО) фильтры [6, 7], основанные на дифракции света на ультразвуковых волнах. Создаваемая акустической волной объемная решетка способна осуществлять селективную дифракцию света, что позволяет создавать на этой основе узкополосные фильтры, перестраиваемые по спектру путем изменения частоты ультразвука. Спектрометры на основе АО-фильтров могут использоваться для экспресс-анализа объектов во внелабораторных условиях. С учетом того, что такие спектрометры могут перестраиваться на любую длину волны без сканирования за одно и то же малое время, для них разрабатываются специальные методы анализа, основанные на измере- нии спектров лишь на нескольких длинах волн, наиболее полно связанных с оптическими свойствами детектируемых объектов. Такой подход может быть назван выборочной спектральной регистрацией [8], основная идея которого описана в [9] и проанализирована в [10]. В [11] рассмотрена задача мониторинга с использованием многоканальных АО-фильтров и описана возможность контрастирования мультиспек-тральных снимков для целей мгновенного обнаружения объекта с известным спектром. Однако предложенный подход подразумевал управление всеми спектральными каналами АО-спектрометра, что технически сложно реализуемо. Поэтому более реальной является исходная постановка задачи [8] – оптимальный выбор небольшого числа каналов, достаточных для контрастного разделения искомых объектов и фона.

В [12] представлен и экспериментально апробирован метод выборочной спектральной регистрации изображений с использованием программно перестраиваемых АО-фильтров, а также обсуждались подходы получения изображения в одном или в трех спектральных каналах, которым соответствует максимальный контраст их спектральных характеристик, с построением полутонового или цветосинтезированного изображения. В обоих случаях регистрируемые изображения могут формироваться в режиме видеопотока и подвергаться автоматическому анализу в реальном времени.

При необходимости обнаружить несколько объектов с разными спектральными характеристиками на некотором многообразии изменяющихся фонов такой подход, предполагающий для разных пар объект – фон выбор различных спектральных каналов, требует непрерывного быстрого спектрального переключения, что может быть затруднено или неприемлемо по критерию быстродействия и иным причинам. Для таких случаев было предложено использование многооконного режима АО-фильтрации, реализуемого путем многочастотного возбуждения ультразвука в АО-ячейке [12, 13]. Метода выбора общего набора длин волн для нескольких разных объектов до сих пор предложено не было. Поэтому актуальной остается разработка алгоритма выбора оптимальной совокупности спектральных каналов для решения задачи эффективного различения заданного множества объектов и фонов с известными спектральными признаками посредством мониторинга при помощи многооконного АО-фильтра и монохромного матричного фотоприемника.

В настоящей работе описан метод формирования мультиспектральных (полихроматических) изображений, предложены принципы выбора наиболее информативной комбинации спектральных каналов и алгоритм их выбора, приведены результаты эксперимента и численных исследований на примере пяти объектов с близкими спектральными характеристиками.

1.    Техническая реализация

Обобщенный принцип работы системы, реализующей режим мультиспектральной регистрации изображений, представлен на рис. 1. Объектив 1 формирует световой пучок с интенсивностью излучения I ( λ ), несущий изображение исследуемой сцены, представляющей собой объекты, расположенные на некотором фоне. Элементом, выделяющим требуемые спектральные компоненты, является двойной АО-фильтр 2, состоящий из двух идентичных и развёрнутых на 180° АО-ячеек 3 и 5, обеспечивающих фильтрацию света в широкоугольной геометрии [14]. АО-ячейки идентичны и развёрнуты на 180°, что обеспечивает компенсацию большинства пространственно-спектральных искажений и повышение спектральной селективности [15]. В работе использована схема [16] построения двойного АО-фильтра, в которой поляризационное разделение компонент входящего и выходящего светового пучка, необходимое для спектральной фильтрации, осуществляется на косой грани соответствующих АО-ячеек 3 и 5, а промежуточную селекцию дифрагированного в ячейке 3 излучения выполняет поляризатор 4. На выходе АО-фильтра прошедшее (отфильтрованное) излучение, имеющее спектр I s ( λ ), состоящий из нескольких спектральных компонент, фокусируется объективом 6 на матричном фотоприемнике 7, где и формируется мультиспектральное изображение.

Рис. 1. Схема системы мультиспектральной регистрации на основе многооконного АО-фильтра

Выделяемый дискретный спектр определяется совокупностью ультразвуковых частот, подаваемых на АО-ячейки, в которых формируются объемные фазовые дифракционные решетки с требуемыми пространственными периодами. Высокое качество формируемых акустических пучков (отсутствие нелинейных искажений, отраженных волн в рабочей области и т.п.) обеспечивает отсутствие паразитных изображений. Функцию формирования акустического поля выполняет блок управления 8, в котором по командам контроллера 12 формируются требуемые частотные сигналы высокочастотного (ВЧ) генератора 11, которые проходят через усилитель 10, разветвляются в ВЧ-сплиттере 9 и направляются на АО-ячейки 3 и 5. Изображения с фотоприемной матрицы 7 поступают в компьютер 13, где обрабатываются и анализируются с помощью специализированного программного обеспечения, которое, в частности, позволяет определить наиболее информативные длины волн для выбранных классов объектов и фонов в соответствии с представленным ниже алгоритмом.

2.    Принципы выбора наиболее информативной комбинации спектральных каналов

На фотоприемнике формируется изображение L ( x , y ), где x , y – индексы строк и столбцов изображения. Будем считать, что оно содержит объекты ( a ) и фоны ( b ) из ограниченного списка веществ с известными спектрами I^a ( x , y ), I^b ( x , y ), где a = 1, … , A , b = 1, … , B . Это и дальнейшие введенные предположения обсуждаются в заключении. Будем также для простоты считать каждый объект спектрально однородным и однородно освещенным, т.е. I^a ( x , y ) = I^a при x , y ∈ a , I^b ( x , y )= I^b при x , y ∈ b . Спектральный прибор способен формировать изображение на отдельных длинах волн I _n ^a = I^a ( λ _n ) ( n = 1, … , N – номер спектрального канала) или на их совокупности (в многоволновом режиме).

Решение задачи выбора наиболее информативной (оптимальной) комбинации требует введения некоторого критерия качества различения. За параметр, дающий возможность различить два граничащих между собой элемента изображения на отдельной длине волны λ , примем величину различия их сигналов

Δ L^ab = L^a - L^b I . (1)

Сигнал, регистрируемый на каждой длине волны, определяется интенсивностью входного светового потока I ( λ ), функцией пропускания прибора T ( λ , λ n ) при настройке его на длину волны λ n и чувствительностью фотоприемника χ ( λ )

L ( λ n ) = ∫ I ( λ ) T ( λ , λ n ) χ ( λ ) d λ . (2)

Если считать для простоты чувствительность фотоприемника постоянной ( χ n = const ), коэффициенты передачи каналов одинаковыми и максимальными, а полосы пропускания достаточно узкими по сравнению с масштабом спектральной неоднородности, то есть T ( λ , λ n ) ~ δ ( λ – λ n ), то сигнал пропорционален величине спектральной плотности энергетической яркости (СПЭЯ): L ( λ n ) ~ I ( λ n ). В этом приближении различие двух элементов сцены на определенной длине волны будет характеризоваться разностью их СПЭЯ:

Δ L^a n ^b = L^a n - L^b n I~ I^a ( λ n ) - I^b ( λ n ) . (3)

При многооконном методе, использующем АО-фильтры с несколькими ( D ) спектральными окнами, парциальные световые потоки складываются так, что регистрируется сигнал

D

L c ( D ) = ∑ I ( λ d c ) T ( λ d c ) χ ( λ d c ), d c = 1

где суммирование идет по длинам волн λ d_c ∈ λ n ( c = 1, … , C D , d = 1, … , D ), соответствующим конкретной выбранной комбинации c ≡ { d c } из общего числа сочетаний

N !

D !( N - D )!^.

Поэтому в предположении χ n = const различие двух элементов сцены на выбранной комбинации длин волн будет описываться разностью их суммарной яркости на выбранных длинах волн, которая характеризует контраст пары объект – фон

ΔL ab      a b

c ( D ) ⁼ L c ( D ) ^- L c ( D )

Перебор всех сочетаний, включая те, где число возбуждаемых в АО-фильтре каналов меньше максимально достижимого D <  D max , позволяет выбрать оптимальную комбинацию c ˆ , обеспечивающую максимальную различимость заданной пары объект – фон.

В такой постановке задача выбора оптимальной совокупности рабочих длин волн для обнаружения конкретного вида объектов на конкретном фоне решается тривиально. В реальности, как правило, необходимо обнаруживать множество объектов { a } на некоторой совокупности различных фонов { b }, что существенно усложняет задачу. В общем случае число рабочих каналов может быть меньше, чем число встречающихся объектов и фонов D <  A + B . В этом случае решение может быть либо в быстром переключении прибора по совокупности наиболее информативных каналов, либо в выборе небольшого числа каналов, оптимальных именно для этой конкретной задачи. Ниже рассмотрен второй подход, который предполагает, что регистрирующая система непрерывно работает в многооконном режиме. Таким образом, спектрометр c АО-фильтром должен непрерывно работать на выбранной комбинации длин волн c и при этом быть способен различать несколько типов объектов на разных фонах. В таком случае параметр, характеризующий степень различия, должен включать в себя все комбинации пар объект – фон. В итоге в качестве максимизируемого параметра можно принять нормированный средний контраст

∆ L = ¹

^{c , D} ABD 2 ^k

_∑ ω ab _{∑ (} L a_{c ( D )} a , b       1 ≤ d c ≤ D

_

^b L c ( D )

где осуществлена нормировка на общее число суммируемых комбинаций объект – фон ( A × B ), число спектральных каналов ( D ) и разрядность представления величин СПЭЯ (0 ≤ L ≤ 2 ^k –1), а также введены весовые коэффициенты ω ab , позволяющие учесть значимость распознавания каждой пары объект – фон.

При таком определении контраст может варьироваться от 0 (идентичные спектральные образы) до 1 (яркий белый объект на черном фоне).

3.    Выбор оптимальной комбинации спектральных каналов

Для выбора наиболее информативной комбинации спектральных каналов в многооконном режиме работы АО-фильтра необходима априорная информация о спектральных характеристиках искомых объектов и фонов, на которых они наблюдаются. В этом качестве могут быть использованы спектры излучения, приходящего от объектов и фонов, выражаемые в единицах СПЭЯ. Чтобы разработать алгоритм, будем считать для определенности условия освещения детерминированными и стационарными.

Алгоритм выбора наиболее информативных спектральных каналов для гиперспектрометров на основе АО-фильтров в режиме многооконной регистрации A объектов на B фонах состоит из следующих шагов.

Шаг 1. Определение множества объектов и фонов с известными спектрами { L^a _n } и { L^b _n } и введение весовых коэффициентов, характеризующих степень значимости распознавания каждой пары объект – фон и влияющих на выбор спектральных точек.

Шаг 2. Задание числа рабочих окон D в пределах максимального числа одновременно возбуждаемых ультразвуковых волн в АО-ячейке D <  D max .

Шаг 3. Вычисление для всех комбинаций длин волн c = 1,..., C D различий их сигналов A L CbD = | L ac , D - L b , D | для каждой пары объект - фон и расчет средневзвешенной по всем парам величины контраста яркости A L c , D .

Шаг 4 . Повторение шага 3 с другим числом рабочих каналов в пределах 1 <  D <  D max .

Шаг 5. Определение оптимального числа D ^ˆ и комбинации c ˆ спектральных каналов

( c , D )

= argmax [A L _c , D ] . c , D

Шаг 6. Вычисление с использованием перестроечной характеристики АО-фильтра управляющих частот f d = f(X d ), соответствующих найденной оптимальной комбинации спектральных каналов c ˆ , которые необходимо подать на вход фильтра для формирования требуемой многооконной функции пропускания.

4.    Экспериментальные исследования

Для иллюстрации метода были проведены экспериментальные исследования с установкой на основе АО-видеоспектрометра (рис. 2).

В ее состав входят осветитель 2 в виде галогеновой лампы, обеспечивающей освещенность тестового участка на уровне примерно 11000 лк, предметный столик 1, на котором размещаются фоновое покрытие и объект, и спектральная регистрирующая система 3, содержащая монохромную видеокамеру и много- оконный АО-фильтр, перестраиваемый в диапазоне 450–850 нм, а также компьютер 4 со специализированным программным обеспечением.

Рис. 2. Внешний вид эскпериментальной установки: 1 – предметный столик, 2 – галогеновая лампа, 3 – АО-гиперспектрометр, 4 – компьютер

Форма функции пропускания T ( X ) используемого АО-фильтра может иметь существенно разный вид в зависимости от расстояния между спектральными каналами (рис. 3). Если интервал существенно превышает ширину окна пропускания АО-фильтра, функция пропускания содержит ряд отдельных окон, а при сближении на расстояние, сравнимое с полосой пропускания АО-фильтра 5X , отдельные окна сливаются в единую полосу. Последний режим не используется в рассматриваемой задаче. Представленные на рис. 3 кривые были измерены с помощью дифракционного спектрометра высокого спектрального разрешения.

Вместе с изменением характеристик спектральной селективности многоканального АО-фильтра может меняться и соотношение коэффициентов пропускания в максимуме каждого канала. Это может происходить не только вследствие взаимовлияния каналов при их сближении, но и за счет регулировки мощности P возбуждаемых на соответствующей частоте f d = f (X d ) ультразвуковых волн T d ~ P ( f d ).

Для тестирования предложенного метода была сформулирована модельная задача различения между собой пяти разных типов объектов естественного (листва) и искусственного (бумага, ткань, пластик, металл) происхождения. Образцы были вырезаны из массива основного материала в виде четырехугольника площадью около 4 см2 (рис. 4). Как видно, все образцы имеют разные оттенки зеленого цвета, а их спектры яркости Lan довольно близки, но не идентичны. Это дает возможность для определения комбинации спектральных каналов, позволяющей получить полихроматические изображения, контрастно разделяющие все эти объекты друг относительно друга. При этом для обнаружения не имеет принципиального значения, отображается ли объект светлее или темнее фона, важна лишь абсолютная величина контраста.

а)

б)

в)

Рис. 3. Форма функции пропускания T(X) многооконного (Dmax = 4) АО-фильтра c эквидистантными по акустической частоте окнами при: а) Δf = 10 МГц;

б) Δf = 1 МГц; в) Δf = 0,5 МГц. Ширина окна АО-фильтра δf = 0,5 МГц

В эксперименте каждый из пяти образцов располагался на фоне четырех других материалов, что позволило получить 20 изображений разных пар объект– фон. Изображения регистрировались тремя различными способами для дальнейшего сравнения.

• 1.    В многоволновом (полихроматическом) режиме АО-регистрации на одинаковых для всех пар длинах волн, выбранных по разработанному алгоритму. При этом все весовые коэффициенты to ab = const, что соответствует равной значимости всех сочетаний объект – фон.

• 2.    В монохромном (одноволновом) режиме АО-регистрации на наиболее информативной для данной пары объект – фон длине волны, выбираемой в соответствии с выражением [11]

• 3.    В панхроматическом режиме путем усреднения изображений по всем N точкам рабочего спектрального диапазона X n = 450 -850 нм

( n ) ab = argmax [A L nb ] .

n

ab 1 ab

^L pan   д г ^ L n .

N _n

а)

Рис. 4. Тестовые объекты: RGB-изображения (а) и спектры (б), полученные при рабочем освещении:

1 – бумага, 2 – лист растения, 3 – металл,

4 – пластик, 5 – ткань

б)

В ходе поиска оптимального сочетания спектральных каналов для многооконного режима АО-фильтрации находились сочетания для разного числа каналов: от одного до четырех (рис. 5). В соответствии с выражением (7) наиболее информативной комбинацией будет четырехканальное сочетание на длинах волн X c = 510, 515, 530, 535 нм, обеспечивающее максимальный средний контраст всех пар объект - фон ( AL c d , = 0,374 ) .

Сформированные различными способами изображения каждой пары объект–фон представлены в табл. 1 –5. Из них видно, что выбранная четырехволновая комбинация обеспечивает более яркое и контрастное изображение пар объект – фон, чем панхроматическое, построенное по всем длинам волн рабочего диапазона АО-гиперспектрометра. Разумеется, это изображение уступает наиболее контрастному изображению на одной длине волны. Из пяти выбранных материалов лучше других в четырехволновом режиме регистрации выделяются листья и металл, а бумага, пластик и ткань имеют относительно больше сходства. При необходимости можно повысить их различимость путем введения соответствующих весовых коэффициентов.

а)

в)

г)

Рис. 5. Выбор комбинации длин волн А с, обеспечивающей наибольший средний контраст A L c _D, при разном числе спектральных окон D и соответствующем числе сочетаний C d : а) D = 1, C i = 47, А = 515 нм, N L_С1 = 0,341 ; б) D = 2, C 2 = 1081, A i = 515 нм, А 2 = 530 нм, A L _;,₂ = 0,327 ; в) D = 3, С з = 16215, А 1 = 515 нм, А 2 = 530 нм, А з = 510 нм, N L _у = 0,352 ; г) D = 4; С 4 = 178365; А 1 = 515 нм; А 2 = 530 нм; А з = 510 нм; А = 535 нм; N L _;,₄ = 0,374

Табл. 1. Изображения 1-го объекта на фоне остальных для разных способов формирования

Численные значения величины контраста для разных режимов регистрации приведены на рис. 6, где номера кривых соответствуют следующим величинам относительного контраста: 1 - ALc\ ; 2 - ALcb2; 3 -ALcЬ3; 4 - ALcb4 ; 5 - ALpbn ; 6 - ALnb. Самые высокие значения контраста, очевидно, достигаются в монохроматическом (одноволновом) режиме (кривая 6 на рис. 6) на оптимальной длине волны (8). Для каждой пары объект - фон эта длина волны (Й) индивидуальна, а потому для быстроменяющихся нестацио- нарных условий измерения режим с переключениями ненадежен. Одноволновый режим с регистрацией на одной и той же длине волны Xi = 515 нм (кривая 1 на рис. 6), хотя и уступает по контрасту режиму с переключением, но для многих пар объект – фон совсем незначительно (см, например, листва на фоне бумаги и др. – рис. 6б). В то же время для некоторых пар (например, пластик на бумаге – рис. 6а) контраст мо- жет даже немного уступать панхроматическому изображению (кривая 5 на рис. 6). В целом панхроматическое изображение, получающееся в результате сканирования и усреднения по всему спектральному диапазону, дает самый низкий контраст, так как информативные точки входят на равных с малоинформативными, что с учетом сходной окраски образцов ведет к минимальным цветовым отличиям.

Табл. 2. Изображения 2-го объекта на фоне остальных для разных способов формирования

Табл. 3. Изображения 3-го объекта на фоне остальных для разных способов формирования

Способ получения		Номер фона
изображений	1	2	4	5

X c = 510, 515, 530, 535 нм

1) полихроматическое

X - = 510 нм

2) оптимальное монохроматическое

X n = 450-850 нм

3) панхроматическое

Табл. 4. Изображения 4-го объекта на фоне остальных для разных способов формирования

Табл. 5. Изображения 5-го объекта на фоне остальных для разных способов формирования

Способ получения	Номер фона
изображений	1	2	3	4
1) полихроматическое		X c = 510 51	5, 530, 535 нм
	X nn = 805 нм	X n = 525 нм	X n = 515 нм	X n = 580 нм
2) оптимальное монохроматическое
		X n = 450 - 850 нм
3) панхроматическое

Величина контраста при многооконных (многоволновых) режимах регистрации, представленных кривыми 2 – 4 (рис. 6) и соответствующих двум, трем и четырем длинам волн, выбранным по разработанному алгоритму и приведенным в подписи к рис. 5б – г, ведет себя предсказуемым образом. В целом, с ро- стом числа рабочих длин волн величина контраста растет, так что четырехволновый режим наиболее эффективен (рис. 6а, в, д). В то же время встречаются комбинации, для которых такой режим уступает трех-, двух- и даже одноволновому режимам (см. пару пластик – листва – рис. 6г).

а)

Рис. 6. Величины контраста пар объект - фон (ab), рассчитанных для разных методов формирования спектральных изображений: одно-, двух-, трех-, и четырехволнового (кривые 1 - 4), панхроматического (кривая 5) и оптимального монохроматического (кривая 6): а) a = 1; б) a = 2; в) a = 3; г) a = 4; д) a = 5

Еще раз отметим, что эти многоволновые режимы не подразумевают переключения АО-фильтра в ходе регистрации, а потому пригодны для распознавания по спектру в режиме быстрых изменений сцены или движения рабочей платформы.

Заключение

Таким образом, результаты тестирования предложенного метода мультиспектральной регистрации объектов с использованием АО-системы, реализующей многооконный режим фильтрации, подтверждают возможность получения контрастных изображений совокупности разнотипных объектов на разнородных фонах. Также стоит отметить, что сформированные полихроматические изображения во многих случаях почти не уступают по контрасту изображениям, полученным путем монохромной спектральной регистрации, выполняемой для каждой пары объект – фон на отдельной оптимальной длине волны. Основным свойством этого метода является фиксация набора рабочих длин волн, который обеспечивает достаточно высокий контраст для всего множества объектов и фонов, что позволяет вести наблюдения без спектральной перестройки, то есть в непрерывном режиме . При этом возможно быстрое переключение на другие сочетания длин волн, обеспечивающие более высокий контраст для конкретных объектов и фонов. Для этого в разработанном алгоритме выбора оптимального сочетания длин волн (6) предусмотрено использование весовых коэффициентов юab, которые в зависимости от поставленной задачи повышают значимость распознавания конкретных объектов на конкретном фоне. В соответствии с назначением регистрирующей мультиспектральной системы могут быть заранее сформированы рабочие наборы длин волн для разных задач, которые используются в подходящих условиях. Аналогичным образом может решаться проблема изменения условий освещения сцены: для ряда типичных спектров подсветки на основе разработанного алгоритма могут быть сформированы наборы оптимальных рабочих длин волн и переключение может осуществляться по определенному закону (например, по времени суток), по независимо получаемым данным (например, метеоусловия), по информации, получаемой в ходе экспресс-анализа регистрируемой мультиспек-тральной информации. В общем случае регистрируемые изображения могут формироваться в режиме видеопотока и подвергаться автоматической обработке в режиме реального времени.

Еще одной опцией оптимального управления многооконным АО-видеоспектрометром является возможность варьировать коэффициент пропускания АО-фильтра на разных длинах волн, то есть создавать профилированную по амплитуде комбинацию спектральных окон. Это позволит дополнительно оптимизировать контраст, что особенно важно для условий освещения с сильным перепадом спектральной яркости.

Дальнейшие исследования планируется направить на проверку устойчивости выбираемых рабочих длин волн к вариациям спектра и яркости освещения, а также на методы адаптации регистрирующей АО-спектральной видеосистемы к изменяющимся условиям.

Работа выполнена при поддержке Российского научного фонда (проект 19-19-00606-П). Кристаллы, использованные при изготовлении акустооптического видеоспектрометра, подготовлены в рамках Государственного задания НИЦ Курчатовского Института.