Нормализация изображении движущихся объектов при последовательной регистрации RGB-каналов

В некоторых системах формирования цветных изображений [1], например, системах дистанционного зондирования земли с космического аппарата «Ресурс-ДК», регистрации излучения от участка земной поверхности производится последовательно одним и тем же датчиком с подстановкой различных светофильтров. В результате геометрического совмещения каналов, сформированные в различные моменты времени, получается результирующее цветное RGB-изображение [2].

При таком способе съемки, главной проблемой синтеза цветного изображения из отдельных RGB-каналов является невозможность автоматического совмещения движущихся объектов (например, автомобилей). В результате, на цветосинтезированном изображении присутствуют три RGB-копии каждого движущегося объекта (красная, синяя и зеленая), соответствующие различным моментам времени (рис. 1).

Рис.1. Исходное изображение

При крупномасштабной съемке городов количество движущихся объектов довольно велико, поэтому использование ручных операций совмещения ведет к большим затратам времени оператора. В статье описывается алгоритм автоматического совме- щения для нормализации изображений автомобилей на космических снимках, который может быть (с небольшими модификациями) настроен и для обработки объектов другого типа.

При обнаружении и цветокоррекции RGB-копий объектов возникает ряд трудностей:

• 1.    Линейные размеры некоторых автомобилей (например фуры и легкового автомобиля) могут различаться в несколько раз.

• 2.    Неоднородность яркости объектов даже внутри одной цветовой копии из-за свойств оптической системы.

• 3.    Размеры объектов довольно малы по сравнению с разрешением космических снимков (от 3*2 пикселей), цвет и форма пятна яркости, описывающего автомобиль, сильно варьируется даже для автомобилей одинакового размера, из-за чего сложно определить их границы.

• 4.    Малый размер объектов по сравнению с разрешением снимка также является серьезным препятствием при определении скорости и направления движения объектов.

• 5.    Разноцветные копии объектов накладываются друг на друга. В результате кроме RGB-копий автомобиля, могут появиться его желтая и малиновая копии.

• 6.    На космическом снимке присутствуют цветовые пятна и объекты (например, участки растительности), похожие на искомые объекты.

В описанных условиях распространенные алгоритмы обнаружения (например, корреляционные или пороговые) малоприменимы, стандартные алгоритмы анализа движения также не работают, потому что последовательные кадры относятся к различным спектральным диапазонам и по ним не удается осуществить точную привязку по фоновой составляющей.

В данной работе предложен алгоритм нормализации изображений движущихся объектов, позволяющий объединить три разноцветные копии объекта в одну. Алгоритм основан на использовании взаимосвязи координат, размеров и ориентации копий объектов различного цвета.

Описание алгоритма

При поиске все операции производятся в цветовом пространстве HSI [2] (цветность, насыщенность, яркость). Эксперименты показали, что надежнее всего обнаруживается красная копия объекта (на городском пейзаже нет ярко красных объектов) поэтому сначала ищутся все красные копии, а затем они используется для поиска синих и зеленых копий объектов.

Поиск красных копий объектов включает следующие этапы:

• 1)    построение стартовых областей;

• 2)    расширение стартовых областей;

• 3)    сегментация;

• 4)    фильтрация областей по размерам;

• 5)    Фильтрация областей по межкомпонентной корреляции.

На этапе 1 производится пороговое выделение пикселов, для которых компоненты H , S , I попадают в заданные диапазоны, соответствующие насыщенному красному цвету:

M 1 = ( h 1 <  H <  h 2 ) A ( 5 1 <  S <  5 2 ) A ( i 1 <  I <  i 2 ) (1)

где a - конъюнкция, а M1 - булевская маска, описывающая найденные стартовые области. При настройке алгоритма диапазоны (h1, h2), (51,52), (i1, i2) выбираются как можно более узкими, но из условия, чтобы внутри всех (или почти всех) красных копий объектов присутствовала хотя бы одна отмеченная точка. В этом случае довольно мало стартовых областей попадает мимо объектов, но сами объекты не покрываются целиком стартовыми областями, поэтому области необходимо расширять.

На этапе 2 происходит итерационное расширение областей, обнаруженных на этапе 1:

O2" M1, O'' D(O2j-1))M2, j = 1,2,3,... (2) где D(..) - оператор дилатации, а M2 - маска, ограничивающая расширение областей. Эта маска вычисляется аналогично маске M1 , но с более широкими диапазонами (h1, h2), (51,52), (i1, i2). Итерационный процесс останавливается на шаге J, на котором промежуточные результаты о2J) и о2J 1) совпадают. Использование такой процедуры позволяет избавиться от неоднородности яркости внутри объекта (осуществить “заливку” краев объектов).

На этапе 3 происходит сегментация бинарного изображения о 2 J ) по четырехсвязному критерию. В результате образуется список областей, каждая из которых может быть искомой красной копией объекта.

На этапе 4 оцениваются площади и размеры найденных областей. В качестве оценки размеров используются полуоси аппроксимирующих эллипсов, которые вычисляются на основе степенных моментов [3]. Области, которые имеют площадь или раз- меры, не похожие на размеры автомобиля, отбрасываются. Остальные области считаются искомыми красными копиями объектов, которые затем используются для поиска синих и зеленых областей.

Поиск синих и зеленых копий объектов в целом аналогичен поиску красных, за исключением двух отличий.

Во-первых, стартовые области ищутся только в эллипсоидальной окрестности уже найденных красных копий объектов. Ориентация каждой такой эллипсоидальной области совпадает с ориентацией красной копии объекта, вокруг которой она строится (ориентация определяется на основе степенных моментов). Размер эллиптической области задается при настройке алгоритма и определяется максимальным расстоянием между копиями одного и того же объекта.

Использование такого ограничения позволяет сильно сузить зону поиска и существенно сократить количество ложных стартовых областей.

Во-вторых, после этапа 4 добавляется еще один дополнительный этап. На этом этапе отбрасываются синие и зеленые копии объектов, площади и размеры которых слишком сильно отличаются от площади и размеров красной копии, в эллипсоидальную окрестность которой они попадают.

Этот этап является наиболее полезным при поиске зеленых копий объектов. Изображения растительности на космических снимках являются главной проблемой при нормализации зеленых копий объектов. Без использования описанного выше дополнительного этапа, многие изображения растительности порождают ложные обнаружения зеленых копий объектов. При использовании дополнительного этапа этот эффект удается свести к минимуму, так как ложные обнаружения порождаются только участками растительности, которые имеют площадь и размеры, мало отличающиеся от площади и размеров достаточно близко расположенной красной копии объекта.

Для отсева ложных областей также применялся метод, основанный на том, что растительность на исследуемых снимках проявляется не только в зеленом, но и в красном цветовом канале. Данный факт может использоваться приводит к возможности использования корреляции между красным и зеленым каналом в качестве признака, определяющего является ли область движущимся объектом или участком растительности.

Таким образом, ложно обнаруженные зеленые области будут иметь небольшой размер (не больше ближайшего автомобиля). Наличие таких небольших ложных областей несильно сказывается на визуальном качестве, так как при цветокоррекции они закрашиваются неярким серым цветом (см. далее).

После того, как получены списки областей, описывающих RGB-копии объектов, производится цветовая коррекция этих областей. Красные копии объектов (они обнаруживаются наиболее уверенно) за- меняются на серые соответствующей яркости. Синие копии стираются: в пределах соответствующих областей синяя компонента заменяется на полусумму красной и зеленой. Аналогично стираются зеленые копии объектов. Такой способ стирания не допускает сильных искажений ложно принятых за автомобиль небольших участков растительности.

В результате на изображении вместо трех разноцветных копий объекта остается один объект, имеющий более естественную окраску (рис. 2):

Рис.2. Результат нормализации изображений движущихся объектов

Следует заметить, что предложенная процедура нормализации использует большое количество параметров, которые могут быть получены использованием автоматической процедурой обучения на основе предварительно полученной обучающей выборки.

Заключение

Разработан алгоритм нормализации изображений движущихся объектов, полученных в результате последовательной регистрации RGB-каналов.

Алгоритм показывает высокое качество работы при нормализации красных и синих копий объектов. Благодаря использованию взаимосвязи координат, размеров и ориентации копий объектов различного цвета, удается свести к минимуму искажения изображений растительности, возникающие при нормализации зеленых копий объектов. На основе предложенного подхода было реализовано программное обеспечение, позволяющее производить нормализацию изображений как в полностью автоматическом режиме с использованием процедуры обучения параметров, так и в полуавтоматическом режиме с указанием точек расположения нормализуемых объектов.

Дальнейшие исследования планируется вести в следующих направлениях:

• 1.    автоматическое вычисление характеристик движущихся объектов: скорости, направления движения и т.п.;

• 2.    уменьшение количества ложных обнаружений зеленых копий объектов;

• 3.    устранение наложения RGB-копий (малиновых и желтых объектов).

Работа выполнена при поддержке Российского фонда фундаментальных исследований (РФФИ) (гранты № 07-07-97603-р-офи, № 07-07-97610-р-офи), Министерства образования и науки РФ в рамках программы «Развитие научного потенциала высшей школы (2006-2008 годы)», в рамках российско-американской программы "Фундаментальные исследования и высшее образование" (CRDF Project RUX0-014-SA-06).