Обнаружение динамических текстур по видеопоследовательностям в условиях недостаточной освещенности

Введение. Качество работы любого алгоритма компьютерного зрения падает вследствие наличия шумов, вносимых сложными погодными условиями, а также связанных с недостаточной освещенностью. Так, в работе [1] показано, что при наличии атмосферных осадков точность работы алгоритма верификации областей задымления падает на 10–15 %. Время суток существенно влияет на особенности отображения искомого объекта на видеопоследовательности. Уровень освещенности объектов на изображении является одним из основных аспектов, влияющих на качество работы алгоритмов компьютерного зрения, так как правильно различать предметы, например в сумерках при смене времени суток, бывает сложно даже человеку. Например, в работе [2] показано влияние времени суток на качество работы системы видеонаблюдения по обнаружению стоп-линий на регулируемых перекрестках, при этом количество ложных срабатываний зависело от полосы движения, времени суток, солнечной или пасмурной погоды, среднее количество ложных срабатываний варьировалось от 2 до 36 %. Для распознавания лиц при изменяющемся освещении предлагается алгоритм, основанный на представлении исходного изображения в виде матрицы изменения яркостей, что позволяет добиться устойчивости относительно изменений условий освещенности [3]. Снижение качества распознавания из-за изменений условий освещенности было описано в работах [4–9].

За последние годы было предложено множество алгоритмов по способам компенсации недостаточной освещенности, в которых можно выделить три основных подхода [10]:

• 1.    Методы, напрямую моделирующие освещение (построение конусов освещения).

• 2.    Методы, основой которых является представление изображения, нечувствительного к изменению освещенности (операторы Собеля, Робетса, Прюита, метод Канни, вейвлеты Габора).

• 3.    Методы, нормализующие освещенность (методы фильтрации, устранение шумов, методы коррекции).

Для компенсации недостаточной освещенности съемки в работе использованы методы повышения качества изображения, нормализующие освещенность.

Особенности динамических текстур. Обнаружение динамических текстур в настоящее время находит широкое применение в системах видеонаблюдения как на городских территориях, так и при наблюдении за природными объектами. Целями поиска динамических текстур на видеоизображениях могут являться экологический мониторинг, обеспечение безопасности, контроль. К динамическим текстурам относят дым и пламя, воду, группу птиц, листья, облака, толпу людей и др. Динамическая текстура может рассматриваться как расширение статической текстуры, дополнительно содержащей элементы движения. Динамические текстуры – очень широкий, но слабоизучен-ный тип текстур, который используется во многих задачах компьютерного зрения. Динамические текстуры могут иметь стохастическую и регулярную составляющую [11]. К характеристикам динамических текстур можно отнести следующие [12]:

• –    большое разнообразие форм;

• –    пространственные и временные закономерности;

• –    большой объем исходных данных;

• –    малое количество предопределенных структур.

Вероятностными особенностями динамических текстур являются размер, ориентация в пространстве, формы и расположение составных частей объекта на видеоизображении. Методы анализа динамических текстур зависят от искомого объекта и разделяются на следующие категории:

• 1.    Методы, основанные на нахождении движения. Это наиболее популярная категория методов, так как движение – естественное свойство динамических текстур.

• 2.    Пространственно-временная фильтрация и методы, основанные на преобразованиях. Эта группа методов описывает динамические текстуры в различных масштабах в пространстве и времени. К ней относятся, например, вейвлет-преобразования.

• 3.    Методы, основанные на построении математических моделей, таких как генеративные (порождающие) модели (например, линейные динамические системы). Генеративные модели могут быть использованы для синтеза, сегментации и классификации.

• 4.    Методы, основанные на геометрических пространственно-временных свойствах. Эта группа методов базируется на свойствах движущихся поверхностей. На основе характеристик поверхности возможно выявить особенности движения и определить внешний вид исследуемой текстуры.

Для обнаружения динамических текстур часто используется анализ беспорядка областей. Сложность вариаций контура может быть оценена с помощью фрактальной размерности. Например, фрактальная размерность, описывающая стохастическое поведение каждого набора пикселов, может быть оценена с помощью четырех мер: интенсивности пиксела µI, выражение (1), временного градиента яркости µB, выражение (2), нормального потока µF, выражение (3) и лапласиана µL, выражение (4) [13]:

H I ( p 0 , t 0 ) =     ff     I ( p , t ) dpdt ,               (1)

B ( p ₀, t ₀, r_s , r_t )

где I ( p , t ) – значение интенсивности пиксела p в видеопоследовательности изображений градации серого, t = 1, 2, …, N ; выражение B ( p ₀, t ₀, r_s , r_t ) определяет 3D-куб с центром в точке ( p _0, t ₀), с пространственным радиусом r_s и временным радиусом r_t. Таким образом, определяемая по выражению (1) мера ц I ( p 0 , t 0 ) показывает общую интенсивность в пространственновременной области для соседей точки ( p 0 , t 0 ). Временной градиент яркости рассчитывается следующим образом:

H в ( Р о , t 0 ) =      J    ^' p ' t ' dP ,           (2)

о 1

B ( p ₀, t ₀, r_s )

где B ( p ₀, t ₀, r_s ) – пространственный квадрат с центром в точке ( p ₀, t ₀), с пространственным радиусом r_s (таким же, как и у меры µ I ). Эта мера показывает изменение суммарной временной интенсивности динамической текстуры вокруг точки ( p 0 , t 0 ). Для вычисления нормального потока используется формула (3), показывающая измерение перемещения пикселов вдоль направления, перпендикулярного градиенту яркости:

д I ( P , t V

H F ⁽ p 0 , ¹ 0 ) =      J               ''tdp .          ⁽³⁾

в ( p 0 1 0 , r s ) Г ^{1 ( p} )|l

Лапласиан, также используемый в качестве меры для динамического фрактального анализа, рассчитывается по формуле ц l (p 0,10) =    f    AI(p,1) dp.           (4)

B ( p ₀, t ₀, r_s )

В работе качество работы алгоритма компенсации недостаточной освещенности исследовано на примере сложной динамической текстуры – дыма. В настоящие время задача детектирования дыма на видеопоследовательности является актуальной вследствие сложности объекта исследования – произвольных форм, динамических и фрактальных свойств, вариаций внутри класса, а также из-за возникающих шумов на изображениях.

Компенсация условий недостаточной освещенности. Изображения, полученные при съемке в ночное время, как правило, обладают следующими особенностями [10]:

– ограниченный диапазон малых значений яркостей;

– низкая контрастность;

– присутствие аддитивного шума.

Следовательно, для компенсации недостаточной освещенности и повышения качества темных изображений необходимо расширить диапазон яркостей, увеличить среднюю яркость пикселов изображений, повысить контраст и избавиться от аддитивного шума.

Для компенсации недостаточной освещенности могут быть использованы методы гистограммной коррекции и усовершенствованные его формы (AHE, CLAHE, MAHE), спецификация, гомоморфный фильтр и др. В работе использован многомасштабный алгоритм «Ретинекс» (Multi Scale Retinex) [14]. Многомасштабный алгоритм «Ретинекс» основан на понятии цветопостоянства и представляется уравнением

R i ( x , y ) = C ( x , y ) ^x

^N                                           (5)

^xE W i ( log [ I i ⁽ x , У ^)] - log [ I i ⁽ x , У ) ' ^{F (} x , У ^)] ) . i = 1

Для подавления шума на изображениях, как правило, применяют низкочастотные фильтры. К таким фильтрам относятся линейные усредняющие, нелинейные усредняющие, ранговые, полиномиальные. Наиболее эффективными фильтрами устранения аддитивного шума являются линейные усредняющие фильтры [15], основанные на операции линейной свертки, вычисляемой согласно формуле

( m - 1)/2 ( n - 1)/2

G ,, = Z Z W - V E_v , . >,( , + . ) ,       (6)

s = ( m - 1)/2 1 = ( t - 1)/2

где [ G i , j ] – элемент матрицы изображения после фильтрации; [ W s , t ] – элемент массива ядра свертки изображения, имеющий размеры m × n ; [ E i , j ] – элемент матрицы исходного изображения.

Основными моделями аддитивного шума являются шум Гаусса, Релея, Эрланга, экспоненциальный, белый и шум квантования. Шум Гаусса, или нормальный шум, образуется в собственных электрических цепях цифровых аппаратов и в фотосенсорах при недостаточной освещенности и сильных перепадах температур. Для устранения такого шума используется фильтр Гаусса, характерный фильтр размытия изображения, который использует нормальное распределение для вычисления преобразования, применяемого к каждому пикселу изображения. Распределения Гаусса в N измерениях имеет вид

G ( r ) =

(2 kg ²) N ^/2

e - r ²/(2 g ²)

или, в частном случае, для двух измерений:

G ( u , v ) =

1 e -( u ² + - ² ) / ( 2 - 2 ) 2 nG 2

где r – это радиус размытия, r ² = u ² + v ²; σ – стандартное отклонение распределения Гаусса. В случае двух измерений эта формула задает поверхность, имеющую вид концентрических окружностей с распределением Гаусса от центральной точки. Пикселы, где распределение отлично от нуля, используются для построения матрицы свертки, которая применяется к исходному изображению. Значение каждого пиксела становится средневзвешенным для окрестности. Исходное значение пиксела принимает наибольший вес (имеет наивысшее гауссово значение), и соседние пикселы принимают меньшие веса в зависимости от расстояния до них.

Импульсный шум возникает в результате ошибок декодирования, в процессе передачи фото- и видеоизображений вследствие электромагнитных наводок на канал передачи, а также в результате ошибок записи на устройствах хранения. Он характеризуется появлением случайных белых и черных точек. Наиболее эффективными фильтрами для подавления импульсного шума являются усредняющие фильтры, а именно, медианная фильтрация, которая позволяет сохранить четкость деталей изображения. Медианные фильтры основаны на том, чтобы избавиться от резко отличающихся от других значений яркости пикселов, заменяя их значениями медианы яркости окрестности согласно выражению

G i,j = med[ E i + s,_{J +} t ;( s , t ) e W ]; i , j e Z 2 , (9)

где [ G_{i ,} j ] – элемент матрицы изображения после фильтрации; [ W_{s , t} ] – элемент массива апертуры изображения, имеющий размеры m × n ; [ E i , j ] – элемент матрицы исходного изображения.

Медианный фильтр и фильтр Гаусса не только удаляют шум, но и «размывают» мелкие детали изображений посредством удаления высоких частот, поэтому в качестве способа постобработки целесообразно для повышения резкости использовать фильтр Лапласа. Дискретный лапласиан определяется как сумма вторых производных, а вычисляется как линейная аппроксимация суммы перепадов на соседних пикселах относительно центрального пиксела:

[ f ⁽ x ⁺ 1, y ) ⁺ f ⁽ x ^- 1, y ) ^{- 2} f ⁽ x , y ) ] ⁺

⁺ [ f ⁽ x , y ⁺ 1) ⁺ f ⁽ x , y - 1) - ² f ⁽ x , y ) ] =      (10)

= f ⁽ x ⁺ 1, y ) ⁺ f ⁽ x - 1, y ) ⁺ f ⁽ x , y ⁺ 1) ⁺

⁺ f ⁽ x , y - 1) - ⁴ f ⁽ x , y).

Таким образом, маска фильтра, используемого для реализации дискретного лапласиана, задается матрицей (11):

1 - 4

Для повышения резкости изображения с помощью лапласиана необходимо вычесть из исходного изображения лапласиан. Итоговая маска задается матрицей (12):

0 - 1

- 1

- 1

0 - 1

Таким образом, работа алгоритма компенсации пониженной освещенности выполняется следующим образом:

• 1.    Расширение динамического диапазона видеоизображения и увеличение контрастности с помощью многомасштабного алгоритма «Ретинекс» с реставрацией цвета (Multi Scale Retinex with Color Restoration).

• 2.    Подавление аддитивного шума с использованием фильтра Гаусса.

• 3.    Подавление импульсного шума применением медианного фильтра.

• 4.    Повышение резкости изображения с помощью фильтра Лапласа.

Блок-схема алгоритма компенсации недостаточной освещенности показана на рисунке.

Экспериментальные исследования. Для оценки качества работы алгоритма компенсации недостаточной освещенности использована система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов [16]. Дым как динамическая текстура обладает следующими особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ распространения. К основным признакам визуального обнаружения дыма можно отнести цвет, форму, движение, текстуру, прозрачность. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких классификаторов. Для детектирования дыма на видеоизображении в системе обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов используется комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний.

Для проведения экспериментальных исследований использованы 5 видеопоследовательностей из известных тестовых наборов данных [17–20] и одна видеопоследовательность, снятая самостоятельно [21]. На видеопоследовательности, снятой самостоятельно, низкая освещенность была получена естественным образом. Для получения изображений, имитирующих условия недостаточной освещенности съемки, были последовательно применены гамма-коррекция (γ = 1,9), а также изображения были зашумлены аддитивным гауссовым шумом ( m = 0, σ² = 0,2, 0,5) и импульсным шумом с плотностью ρ = 0,1, 0,2. Кадры использованных видеопоследовательностей, а также результат компенсации низкой освещенности показаны в табл. 1.

Результаты обнаружения дыма по видеопоследовательностям на открытых пространствах показаны в табл. 2. Результаты приведены для изображений, полученных при нормальной освещенности, в условиях шума (ночной съемки для самостоятельно полученной видеопоследовательности) и при компенсации влияния недостаточной освещенности. Оценивание выполнялось с помощью следующих характеристик: True Recognition (TR), % – точность распознавания, False Rejection Rate (FRR), % – ошибка первого рода, False Acceptance Rate (FAR), % – ошибка второго рода.

Точность обнаружения дыма в условиях недостаточной освещенности по сравнению с исходным изображением в среднем ниже на 28–30 %, при этом значительно увеличивается число ошибок первого рода и число ложных срабатываний до 34,2 и 27,4 % соответственно. На изображениях, улучшенных с помощью предложенного алгоритма компенсации недостаточной освещенности, точность обнаружения существенно возрастает и составляет 94,41 %, что ниже точности обнаружения дыма относительно исходного изображения всего на 2,3 %. Таким образом, экспериментальные исследования подтверждают эффективность предложенных методов и алгоритмов компенсации недостаточной освещенности при анализе динамических текстур (на примере обнаружения дыма на видеопоследовательностях).

Блок-схема алгоритма компенсации низкой освещенности

Flow chart of compensation algorithm of low light conditions

Примеры кадров использованных видеопоследовательностей

Таблица 1

Исходное изображение Зашумленное изображение Улучшенное изображение

Video smoke detection / dry_leaf, кадр 1155 (URL: /~yfn/, разрешение, пикселы: 320×240, количество кадров: 1,2000

Wildfilmsindia/ Smoke billows from the chimney of a brick factory, кадр 122

(URL: watch?v=-TUbP5ENr8w), разрешение, пикселы: 1280×720, количество кадров: 1711

Окончание табл. 1

Исходное изображение	Зашумленное изображение	Улучшенное изображение
	–	ж

Таблица 2

Результаты обнаружения дыма по видеопоследовательностям в различных условиях освещенности

Видеопоследовательность	Исходное изображение			Зашумленное изображение			Улучшенное изображение
	TR	FRR	FAR	TR	FRR	FAR	TR	FRR	FAR
Video smoke detection / dry_leaf	100,0	0,00	2,07	74,12	25,88	17,21	97,98	2,02	4,12
Wildfilmsindia/ Smoke billows from the chimney of a brick factory	100,0	0,00	1,63	82,14	17,86	16,25	98,74	1,26	2,52
V-MOTE/DV_004	97,69	2,31	2,87	72,19	27,81	31,21	96,12	3,88	4,12
Bilkent/DumanTest5	90,65	8,25	7,14	53,11	46,89	30,28	88,41	11,59	10,0
Bilkent/SmokeManavgatRaw	96,88	1,53	14,2	52,14	47,86	40,42	94,32	5,68	15,2
Youtube/firenight	–	–	–	61,21	38,79	29,12	90,88	9,12	4,01
Среднее значение	97,04	2,42	5,58	65,82	34,18	27,42	94,41	5,59	6,66

Заключение. В работе показано, что изображения, полученные в реальных условиях съемки при недостаточном освещении, обладают ограниченным диапазоном малых значений яркостей, низкой контрастностью и наличием аддитивного шума. Для борьбы с влиянием недостаточной освещенности на качество изображения использован многомасштабный алгоритм «Ретинекс» с цветовой коррекцией, применены фильтры Гаусса, Лапласа и медианный фильтр. Качество обнаружения динамических текстур на видеоизображениях исследовано на примере дыма. Экспериментальные исследования подтверждают эффективность предложенного алгоритма компенсации недостаточной освещенности.