Обнаружение пламени и дыма по видеоданным

На видеоизображении дым и пламя представляют собой динамические текстуры с пространственными и временными свойствами. Ко временным свойствам дыма и пламени можно отнести наличие движения и анализ временных границ, причем дым движется медленнее пламени. Пространственными особенностями дыма и пламени на видеоизображениях являются цвет, прозрачность, фрактальность (турбулентность), мерцание. Задачей алгоритма обнаружения пожара служит минимизация ложноотрицательных срабатываний, т.е. пропуска цели.

Существующие алгоритмы обнаружения дыма и пламени можно классифицировать следующим образом:

• -    обнаружение дыма и пламени на основе гистограмм, когда используются статистические характеристики для оценки вероятности наличия дыма и пламени [1];

• -    временной анализ областей - кандидатов в дым или пламя, в которых задается последовательность кадров, далее применяются алгоритмы слежения, модели глобального движения [2], вейвлет-преобразования [3] и другие для нахождения временных характеристик;

• -    детектирование пожара с применением эвристических правил, например по хроматической компоненте и диффузному распространению дыма [4];

• ^-    гибридный подход, основанный ^на пространственно-временном анализе, объединяющем преимущества различных алгоритмов. Так, например, в работе [5] предложен гибридный метод, сочетающий цветовой и контурный анализ, эффекты мерцания и анализ движения.

Обнаружение дыма

В настоящей работе алгоритм обнаружения дыма основан на выделении пространственновременных признаков дыма и учета его текстурных особенностей.

На первом этапе выполняется предварительная сегментация областей-кандидатов дыма. Для этого использован алгоритм сопоставления блоков (block-matching algorithm). В качестве критерия, оценивающего степень соответствия между блоком текущего кадра и блоком предыдущего кадра, используется сумма абсолютных разностей яркостей пикселов (Sum of Absolute Differences, SAD ):

SAD = Z z ₆ PiN z ) — I i - i ( z ),                                             (1)

где Pix - количество пикселов блока; Ii(z) и Ii-1 (z) - яркости пиксела в текущем и предыдущем кадрах в точке t(x,y). Возможно использование и других критериев оценки межкадровой разницы между блоками: сумма квадратов разностей (Sum of Squared Differences, SSD) или среднее квадратов разностей (Mean of Squared Differences, MSD). При этом для сцен дальнего и ближнего плана параметры алгоритма выделения регионов-кандидатов существенно различаются. Определение глубины для разделения на сцены ближнего и дальнего плана выполнено с использованием случайного марковского поля. На первом этапе выполняется сегментация с помощью алгоритма сдвига среднего значения, затем строится карта светопередачи с использованием модели случайного марковского поля [6-8]. Для сцен с большой глубиной при детектировании дыма следует пропускать один или два кадра и размер блока должен быть меньше, – 544 – так как искомый объект, дым, может занимать малую часть кадра. Для сцен с малой глубиной, как правило, нужно искать движение без пропуска кадров видеопоследовательности и с большим размером блока.

Далее для областей изображения, в которых выделено движение, применяются маски: цветовая и турбулентности. Наблюдения показывают, что цвет дыма изменяется от бело-голубого до белого, когда температура дыма низкая, и от черно-серого до черного, когда температура возрастает. Следовательно, области цвета дыма могут быть определены путем установки пороговых значений в цветовом пространстве RGB . Для всех движущихся блоков вычисляется соотношение (2), в котором области цвета дыма отсекаются по порогу T (для дыма лесного пожара характерно значение цветового порога T=10-15, пожар на городских территориях имеет ^{значение} T=25 )[9]:

'I r - G < т

«| G - B <  T . (2) J I <

Примерно такой же результат сегментации можно получить, перейдя из RGB-пространства в YUV-пространство и анализируя компоненту Y. Характерной чертой областей дыма является наличие завихрений, для мгновенной оценки которых может служить функция турбулентности [10]:

Pr( t )

^{u (} t) = , ^{(3) 2} n A (t )

^где Pr^(t )^- периметр^{области дыма;} A^(t ) - ^{ее площад}ь.^Таким образом,^{чем больше значение} отношения периметра к площади, тем выше турбулентность исследуемой области, тем более такая область похожа на дым.

Классификация полученных на предыдущем этапе регионов-кандидатов выполняется с помощью машины опорных векторов (Support Vector Machine – SVM ), для верификации таких областей применяются пространственно-временные локальные бинарные шаблоны [11].

Обнаружение пламени

Алгоритм обнаружения пламени основан на нахождении движения на видеоряде и выделении хроматических характеристик с последующим анализом динамических свойств.

Для поиска движения на видеоизображениях использована функция получения модели фона Background Subtraction библиотеки компьютерного зрения OpenCV [12]. Эта функция представляет собой алгоритм смеси гауссовых распределений. Модель гауссовых смесей – это взвешенная сумма M компонент:

p ( x ^ ) = f> b X x ), (4) i = 1

где x - D -мерный вектор случайных величин; b i ( x ) - функции плотности распределения составляющих модели; p i , i =1,... M - веса компонентов модели. Параметр Л рассчитывается по формуле

A Цр , M i , TpM x ) k                                      (5)

I              i = 1               J

Каждый компонент является D -мерной гауссовой функцией распределения. После выявления движения по осям x и у находятся самые крайние обнаруженные пикселы, и по их координатам строится прямоугольник, выделяющий область пламени.

Цвет пламени зависит от многих факторов. Во-первых, это может быть химический состав горящего объекта, при горении которого могут меняться оттенки пламени. Во-вторых, большое влияние оказывает насыщенность воздуха различными газами, например кислородом. Также на цвет пламени может влиять его температура [13].

Для поиска среди движущихся областей цвета пламени использована комбинация цветовых пространств RGB и HSV по следующим правилам:

R> G ^ B’

,(7)

S ^ (255- R)х ST / RT.(8)

В выражениях (6)-(8) параметр RT обозначает пороговое значение канала R, S представляет собой значение насыщенности пиксела, а ST соответствует насыщенности, когда значение R соответствует знанию параметра RT для того же пиксела. Правила (6) и (7) показывают, что значение канала R больше по сравнению с другими объектами.

Как известно, горение огня – это весьма динамичный процесс. Языки пламени регулярно меняют свою форму и направление, поэтому такие процессы легко можно обнаружить. Анализ динамических свойств пламени регионов-кандидатов выполняется путем проверки изменения размера прямоугольного блока. Выполняется учет изменения размера блока из текущего и предыдущего кадров:

sd =s1/s2,                                                                        (9)

где s 1 – размер блока-кандидата предыдущего кадра; s 2 – размер блока текущего кадра.

Для верификации полученных на предыдущем этапе областей-кандидатов огня выполняется проверка геометрии пламени, обусловленной процессом образования ионов при горении, учитывается следующим образом:

circularity = sx (4nxs/p), squareness = s/(xxy), aspectRatio = sx (min(x, y)/max(x, y)), roughness = s*(P1/P),(13)

где s – площадь области-кандидата; P – периметр области-кандидата; x и y – ширина и высота области-кандидата; P 1 – периметр изображения. Дополнительно проверяется частота кадров исходного видео по сравнению с частотой кадров выделенных областей:

fr = FPS/MAXS *C ,                                                 (14)

где MAXS - максимальный размер блока среди всех кадров видеопоследовательности; C - количество изменений максимально размера блока; FPS - частота кадров видеопоследовательности. Сравнение частоты кадров и частоты изменения блока области-кандидата позволяет подтвердить наличие движения на видеопоследовательности, так как каждое такое изменение означает смещение пламени. Классификация регионов-кандидатов, как и для дыма, выполнена с использованием метода опорных векторов.

Комбинированный алгоритм обнаружения пожара

Алгоритм обнаружения возгорания, таким образом, состоит из следующих шагов:

• 1.    Проводится предварительная сегментация областей-кандидатов с учетом хроматических особенностей дыма и пламени.

• 2.    Для областей, на которых выделено движение, выполняется наложение масок дыма и пламени. Для дыма такая маска состоит в учете его турбулентных особенностей, для пламени – в учете динамических свойств.

• 3.    Верификация выделенных областей-кандидатов для дыма происходит на основе пространственно-временных локальных бинарных шаблонов, для пламени выполняется проверка мерцания и учет геометрии.

• 4.    Классификация регионов-кандидатов на классы «дым» - «отсутствие дыма» и «пламя» – «отсутствие пламени» выполняется с помощью машины опорных векторов. При этом обучающая выборка составила 80 %, тестовая – 20 % от общей выборки примеров.

Указанные шаги комбинированного алгоритма обнаружения возгорания выполняются параллельно, и, если хотя бы один объект «пламя» или «дым» найден на видеоизображении, пожар считается обнаруженным.

Экспериментальные исследования

Для проведения экспериментальных исследований использованы видеопоследовательности из баз данных Bilkent [14] и Dyntex [15], а также видеопоследовательности с реальных камер видеонаблюдения, загруженные с сервера Youtube [16]. Дополнительно для повышения представительности тестового набора видеороликов использованы видеоданные с пламенем и дымом, снятые в ночное время суток. Тестовые видеопоследовательности содержали пламя и (или) дым или не содержали объектов пожара. Кадры некоторых использованных видеороликов и их свойства приведены в табл. 1.

Кадры видеопоследовательностей с камер видеонаблюдения с данными ночной съемки приведены на рис. 1.

Целью экспериментальных исследований было обнаружение возгорания и минимизация ложноотрицательных срабатываний. Возгорание считалось обнаруженным, если хотя бы один искомый объект «дым» или «пламя» найден на видео. Для оценки качества работы комбинированного алгоритма обнаружения пожара использованы показатели TR – true reсognition, FRR – false rate rejection и FAR – false alert rejection. Показатель TR (точность обнаружения) рассчитывается как отношение кадров, в которых пламя или дым обнаружены правильно к кадрам, в которых они пропущены. Ошибка FRR показывает ложноотрицательное срабатывание, – 547 –

Таблица 1. Кадры тестовых видеопоследовательностей

Table 1. Frames of video sequences

Описание тестовой видеопоследовательности	Образец кадра	Описание тестовой видеопоследовательности	Образец кадра
Bilkent\fBackYardFile, кадр 334 Разрешение, пикселы: 320х240 Количество кадров: 1,251 Объекты на видео: пламя		Bilkent\barbeq.avi, кадр 186 Разрешение, пикселы: 320х240 Количество кадров: 516 Объекты на видео: пламя
Bilkent\forest4.avi, кадр 113 Разрешение, пикселы: 400х256 Количество кадров: 251 Объекты на видео: пламя, дым		Dyntex\66ammj00.avi, кадр 158 Разрешение, пикселы: 720х576 Количество кадров: 227 Объекты на видео: пламя
Bilkent/sMoky, кадр 21 Разрешение, пикселы: 320х240 Количество кадров: 1 498 Объекты на видео: дым		Bilkent/sParkingLot, кадр 486 Разрешение, пикселы: 320х240 Количество кадров: 1 726 Объекты на видео: дым
Bilkent\sBehindtheFence. avi, кадр 254 Разрешение, пикселы: 320х240 Количество кадров: 675 Объекты на видео: дым		Bilkent\sWasteBasket.avi, кадр 137 Разрешение, пикселы: 320х240 Количество кадров: 963 Объекты на видео: дым
Dyntex\649h320.avi, кадр 120 Разрешение, пикселы: 720х576 Количество кадров: 206 Видео без дыма и пламени	^^^^^^^^^	Dyntex\648ab10, кадр 1 Разрешение, пикселы: 384×288 Количество кадров: 716 Видео без дыма и пламени	^
Dyntex\6489610.avi, кадр 47 Разрешение, пикселы: 720х576 Количество кадров: 201 Видео без дыма и пламени	W«	Bilkent\C a r Counting.avi, кадр 46 Разрешение, пикселы: 320х240 Количество кадров: 384 Видео без дыма и пламени	л™„ ' ЛА

FAR – ложноположительное. Общая выборка видеоизображений (кадров видеопоследовательностей) включает в себя 44 406 примеров. Количество кадров для видеопоследовательностей с пламенем составило 4031, без пламени – 7119, пламя в ночное время – 5198, ночные видеоролики без пламени – 7286. Участвовавшие в экспериментальных исследованиях ролики с дымом содержали 11 018 кадров, без дыма – 9754 кадра. Общая продолжительность видеопоследовательностей составила около 40 минут.

В работе [17] исследованы различные параметры алгоритма выделения локальных регионов-кандидатов дыма. Такие параметры, как размер блока для расчета межкадро- – 548 –

Рис. 1. Данные с камер видеонаблюдения ночью: а – д – видеопоследовательности с пламенем и дымом; е – к – видеоролики без пламени и дыма

Fig. 1. Surveillance video cameras night data: а – д – smoke and flame; е – к – without smoke and flame

Рис. 2. Этапы работы алгоритма обнаружения дыма для видеопоследовательности https://www.youtube . com/watch?v=3fI3u9 49YQ (кадр 24) с параметрами алгоритма: Blk = 8, T = 25, Rate = 3: а – все движение в кадре; б – серое движение в кадре; в – расчет турбулентности; г – выделенный дым

Fig. 2. Video-based smoke detection results, video https://www.youtube.com/watch?v=3fI3u9_49YQ (frame 24) algorithm parameters: Blk = 8, T = 25, Rate = 3: а – all motion in flame; б – gray motion in flame; в – turbulence;

вой разницы Blk = {8, 15, 30} пикселов, значение цветового порога T = {10, 15, 20, 25}, задаваемое для выделения среди движущихся блоков-кандидатов цвета дыма, параметр Rate = {1, 2, 3}, показывают номер кадра, который следует учитывать для расчета движения относительно текущего кадра. На рис. 2-4 приведены примеры обнаружения дыма и пламени.

В табл. 2 приведены результаты экспериментальных исследований при обнаружении пламени. На использованных видеопоследовательностях присутствовали следующие объекты: дым, пламя, движущиеся люди, сложный динамический фон. При этом некоторые видеопоследовательности с пламенем, например ролики Bilkent\forest4.avi и Bilkent\forest5.avi, также содержали и дым. Если видеопоследовательность содержала только дым, она была отнесена к видеопоследовательностям без пламени.

Результаты экспериментальных исследований обнаружения дыма показаны в табл. 3. Как и при обнаружении пламени, экспериментальные видеоролики разделены на две группы: видеоролики, содержащие дым, и без него. При этом на роликах без дыма мог присутствовать огонь и другие объекты с динамическим поведением.

а

б

г

Рис. 3. Этапы работы алгоритма обнаружения дыма для видеопоследовательности http://dyntex.univ-lr.fr/ Dyntex/571b210 (кадр 56) с параметрами алгоритма: Blk = 15 , T = 20, Rate = 1 : а – все движение в кадре; б – серое движение в кадре; в – расчет турбулентности; г – выделенный дым

Fig. 3. Video-based smoke detection results, video http://dyntex.univ-lr.fr/Dyntex/571b210 (frame 56) algorithm parameters: Blk = 15, T = 20, Rate = 1: а – all motion in flame; б – gray motion in flame; в – turbulence; г – ,, smoke

а                      б                      в                      г

Рис. 4. Этапы работы алгоритма обнаружения пламени для видеопоследовательности http://signal . ee.bilkent.edu.tr/VisiFire/Demo/FireClips/Bilkent/barbeq (кадр 267): а – обработка оригинального видео; б – маска цвета пламени; в – поиск движения цвета пламени; г – выделенное пламя

Fig. 4. Video-based flame detection results, video http://signal.ee.bilkent.edu.tr/VisiFire/Demo/FireClips/Bilk-ent/barbeq (frame 267): а – original frame processing; б – flame-colored mask; в – flame-colored motion in flame; г – flame

Таблица 2. Результаты обнаружения пламени

Table 2. Flame detection results

Видеопоследовательность с пламенем	TR , %	FRR , %	FAR , %	Видеопоследовательность без пламени	FAR , %
				Bilkent\sEmptyR1.avi	0,65
				Bilkent\sEmptyR2.avi	2,74
Bilkent\fBackYardFile.avi	90,09	9,91	0,39	Bilkent\sParkingLot.avi	0,44
Bilkent\barbeq.avi	98,26	1,74	0,23	Dyntex\648ab10.avi	1,56
Bilkent\forest4.avi	93,63	6,37	0,41	Dyntex\6489610.avi	0,49
Bilkent\forest5.avi	95,12	4,88	3,65	Dyntex\649h320.avi	0,97
Bilkent\ForestFire1.avi	97,17	2,83	3,23	Bilkent\sBehindtheFence.avi	0,00
Bilkent\fire1.avi	97,6	2,4	2,21	Bilkent\sWasteBasket.avi	0,00
Bilkent\forest2.avi	96,7	3,3	1,46	Bilkent\sWindow.avi	1,61
Bilkent\controlled1.avi	89,45	10,55	4,45	Bilkent\sBtFence2.avi	0,57
Dyntex\6ammj00.avi	95,59	4,41	0,28	Bilkent\sMoky.avi	2,40
Dyntex\64cac10.avi	94,84	5,15	0,24	Bilkent\Car_Counting.avi	2,86
Средние значения	94,85	5,15	1,65	Среднее значение	1,19

Как показали экспериментальные исследования, средняя точность обнаружения дыма составила 98 %, пламени – 94,9 %. Такая точность обнаружения пожара при совместном поиске дыма и пламени по видеоданным позволит своевременно обнаружить пожар и избежать возможных потерь. Источниками ложных срабатываний комбинированного алгоритма обнаружения пожара служили люди, движущиеся автомобили, сложный динамический фон. Однако среднее число ложноположительных срабатываний достаточно низко: для дыма 5,5 %, для пламени 1,42 %, что является хорошим результатом.

Обнаружение пожара в ночных условиях может быть основано на детектировании пламени по видеоданным, так как дым практически не видим для алгоритмов анализа изображений в условиях недостаточной освещенности. Так, в работе [18] для компенсации недостаточной освещенности съемки при обнаружении дыма применяют многомасштабный алгоритм Ретинекс (Milti-Scale Retinex) с последующим использованием набора фильтров. Применение такого комплекса мер для обнаружения дыма в условиях недостаточной освещенности обусловлено тем, что точность обнаружения дыма в ночных условиях съемки существенно падает – до 62 %, а количество ложных тревог возрастает до 40 %. Представленный в настоящей работе комбинированный алгоритм обнаружения пожара позволяет обнаружить огонь и в ночное время съемки. Таким образом, при применении комбинированного алгоритма обнаружения пожара на основе параллельного поиска и огня и дыма даже в ночных условиях съемки представляется возможным обнаружить пожар с высокой степенью достоверности. Так, в табл. 4 приведены результаты экспериментальных исследований обнаружения огня по данным с реальных камер видеонаблюдения, полученных ночью. Источникам ложных срабатываний в данном случае являлись объекты цвета пламени, например автомобильные фары, керосиновая лампа, горящие уличные фонари (при движении камеры) и пр.

Таблица 3. Результаты обнаружения дыма

Table 3. Smoke detection results

Видеопоследовательность с дымом	TR , %	FRR , %	FAR , %	Видеопоследовательность без дыма	FAR , %
Bilkent\forest4.avi	99,5	0,05	1,25	Bilkent\fBackYardFile	1,23
Bilkent\sBehindtheFence.avi	96,2	3,81	3,24	Dyntex\66ammj00.avi	0,00
Bilkent\sWasteBasket.avi	100,0	0,00	0,00	Dyntex\649h320.avi	8,24
www.youtube.com\ watch?v=3fI3u9_49YQ	98,26	1,74	9,9	Dyntex\6489610.avi	5,42
Bilkent\sParkingLot.avi	98,46	1,53	33,28	Dyntex\648ab10	0,12
Bilkent\sWindow.avi	90,65	9,35	9,80	Bilkent\Car_Counting.avi	7,21
Bilkent\sBtFence2.avi	100,0	0,00	1,25	Dyntex\571b210	0,00
Bilkent\sMoky.avi	100,0	0,00	0,00	Bilkent\Car_lights	8,45
Dyntex\649ge10	100,0	0,00	3,10	Dyntex\54pa410	3,20
Bilkent\ISYAM	96,88	3,13	10,62	Dyntex\64ad210	4,38
Средние значения	98,0	1,96	7,24	Средние значения	3,83

Таблица 4. Результаты обнаружения пламени в ночных условиях съемки

Table 4. Flame detection results at night video

Видеопоследовательность с пламенем	TR , %	FRR , %	FAR , %	Видеопоследовательность без пламени	FAR , %
www.youtube.com/watch?v= tK7B5gIlmL4 (рис. 1 а )	82,71	17,29	2,05	www.youtube.com/ watch?v=kNOGqQ_szq4 (рис. 1 е )	5,71
www.youtube.com/watch?v= rETOYCzD_i8 (рис. 1б )	96,13	3,87	0,47	www.youtube.com/watch?v=CQ_ ek2lvxuw (рис. 1 ж )	8,94
www.youtube.com/watch?v=_ W5GxLO1U4U (рис. 1 в )	83,86	16,14	0,56	www.youtube.com/ watch?v=iEo4rTGTo8o (рис. 1 з )	3,91
www.youtube.com/watch?v= Pxu0gbMNDWQ (рис. 1 г )	92,31	7,69	1,43	www.youtube.com/watch?v=hk_ gYUNEI0A (рис. 1 и )	4,23
www.youtube.com/watch?v= OZhP5UqguxQ (рис. 1 д )	94,19	5,81	1,52	www.youtube.com/ watch?v=ekjt4LH89nk (рис. 1 к )	1,08
Средние значения	89,84	10,16	1,21	Среднее значение	4,77

Среднее значение точности обнаружения огня в ночных условиях составляет около 89 %, что всего на 9 % ниже средней точности обнаружения огня по видеоданным в дневных условиях. При этом ошибка ложного срабатывания составляет 2,99 %.

Заключение

В работе предложен комбинированный алгоритм обнаружения дыма и пламени по видеоданным, полученным на открытых пространствах. Проверка видеопоследовательностей на наличие возгорания выполняется параллельно для двух объектов: дыма и пламени. Такой комбинированный способ обнаружения пожара позволяет определить возгорание на максимально ранних стадиях и предотвратить возможные экономические потери и человеческие жертвы. В основе алгоритма обнаружения пожара лежит анализ движения, динамических свойств и цвета пламени и дыма.

Обнаружение дыма производится в несколько этапов. На начальном этапе выполняется определение глубины сцены для настройки параметров выделения регионов-кандидатов на дым, так как для сцен с малой и существенной глубиной эти параметры значительно отличаются. Далее с помощью метода сопоставления блоков производится поиск движения с последующим применением цветовой маски и учетом турбулентности. Классификация регионов-кандидатов выполнена с помощью машины опорных векторов. Для верификации использованы пространственно-временные локальные бинарные шаблоны.

Автоматический алгоритм обнаружения пламени основан на выделении движения с использованием функции Background Subtractor библиотеки компьютерного зрения OpenCV, хроматическом анализе движущихся областей, анализе динамических свойств пламени, его геометрии и мерцании. Для верификации полученных областей-кандидатов пламени проверяется частота кадров исходного видео по сравнению с частотой кадров выделенных областей. В качестве классификатора, как и для дыма, использована машина опорных векторов.

При проведении экспериментальных исследований на видеопоследовательностях, содержащих пламя и дым, среднее значение точности обнаружения дыма составило 98 %, пламени – 94,9 %. Ложноположительные срабатывания при обнаружении дыма и пламени в среднем равнялись 3,46 %. Особенностью работы является применение реальных данных с камер видеонаблюдения на открытых пространствах, а также экспериментальные исследования с пожарами, снятыми в ночное время в условиях недостаточной освещенности. Таким образом, экспериментальные исследования подтверждают эффективность предложенного алгоритма обнаружения пламени и дыма по видеопоследовательностям.