Применение плотных траекторий движения к задаче обнаружения нехарактерного поведения на видеоизображении

Видеонаблюдение приобретает все большее значение, предоставляя важную информацию для охраны правопорядка как в общественных местах, так и на частных территориях. За последние годы множество алгоритмов для обнаружения конкретных нештатных ситуаций было предложено и реализовано на основе строгих правил [1, 2]. Данные алгоритмы позволяют с высокой надежностью обнаруживать заранее известные типы нештатных ситуаций, но их модификация для обнаружения иного типа аномалий нетривиальна. Для устранения этого недостатка было предложено несколько статистических подходов к задаче видеонаблюдения.

Одним из подходов является распознавание событий на основе статистических методов классификации. Успехи в области распознавания событий на видеоизображениях показали эффективность использования плотных траекторий движения в качестве признаков [3]. Тем не менее, для успешной классификации необходимы примеры всех интересующих типов поведения, что затрудняет применение предложенных методов к задаче видеонаблюдения, где потенциально опасные ситуации возникают достаточно редко.

Другим подходом к задаче является обнаружение нехарактерного поведения как отклонения от модели, сформированной на основе примеров нормального поведения. В различных областях применения было предложено множество статистических методов для обнаружения подобных аномалий [4]. Одним из распространенных подходов к обнаружению аномалий является оценка характерных взаимозависимостей между признаками с помощью метода главных компонент [5]. В рамках данного подхода предложено множество методов обнаружения аномалий среди выборки признаков путем анализа характеристик главных компонент для неё. Недостатком данных методов является вычисление главных компонент после каждого нового кадра, что обладает высокой вычислительной сложностью при обработке больших объемов данных.

Для устранения этого недостатка ранее был предложен метод для обнаружения нехарактерного поведения в задачах видеонаблюдения на основе главных компонент [6]. В данном методе главные компоненты вычисляются только на этапе обучения, а во время работы производится вычислительно более простая операция проецирования векторов. Тестирование алгоритма показало, что использованию его в реальном времени препятствует низкая скорость вычисления невязок, обусловленная большой размерностью векторов характеристик поведения.

В данной работе предложены алгоритмы обнаружения нехарактерного поведения на основе характеристик плотных траекторий движения и проведено сравнение показателей точности и быстродействия с ранее предложенным алгоритмом [6]. Основным различием между алгоритмами являются извлекаемые характеристики поведения.

1.    Метод

Рассмотренные алгоритмы обнаружения нехарактерного поведения на видеоизображениях состоят из следующих этапов.

Извлечение признаков поведения

В качестве признаков поведения часто используются траектории движения некоторых объектов или особенностей видеоизображения [1]. Модификацией данного подхода являются плотные траектории движения [3], которые представляют собой результат отслеживания пикселей в узлах прямоугольной сетки, покрывающей всю область видеоизображения. Метод вычисления характеристик плотных траекторий движения заключается в следующем. Для инвариантности к масштабу используется пирамида из нескольких копий видеоизображения, где размеры каждого следующего уровня меньше размеров предыдущего в заданное количество раз. Для каждого изображения из пирамиды с одинаковым шагом задается прямоугольная сетка, пиксели в узлах которой отслеживаются при условии отсутствия проблемы апертуры в их окрестности. Для каждого уровня производится оцен- ка оптического потока методом Фарнебака, на основе которой вычисляются дальнейшие положения пикселей. Каждый пиксель отслеживается заданное количество кадров, после чего извлекаются характеристики его траектории движения и заново рассматривается возможность отслеживания пикселя в исходном узле сетки. Для описания траектории движения используются следующие характеристики:

• 1)    характеристика формы траектории ( Trajectory

Shape Descriptor , TSD);

• 2)    гистограммы направленного градиента ( Histogram of Oriented Gradients , HOG) в области вдоль траектории;

• 3)    гистограммы оптического потока ( Histogram of Optical Flow , HOF) в области вдоль траектории.

Для объединения набора однородных характеристик траекторий на заданном промежутке видеопоследовательности в признаки поведения используется модель «мешка признаков» [3], суть которой заключается в следующем. На этапе обучения пространство характеристик разбивается на фиксированное количество областей, чьи центры определяются методом k-средних на основе некоторой выборки характеристик траекторий. На этапе извлечения каждой характеристике сопоставляется область с ближайшим центром и вычисляется гистограмма распределения характеристик по областям. В качестве признаков поведения может использоваться как гистограмма для отдельной характеристики плотных траекторий движения, так и вектор, состоящий из значений гистограмм для нескольких характеристик.

В работе [3] исследовано применение характеристик плотных траекторий движений для классификации действий на видеоизображении, но задача обнаружения нехарактерного поведения обладает рядом принципиальных отличий. Во-первых, в задаче видеонаблюдения временные рамки различных событий неизвестны заранее, что не позволяет разбить видеопоследовательность на фрагменты с одинаковым типом поведения, в пределах которых характеристики плотных траекторий объединяются в признаки поведения. Во-вторых, в задаче видеонаблюдения нештатные ситуации встречаются намного реже нормального поведения, что не позволяет составить репрезентативную выборку для обучения модели «мешка признаков». Отсутствие или недостаток примеров нештатного поведения при обучении модели может повлиять на разбиение пространства характеристик на области и привести к снижению вероятности обнаружения.

В данной работе предложены алгоритмы обнаружения нехарактерного поведения, которые решают эти проблемы следующим образом. Во-первых, вся видеопоследовательность разбивается на фрагменты заданной длительности, для которых производится извлечение характеристик плотных траекторий, объединение их в признаки поведения и обнаружение нехарактерного поведения. Во-вторых, для обучения модели «мешка признаков» составляется сбалансиро- ванная выборка с одинаковым количеством характеристик плотных траекторий для нормального и нештатного поведения путем равномерно случайного отбора. Для составления подобных выборок предложено множество методов [7, 8], среди которых используемый подход является одним из самых простых и не требует дополнительной модели характеристик плотных траекторий.

Для сравнения с результатами работы [6] использовался алгоритм, где признаками поведения служила последовательность длин векторов смещения, вычисляемая следующим образом. Для каждого кадра видеопоследовательности объекты отделяются от фона сцены с помощью самоорганизующейся искусственной нейронной сети, предложенной в работе [9]. Параметры сети были выбраны с помощью критерия качества выделения фона на основе морфологических операторов [10]. Для каждого пикселя, принадлежащего объекту, оценивается скорость движения с помощью пирамидального метода Лукаса-Канаде [11]. Для компенсации влияния перспективной проекции методом плоской гомографии [12] рассчитываются вектора смещения - проекции векторов оптического потока на плоскость пола. Пусть имеется изображение размером N х M и p ( x , y ) - вектор смещения для пикселя с координатами ( x, y ). Тогда выражение для вектора признаков F запишется в виде:

F = {| p (0,0)|,^| p (0, M )|,| p (1,0)|,^| p ( N , M ) } . (1)

Основным недостатком последовательности длин векторов смещения является большая размерность вектора признаков F , равная количеству пикселей на изображении. Размерность гистограмм характеристик плотных траекторий является свободным параметром, что позволяет для заданных размеров видеоизображения получить более короткие вектора признаков поведения с целью снижения вычислительной сложности последующих этапов алгоритма.

Обнаружение нехарактерного поведения

Для оценки аномальности поведения в сцене по векторам признаков применялся метод на основе главных компонент [6], суть которого заключается в следующем. На стадии обучения для всех примеров «нормального» поведения извлекаются вектора признаков и для получившегося набора векторов находятся главные компоненты. Во время работы текущий вектор признаков поведения проецируется на набор векторов главных компонент и обратно. В общем случае набор векторов главных компонент не является базисом и некоторая составляющая вектора теряется при проецировании. Далее эта составляющая называется вектором невязки, и на её основе предложено две оценки аномальности: относительная и максимальная невязка. Относительная невязка представляет собой отношение норм вектора невязки и норм вектора признаков поведения, а максимальная невязка - максимальное значение среди модулей компонент вектора невязки.

2.    Эксперимент

Работа алгоритмов с использованием разных признаков поведения была проверена как на видеозаписях лаборатории университета Калифорнии в СанДиего (UCSD) [13], так и на экспериментально полученных видео. Видеозапись «Работа и ремонт» была сделана в компьютерном классе ННГУ. На видео «Работа и ремонт» в качестве нормального поведения была взята работа за компьютером, а в качестве нештатного - манипуляции с задней панелью системного блока. Видеозапись лаборатории UCSD содержит пешеходную улицу, обычная ходьба по которой была взята за нормальное поведение, а проезд транспортных средств - за нештатное.

Алгоритмы на основе плотных траекторий движения разбивали видеопоследовательность на фрагменты по 15 кадров, для которых производилось извлечение признаков и обнаружение нехарактерного поведения. Для обучения модели «мешка признаков» сначала формировалась выборка характеристик плотных траекторий движения для всех примеров нормального и нештатного поведения из видео. Количество кадров, примеров и плотных траекторий для разных типов поведения на обеих видеозаписях приведено в табл. 1. Из табл. 1 видно, что для обоих видео количество отслеживаемых плотных траекторий для нормального поведения больше, в особенности для видеозаписи лаборатории UCSD. Аналогично работе [3] для ограничения вычислительной сложности процесса обучения размер выборки ограничивался 100 тысячами отобранных характеристик плотных траекторий. При несбалансированном обучении размер выборки сокращался путем равномерно случайного отбора, что приводило к соотношению количества характеристик траекторий для нормального и нештатного поведения, близкого к исходному. При сбалансированном обучении для каждого типа поведения производился независимый равномерно случайный отбор 50 тысяч характеристик плотных траекторий, которые вместе формировали выборку для обучения модели «мешка признаков». Гистограммы каждой характеристики плотных траекторий состояли из 4000 столбцов аналогично работе [3].

Табл. 1. Количество кадров, примеров и плотных траекторий для разных типов поведения на видео «Работа и ремонт» и видеозаписи лаборатории UCSD

	Работа и ремонт		UCSD
	Нормальное поведение	Нештатное поведение	Нормальное поведение	Нештатное поведение
Количество примеров	33	38	34	35
Количество кадров	10784	4795	6733	2822
Количество траекторий	148493	127805	321389	146337

Обучение метода на основе главных компонент проводилось на ограниченном числе примеров нормального поведения из видео. Затем для остальных кадров с нормальным и нештатным поведением из выбранного видео вычислялись значения оценок аномальности. На основе этих оценок рассчитывался равный уровень ошибок, который представляет собой уровень ошибок при равной частоте ложных тревог и пропуска события [13]. При этом для уменьшения влияния шума и вычислительных погрешностей отбрасывались главные компоненты, которые описывали менее 1 % вариации характеристик нормального поведения.

Значения равных уровней ошибок относительной и максимальной невязки на видео «Работа и ремонт» для разных характеристик поведения при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров для метода на основе главных компонент приведены в табл. 2. Из табл. 2 видно, что для видео «Работа и ремонт» наилучшие результаты были достигнуты при использовании относительной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов. При этом равный уровень ошибок составил менее 1 процента, что соответствует более высокой точности в сравнении с ранее предложенным алгоритмом [6].

Табл. 2. Равный уровень ошибок относительной и максимальной невязки для видео «Работа и ремонт» при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров

Признаки поведения	Относительная невязка		Максимальная невязка
	Обучение на 3 примерах	Обучение на 7 примерах	Обучение на 3 примерах	Обучение на 7 примерах
Длины векторов смещения	3,7%	1,5%	8,4%	6,7%
TSD	12,81%	12,04%	10,42%	10,47%
HOG	0,32%	0,35%	0,47%	0,44%
HOF	11,06%	10,73%	18,22%	13,62%
TSD-HOG	0,15%	0,18%	11,23%	11,47%
TSD-HOF	11,46%	11,17%	13,20%	11,08%
HOG-HOF	5,82%	4,70%	17,34%	4,33%
TSD-HOG-HOF	7,08%	8,51%	12,49%	10,12%

Значения равных уровней ошибок относительной и максимальной невязки на видеозаписи лаборатории UCSD для разных характеристик поведения при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров приведены в табл. 3. Из табл. 3 видно, что для видео лаборатории UCSD наилучшие результаты были достигнуты также при использовании относительной невязки для комбинации характеристики формы траекторий и гистограммы направленных градиентов. При этом равный уровень ошибок соответствует в пределах порядка показателям точности максимальной невязки для последовательности длин векторов смещения. Из этого следует, что эффективность относительной и максимальной невязки зависит не только от количества объектов в сцене, но и разновидности признаков поведения.

Табл. 3. Равный уровень ошибок для относительной и максимальной невязки для видеозаписи лаборатории UCSD при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров

Признаки поведения	Относительная невязка		Максимальная невязка
	Обучение на 5 примерах	Обучение на 25 примерах	Обучение на 5 примерах	Обучение на 25 примерах
Длины векторов смещения	49,6%	49,1%	22,7%	24,7%
TSD	50,63%	41,82%	27,06%	27,50%
HOG	29,43%	33,00%	35,29%	32,71%
HOF	25,81%	31,69%	29,99%	33,43%
TSD-HOG	25,51%	23,73%	25,81%	27,20%
TSD-HOF	25,81%	30,97%	26,50%	30,68%
HOG-HOF	25,94%	32,58%	32,22%	33,14%
TSD-HOG-HOF	25,38%	31,27%	23,70%	27,50%

Из приведенных значений равных уровней ошибок следует, что среди рассмотренных алгоритмов обнаружения нехарактерного поведения наибольшей точностью обладает алгоритм с использованием относительной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов. При этом алгоритм использует только относительную невязку как для простых сцен, так и для сцен с большим количеством движущихся объектов в отличие от алгоритма на основе длин векторов смещения.

Недостатком предложенных алгоритмов является использование примеров нештатного поведения для обучения модели «мешка признаков». Для оценки влияния этого фактора было проведено тестирование алгоритмов при обучении модели только на характеристиках плотных траекторий для нормального поведения. Полученные значения равных уровней ошибок относительной невязки при разном количестве обучающих примеров приведены в табл. 4. Из сравнения табл. 2, 3 и 4 следует, что в условиях отсутствия примеров нештатного поведения алгоритмы в целом обладают более высоким равным уровнем ошибок. Такой результат можно объяснить существенной разницей между характеристиками плотных траекторий для рассматриваемых типов поведений, что приводит к неоптимальному разбиению пространства характеристик при обучении модели «мешка признаков» в данных условиях. Значения равных уровней ошибок относительной и максимальной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов при несбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров приведены в табл. 5. Из сравнения табл. 2, 3 и 5 следует, что обучение модели «мешка признаков» на сбалансированной выборке позволило снизить равный уровень ошибок, в особенности для видеозаписи лаборатории UCSD.

Табл. 4. Равный уровень ошибок относительной невязки при обучении модели «мешка признаков» только на примерах нормального поведения

Признаки поведения	Работа и ремонт		UCSD
	Обучение на 3 примерах	Обучение на 7 примерах	Обучение на 5 примерах	Обучение на 25 примерах
TSD	29,36%	31,41%	65,27%	57,88%
HOG	6,37%	0,70%	36,51%	42,12%
HOF	17,90%	15,53%	29,85%	37,20%
TSD-HOG	8,36%	6,72%	42,40%	47,76%
TSD-HOF	17,26%	15,53%	30,12%	35,60%
HOG-HOF	12,81%	9,25%	30,41%	35,89%
TSD-HOG-HOF	14,39%	12,14%	30,68%	36,77%

Табл. 5. Равный уровень ошибок относительной невязки при несбалансированном обучении модели «мешка признаков»

Признаки поведения	Работа и ремонт		UCSD
	Обучение на 3 примерах	Обучение на 7 примерах	Обучение на 5 примерах	Обучение на 25 примерах
TSD	13,84%	15,71%	49,37%	48,05%
HOG	0,32%	0,35%	29,99%	35,01%
HOF	12,81%	11,00%	26,50%	31,69%
TSD-HOG	0,32%	0,35%	29,43%	33,14%
TSD-HOF	12,96%	12,13%	25,94%	29,96%
HOG-HOF	6,95%	6,37%	25,94%	32,42%
TSD-HOG-HOF	8,43%	7,70%	25,38%	31,40%

Для оценки быстродействия алгоритмов измерялось время исполнения этапов работы алгоритмов на компьютере с четырехъядерным CPU Intel Core i5 3,4 ГГц и 8 GB RAM. Среднее значение времени вычисления и размерность вектора признаков поведения приведены в табл. 6. Из табл. 6 видно, что извлечение характеристик плотных траекторий движения занимает больше времени, чем вычисление длин векторов смещения. Такой результат следует из обработки изображения на нескольких масштабах и последующего применения подхода «мешок признаков» для создания единого описателя поведения на кадре.

Табл. 6. Среднее время вычисления и размерность вектора признаков поведения для видео «Работа и ремонт» и видеозаписи лаборатории UCSD

Признаки поведения	Размерность вектора признаков		Среднее время извлечения, мс
	UCSD	Работа и ремонт	UCSD	Работа и ремонт
Длины векторов смещения	38400	71680	13,62	23,70
TSD	4000	4000	21,38	42,03
HOG	4000	4000	23,33	45,32
HOF	4000	4000	25,54	47,20
TSD-HOG	8000	8000	33,93	60,58
TSD-HOF	8000	8000	33,00	62,15
HOG-HOF	8000	8000	38,49	65,18
TSD-HOG-HOF	12000	12000	46,71	80,53

Количество использованных главных компонент и среднее значение времени вычисления невязок и пове- дения приведены в табл. 7 и 8 соответственно. Из табл. 7 видно, что использование характеристик плотных траекторий приводит к сокращению количества главных компонент. Данный результат вместе со снижением размерности обуславливает существенное снижение времени вычисления невязок, представленных в табл. 8.

Табл. 7. Количество главных компонент для разных признаков поведения при разном количестве обучающих примеров

Признаки поведения	Работа и ремонт		UCSD
	Обучение на 3 примерах	Обучение на 7 примерах	Обучение на 5 примерах	Обучение на 25 примерах
Длины векторов смещения	496	1421	716	3272
TSD	38	147	64	323
HOG	38	148	64	321
HOF	38	136	58	288
TSD-HOG	38	149	64	323
TSD-HOF	37	142	63	319
HOG-HOF	38	144	63	314
TSD-HOG-HOF	37	142	64	320

Табл. 8. Среднее время расчета невязок в миллисекундах для разных признаков поведения при разном количестве обучающих примеров

Признаки поведения	Работа и ремонт		UCSD
	Обучение на 3 примерах	Обучение на 7 примерах	Обучение на 5 примерах	Обучение на 25 примерах
Длины векторов смещения	82,66	235,14	64,82	290,97
TSD	0,29	0,88	0,43	1,79
HOG	0,29	0,88	0,43	1,79
HOF	0,27	0,80	0,40	1,60
TSD-HOG	0,55	1,73	0,82	3,56
TSD-HOF	0,53	1,64	0,81	3,52
HOG-HOF	0,53	1,66	0,81	3,45
TSD-HOG-HOF	0,85	3,85	1,68	9,65

На основе приведенных оценок быстродействия можно сделать следующий вывод. Использование характеристик плотных траекторий движений приводит к существенному снижению времени вычисления невязок за счет повышения среднего времени извлечения признаков. При этом суммарное время работы алгоритма снижается и начинает в значительной степени зависеть от времени извлечения характеристик.

Заключение

В работе предложены алгоритмы обнаружения нехарактерного поведения на основе главных компонент по характеристикам плотных траекторий движения. Проведено сравнение показателей точности и быстродействия с алгоритмом обнаружения по длинам векторов смещения. Результаты экспериментов свидетельствуют о повышения быстродействия при использовании плотных траекторий за счет снижения размерности вектора признаков и сокращения количества глав- ных компонент. Сохранение точности достигается при условии обучения модели «мешка признаков» на сбалансированной выборке из признаков нормального и нештатного поведения. При этом для простых сцен и сцен с большим количеством движущихся объектов наименьший равный уровень ошибок достигается при использовании относительной невязки.