Оценка признака движения в прикладных телевизионных системах

Признак движения широко применяют при обработке видеоданных в охранных системах как при построении детекторов движения, так и при разработке систем, реализующих автоматическое выделение и сопровождение объектов интереса.

Традиционно признак движения оценивают с помощью энергии движения. Под энергией движения понимают производную яркостного сигнала по времени. На практике для ее оценки используют абсолютную межкадровую разность ТВ-сигналов:

D ij = |^{L (} x J , y. , t) - ^{L (} x J , y. , t - D|, (1)

zb

D = 22 I ^{L (} x j , y, , t) - ^{L (} x j , y, , t -1)|, (2) i =1 j =1

где L ( x i , y j , t ) ,L _э ( x i , y j , t - 1 ) — яркость элемента (пикселя) с координатами ( x i , y j. ) в кадрах t и t – 1, соответственно; z – число активных строк в кадре, b – число элементов по строке.

Полученная интегральная оценка D несет информацию обо всех изменениях, которые произошли в кадре. Ее анализ и введение порогового ограничения позволяет реализовать детектор движения. В случае вычисления абсолютной межкадровой разности для каждого элемента (пикселя) пространственно связанные области точек, где полученная мера D_ij превышает некий порог, являются посылкой для сегментации объектов.

Энергия движения – это скалярная оценка. c ее помощью невозможно разделить изображения объектов, находящиеся в непосредственной близости друг к другу, а также разрешить ситуацию их перекрытия (окклюзию объектов). Существенную проблему вызывает присутствие в кадре глобального движения: в случае если наблюдение ведется камерой, установленной на поворотном столе или подвижном носителе [1].

Целесообразно для оценки признака движения использовать векторы движения. Наличие информации о направление и величине смещения позволяет решить большое число разнородных задач:

• -    сегментировать объекты на сложном фоне, находящиеся в непосредственной близости друг к другу [2-3];

• -    разрешить ситуации окклюзии при сопровождении путем выявления объекта, находящегося на переднем плане;

• -    построить модель движения по совокупности векторов (на основе информации, полученной в одном кадре);

• -    описать движение маневрирующего объекта с помощью четырех- или шестипараметрической модели; определить скорость движения по изображению (видимую скорость движения) [4].

Анализ эффективности методов и алгоритмов определения векторов движения

Векторы движения (более корректное название векторы соответствия) были разработаны для стандартов видеокомпрессии MPEG 1,2,4. Перенос векторов движения из области видеокомпрессии в область обработки видеосигналов для прикладных телевизионных систем изменяет характер задачи, решаемой при их определении. При компрессии главным является определение минимума целевой функции. Вектор соответствия определяет два фрагмента (блока) изображений кадра t и t + 1, обладающих максимальной степенью подобия. В прикладных задачах необходимо найти положение точки минимума – значения аргументов. Вектор движения показывает смещение фрагмента изображения в кадре t + 1 относительно кадра t . Указанное положение позволяет ввести понятие «аномальный вектор» – вектор, не отражающий реальное смещение фрагмента изображения.

Основным для определения векторов движения является уравнение оптического потока, полученное на основе допущения о постоянстве яркости L ( x , y , t ) точки (пикселя) при ее движении

L , v T

dL>+— = 0, dt

dx dy где v = (—, —) - вектор оптического потока dt dt          ∂L ∂L

(вектор движения), V L = (— , —) - яркостной

∂x ∂y вектор-градиент по пространственным координа- там.

При работе в сложных условиях наблюдения требования существования пространственных

∂L ∂L яркостных производных VL = (--) и пос-

∂x ∂y тоянства яркости при движении точки (пикселя)

вдоль траектории часто нарушаются. Изображение объектов интереса имеет низкую детальность. При видеонаблюдении на открытом воздухе часто возникают солнечные блики, тени и др. Несоблюдение обоих требований обусловливает высокую вероятность появления аномальных векторов.

Тяжесть последствий от аномальных векторов движения в прикладных ТВ системах значительна: рассегментация (разделение) объектов интереса, снижение точности моделей движения, потеря объекта при сопровождении и др. В задачах видеокомпрессии – только уменьшение коэффициента сжатия.

В соответствии с этим введен новый критерий для оценки эффективности методов и алгоритмов определения векторов движения, а именно критерий эффективности в виде уровня достоверности, под которым понимают отношение числа верно найденных векторов движения Q _cor к общему числу найденных векторов Q :

к д = Q^. (3)

Проведенные исследования показали, что даже при использовании корреляционных методов (наиболее робастных по данным литературы) и применении для поиска лучшего соответствия алгоритмов, основанных на предположении об унимодальности целевой функции: например, 3SS, 4SS и др. [5-11], уровень достоверности составляет 0,3; при использовании алгоритма полного перебора – уровень достоверности составляет 0,6 (см. рис.1 и таблицу 1). Это говорит о неприменимости всех существующих методов определения векторов движения, кроме полного перебора, и необходимости дополнительных мер по снижению влияния числа аномальных векторов.

Вид алгоритма

Алгоритм на основе рег. модели

Полный перебор

Поиск тремя итерациями

Ортогональный поиск

Поиск четырьмя итерациями

• □ Новый поиск четырьмя итерациями

• ■ Логарифмический поиск

Блочный градиентный поиск

Рис. 1. Средний уровень достоверности различных алгоритмов

Таблица 1. Средний уровень достоверности различных алгоритмов.

Название алгоритма	Уровень достоверности
Алгоритм на основе регрессионной модели	0,24
Полный перебор	0,58
Поиск тремя итерациями	0,28
Ортогональный поиск	0,14
Поиск четырьмя итерациями	0,23
Новый поиск четырьмя итерациями	0,25
Логарифмический поиск	0,32
Блочный градиентный поиск	0,12

Трехкомпонентные векторы движения и метод их определения

Предложено заменить двухкомпонентный вектор движения трехкомпонентным, введя третью составляющую вероятность его корректного определения - достоверность р ^а _и : ( v k , v kyl , p ^a _M ) T , где v _k ^x _l ,v _k ^y _l – составляющие по направлениям x и y вектора движения для блока с номерами k – по горизонтали и l – по вертикали.

Для определения третьей компоненты экспериментально найдена и теоретически описана функция достоверности – зависимость верного определения вектора движения от характера изображения в блоке.

P a ( k, l ) = 1 - exp [ n- D M ( k, l ) ] , (4) где n — параметр модели; D M ( k , l ) - модифицированная оценка уровня детальности в блоке ( k . l ) .

Априорная оценка достоверности вектора позволяет определятьвекторы движениятолько для тех блоков изображения,где вероятность корректного определения вектора движения соответствует заданному уровню и, таким образом, позволяет сформировать поле векторов движения с определенным уровнем достоверности.Исключение из обработки блоков с низкой априорной оценкой достоверности существенно снижает вычислительную емкость задачи. Причем снижение вычислительной емкости происходит не за счет уменьшения достоверности, а наоборот. Введенная третья компонента имеет самостоятельную ценность на дальнейших этапах обработки видеоданных.

Дополнительно для снижения вычислительной емкости задачи принято следующее предположение: определение векторов движения для всех блоков кадра или области поиска является избыточным: если в блоке кадра t нет значимых изменений относительно кадра t – 1, то с большой вероятностью вектор движения равен нулю.

По результатам экспериментальных исследований аналитически описана функция априорной оценки значимости вектора движения на основе модифицированной оценки межкадровой разности

Pz v (k, l) = 1 - exp[- в * MAD2 м (k, l)], ^=^=

где в — параметр модели; MAD M ( k , l ) — модифицированная оценка абсолютной межкадровой разности в блоке ( k . 1 ) .

Блоки, у которых высокая вероятность нахождения верного вектора движения

Блоки, у которых высокая вероятность нахождения верного вектора движения и высокая вероятность существования ненулевого вектора движения

Рис. 2. Результат выделения блоков по априорной оценке достоверности и значимости

На основе найденных функций и с использованием математического аппарата нечеткой логики предложен метод определения трехкомпонентных векторов движения с учетом их априорной оценки достоверности и значимости [1]. Метод позволяет найти поле векторов движения с заданным уровнем достоверности, при этом для анализа оставляют в среднем 20% блоков изображения, сама процедура поиска выполняется для 5-7% блоков (см. рис. 2).

Субпиксельные векторы движения и апостериорная оценка их достоверности

Второй проблемой, возникающей при оценке признака движения в видеосигнале с помощью векторов движения, является обеспечение необходимой точности. При использовании корреляционных методов смещение блока в зоне поиска при определении вектора движения является дискретным с минимальным шагом один пиксель. Это приводит к тому, что значимый вектор может быть найден, только если смещение блока (объекта) больше одного пикселя. В противном случае величина вектора будет оценена как нулевая. Применение целочисленных векторов движения при обработке видеоданных в прикладных телевизионных системах затрудняет (практически исключает) анализ объектов с видимым движени- ем меньше одного пикселя, при оценке скорости объекта приводит к существенной погрешности, если скорость объекта в пересчете к плоскости кадра не кратна целому числу пикселей.

Таким образом, необходимо заменить дискретную оценку непрерывной или субпиксельной, предполагающей определение дробной части в значении вектора движения

Для субпиксельной оценки векторов движения предложен метод, основанный на многомасштабной межкадровой разности. Метод предполагает использование для определения векторов движения N кадров. Оценка вектора движения выполняется для (N – 1) пары кадров: k-я пара включает в себя кадр t и кадр t – k, k = 1; 2 ... N. Результатом является (N – 1) оценка вектора движения Vk ,k =1’--,N _ 1 (см. рис. 3).

Рис. 3. Субпиксельная оценка на основе многомасштабной межкадровой разности

В найденной для каждого блока совокупности приведенных к длине кадрового интервала векторов движения формируют кластеры по признаку близости векторов. Для дальнейшего анализа выбирают кластер с максимальной мощностью.

Окончательную оценку вектора движения получают как среднее значение векторов, образовавших кластер с максимальной мощностью. Точность субпиксельной оценки: составляет 0,07 пикселя [12] .

Наличие совокупности оценок вектора движения позволят определить его апостериорную достоверность.

Примем за исходное предположение: чем больше мощность кластера, тем более высока достоверность найденного вектора движения. Введенное предположение позволяет получить оценку апостериорной достоверности найденного вектора движения p kp :

⎛ p _k ^a _l ^p = 1 - exp ⎜

⎝

_C 2 _⎞ η_⎜⎛ ^C max _⎟⎞ ⎟

N- 1    ⎟

⎠

где C _max – число векторов, вошедших в кластер с наибольшей мощностью, η – числовой параметр.

Введенная апостериорная оценка имеет особую значимость при анализе видеоданных с низким соотношением сигнал/шум (менее 30 дБ). Для обеспечения высокого уровня априорной достоверности из рассмотрения должно быть исключено большое число блоков изображения. Это резко снижает степень сегментации объекта (уменьшается число блоков, соответствующих изображению объекта и разрешенных для дальнейшей обработки). В этом случае следует снизить уровень априорной достоверности и далее исключить аномальные векторы фильтрацией по апостериорной оценке.

Введенные априорная и апостериорная оценки достоверности векторов движения в значительной мере снижают, но не исключают полностью вероятность появления аномальных векторов. Поэтому перед работой с полученным полем векторов движения целесообразно провести его обработку: выполнить пространственную или временную фильтрацию.

Пространственная фильтрация поля векторов движения

Высокую эффективность обработки поля векторов в пределах одного кадра обеспечивает рекурсивная векторная медианная фильтрация (см. рис. 4).

Под векторной медианой множества векторов понимается такой вектор из рассматриваемого множества, у которого сумма расстояний до всех других минимальна [13]. Расстояния между двумя векторами, U(xu, yu) и V(xv, yv) вычисляются на основе нормы L2..

В применении к задаче удаления аномальных векторов под медианной фильтрацией понимается замена каждого вектора движения векторной медианой множества, составленного из самого вектора и восьми его ближайших соседей.При вычислении расстояний используются только ненулевые векторы, то есть каждый ненулевой вектор превращается в векторную медиану, вычисленную с помощью его восьми ненулевых соседей. Это делается для того,чтобы избежать замены ненулевых векторов на нулевые в случае, когда в этом соседстве доминируют нулевые векторы.

Полученные в результате экспериментального исследования данные показали,что описанная выше процедура позволяет уменьшить число аномальных векторов в среднем на 30%.

Пространственная медианная фильтрация поля векторов движения позволяет повысить степень сегментации протяженных объектов интереса за счет устранения аномальных векторов движения и вызванных ими «дырок» внутри сегментированного объекта. Однако объекты, меньшие по размерам маски медианного фильтра,могут быть потеряны.

Заключение

Таким образом, перенос векторов движения из области видеокомпрессии в область обработки видеосигналов для решения задач прикладных телевизионных систем обеспечивает эффективное решение значительного числа задач разного рода. При этом наиболее актуальной становится проблема обеспечения достоверной и точной оценки вектора движения. Введение апостериорной оценки достоверности вектора движения позволяет обеспечить заданный уровень достоверности формируемого поля векторов при соотношениях сигнал/шум до 30 дБ. При более низких соотношениях сигнал/шум целесообразно использование апостериорной оценки достоверности. Дополнительно число аномальных векторов может быть снижено путем пространственной и временной фильтрации.Тре-буемая точность оценки вектора движения достигается анализом набора кадров – пакетным методом обработки.

Рис. 4 Исходный кадр и соответствующее ему поле векторов до и после векторной медианной фильтрации