Программно-аппаратный комплекс тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях

ВВЕДЕНИЕ                   бора оптимального диапазона их применимости,

Одним из основных назначений систем технического зрения является решение задачи детектирования и локализации объектов интереса на изображениях и в видеопоследовательностях [1]. В основе алгоритмов детектирования и локализации могут лежать различные методы, включающие решение задач обнаружения и "захвата" объекта интереса или цели, а также задачи автоматического сопровождения цели [2–4], требующие решения в реальном масштабе времени. Автоматическое сопровождение цели может быть основано на различных принципах приема сигнала, в том числе радиолокационном, фотооптическом, инфракрасном и др. [5]. При разработке алгоритмов детектирования и локализации важное значение имеет тестирование и оценка качества их работы.

В настоящей работе представлена разработка программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях. Представленный программно-аппаратный комплекс обеспечивает возможность оценки соответствия между параметрами входного видео и численными коэффициентами оценки качества сопровождения объекта интереса. Кроме того, предусмотрена возможность модификации видеосигнала для создания уникальных параметров исходного видео, что дает возможность исследовать испытуемые алгоритмы в широком диапазоне искажений и помех для под- а также с целью последующего повышения качества разрабатываемых систем автоматического и / или полуавтоматического обнаружения местонахождения цели, сопровождения цели, основанных на непрерывном наблюдении за целью.

Предлагаемый программно-аппаратный комплекс и программа испытаний позволяет проводить испытания как алгоритмов первичной обработки, состоящих в формировании сжатого представления информации, содержащейся в кадре видеосигнала, так и алгоритмов вторичной обработки, осуществляющих мультиплексирование и межкадровую обработку информации, полученной от различных алгоритмов первичной обработки или в результате обработки видеоизображения с различных источников видеосигнала.

ОПИСАНИЕ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА

Целевая аппаратная платформа представляет собой плату первичной обработки на базе программируемой логической интегральной схемы (ПЛИС) семейства Xilinx Virtex 7 и отладочную плату Freescale P3041DS, работающую под управлением операционной системы QNX. Общая схема программно-аппаратного комплекса представлена на рис. 1.

В эксперименте используется стенд на базе

Плеер/генератос

RTP трафика

Визуализация результатов енератор видеофайла

Оценка результатов работы

Рис. 1. Общая схема программно-аппаратного комплекса

Параметры эксперимента

ПК Intel C or e i 7 под у п рав л ением W i n dows 7 64 bit, на к отором установл е н комплект программного о б еспечения сим у л я ци и видеосигналов для тестир о вания сист ем д е тектиро в а ни я и локализации о б ъектов в ви деоп о сл е доват ел ь но ст и — ПО "Симулятор".

Программн ое обе с п е чение "Симулятор" предна з на че но для ф ормиро в ания в ход яще г о в и д еоси г нала и з а п и си контр ол ьн ы х д анн ы х д л я тес т ирования с и с те м д е тек ти рован и я и л ока ли за ции объектов в ви д еоп ос л е довате ль ности .

Программн ое обес п е че н и е "Симулятор" включае т с л е д ующ и е ос новн ы е моду л и:

• 1)    инте рп олятор тра ектори й ,

• 2)    инте рп олятор д инами че ск и х параме т ров,

• 3)    ге н ератор вид е о п о м одели 2.5-мерной сцены.

Инт е рполятор тра е ктори й осущ е ств ляе т пре о бразов а ние в ход н ого н а бора ключе в ы х точе к тра е кторий д вижения, а также с коростей ц елей и ка м еры в п ла в н ые тра е ктори и , ра зби тые на к адры с з ад а нн ой ч астотой вид е о.

Инт е рполятор д инами че ск и х п а раме тров преобраз уе т наб о р ключе в ых точе к вре м е н нóй диагр а ммы д и нами че ск и х па р а ме тров в н аб оры параметров для каждого к а дра . Ин терп ол я ц ия между ключе в ыми точка ми о с ущ ест в ляется ли н ейно.

Г е не ра тор в идео п о н а бору дискре тн ых тра е кторий прои зв одит формирова н ие изобр а ж е н и я для каждого ка д ра. К ром е т ог о, зад а чей ген е ратора яв ляе тся запи с ь пол н ой информац и и о сцен е , которая в д альн е йш е м испол ь зу е тся д ля оцен к и качес т ва трекин г а .

Видеопоток транслируется в м а кет системы дет е кти ров ания и лока ли зации по протокол у реального времени RTP (Real- t ime Tr ansport Protocol) [6] че р е з п орт Et he r n e t . Ге н ера тор R TP трафика отобра ж ае т в ремя ме ж д у м оме н тами окончания отп ра вк и пос л е д ов а тельны х ка д ров, а п осле отп ра вк и п ос лед н его к а дра отоб ра жает с т атистику (в том числе среднее значение).

С труктурн а я схема ма ке та си с темы де те ктирования и локализации представлена на р ис. 2.

М ак е т с ос тои т и з двух устрой с тв: п латы Xilinx VC70 9 н а базе ПЛ ИС Xi linx Vi r te x 7 и платы F r eescale P 3041DS re v. b, с оед и не н ных вы с окоскоростным интерфейсом PCIe [7].

В ма кет с и с те мы детек т иров а ния и локализац и и заложена возмож н ос ть уста н ов к и пла ты ра сширения с автоматическим ц и фровым п ре образовате л е м (А Ц П) с разъема ми для п од к л ю чен и я источн и ка ви д еос и гнал а ( ИВ С ) с а н а ло гов ы м сиг н алом (разъем RCA) или CameraLink [8].

Пр ограммирова н ие ПЛ ИС о сущест в ляе тс я п о отлад очн ому и н те рф е йс у JTAG. Управление ПО н а процесс оре Fr e escale осуще с твля е тся с по м ощью инте р ф е йс а Et he rne t . Д ан н ые подключения показаны на рис. 2 условно как "Ин с трументарий для запуска, прошивки и управления".

Интерполяция траекторий

Входные данные дл я симу л ятора го т овя т ся с пеци а льно р а зр а бот анно й утилито й. Он а р ешает з адачу с оз д ания пл авной т р аект о р и и дви ж е н ия цели.

На вход необ ход имо п од ать на б ор ключевых точек , п о к отор ы м буде т строить с я а п п рокс и миро-

CameraLink

Аналоговое видео

FPGA

Xilinx vc 709

Рис. 2. Структурная схема макета системы детектирования и локализации

Freescale

ОС: QNX

ванная сплайнами кривая, а также свойства спрайта цели. Ключевые точки траектории цели задаются в земной системе координат. Координаты цели в ключевой точке в декартовой системе координат определяются величинами x , y , z . Модуль скорости движения цели определяется величиной speed , а угол поворота изображения спрайта цели — angle.rotate .

Для расчета изображения, видимого камерой, необходимо знать ее ориентацию. Для задания направления камеры удобно использовать азимутальный и зенитный углы.

Таким образом, в промежуточных расчетах используются сферические координаты:

А ф      _n      A O

Ф = Ф + X "      , 9 = 9 + Y --,        (1)

width             height где x, y — координаты панорамы фона; Аф, A9 — размах панорамы фона по азимутальному и зенитному углам соответственно; width и height — длина и ширина панорамы фона.

Поворот изображения цели вычисляется, исходя из вектора скорости цели в каждый момент.

Интерполяция динамических параметров

Реализована интерполяция для следующих динамических параметров:

• •    объекта — яркость, масштаб;

• •    сцены — яркость фона, дисперсия шума.

Генератор видео

Генератор видео создает видеопоследовательность по траекториям движения объектов и каме- ры. На сгенерированной видеопоследовательности объекты перемещаются на фоне панорамного изображения. Траектория движения камеры в данном случае описывает связь системы координат кадра и реальной системы отсчета.

Преобразование реальных координат X в координаты x в системе отсчета кадра выполняется с помощью следующих выражений:

f " X

Z • sensorPixelSize ’ f " Y

Z • sensorPixelSize ’

где f — фокусное расстояние камеры, sensorPixel Size — свойство матрицы камеры.

Масштаб спрайта цели вычисляется следующим образом:

visibleSize z ^ zoom == spriteSize

= visibleSize = f spriteZoom • realSize z • spriteZoom ’ spriteSize spriteZoom == realSize spritePixels

=--sensorPixelSize, realSize где spritePixels вычисляется по размеру изображения спрайта, realSize задается во входящем конфигурационном JSON-файле.

Рис. 3. Схема измерения времени работы алгоритмов

Задачей генератора видео также является добавление на каждый кадр искажений, параметры которых указаны во входящем задании. Параметры могут быть заданы для каждого типа искажений из имеющегося набора: контраст, ошибка экспозиции, неоднородная засветка (от источника света), ошибка фокусировки, "шевеленка", белый шум, темновые токи, неоднородность чувствительности сенсора, битые пиксели, выпавшие строки/столбцы.

Искажения задаются в виде опорных точек вдоль длины видео, таким образом параметры искажений в различные моменты времени могут отличаться в пределах одного видео. Если задана только одна опорная точка в первом кадре, параметры искажений остаются постоянными на протяжении всего видео.

Кроме того, в каждой опорной точке может быть задан диапазон значений для каждого из параметров искажения. Согласно допустимым интервалам значений параметров, взятых из базы данных, происходит проверка корректности вводимых значений.

ИЗМЕРЕНИЕ ВРЕМЕНИ РАБОТЫ АЛГОРИТМОВ

Для измерения времени между моментом окончания отправки очередного кадра видеосигнала и моментом окончания приема результатов обра- ботки видеосигнала требуется синхронизация часов на имитаторе источника видеосигнала и контроллере макета системы детектирования и локализации, принимающем результаты первичной обработки видеосигнала. Для решения данной задачи предназначен специальный режим работы макета системы детектирования и локализации, схема которого показана на рис. 3.

В режиме измерения времени работы входной видеосигнал поступает в плату первичной обработки от контроллера макета системы детектирования локализации по высокоскоростному интерфейсу PCIe. Результаты работы алгоритма первичной обработки видеосигнала поступают в контроллер макета системы детектирования локализации по тому же интерфейсу. Данная возможность реализована с помощью полнодуплексного соединения PCIe (рис. 3).

На контроллере макета системы детектирования локализации запущен счетчик времени, позволяющий измерить промежуток времени между моментом окончания отправки очередного кадра видеосигнала и моментом окончания приема результатов первичной обработки видеосигнала. Разрешение счетчика составляет 1 мс. Программа, выполняемая на контроллере макета системы детектирования локализации, выводит измеренное время для каждого кадра. После обработки последнего кадра выводятся статистические данные — среднее и максимальное значения времени.

ПРОГРАММА ИСПЫТАНИЙ

В ходе испытаний выполняется следующая программа.

• •    Запуск ПО "Симулятор". Ознакомление с параметрами генератора видео. Выбор параметров фоно-целевой обстановки. Генерирование тестового видео.

• •    Испытания алгоритма детектирования локализации с помощью имитатора видеосигнала на синтетическом видео, а также реальных видеозаписей фоно-целевой обстановки. Исследование пропускной способности обработки видеосигнала.

• •    Визуализация и количественная оценка результатов работы алгоритма с помощью ПО "Симулятор".

Для получения количественной оценки результатов работы алгоритмов детектирования и локализации используется модуль "Оценщик" ПО "Симулятор".

Принцип работы модуля "Оценщик" основан на сравнении результатов детектирования и сопровождения испытываемого алгоритма с эталонными данными, записанными во время генерирования видеозаписи фоноцелевой обстановки. Основными метриками оценки алгоритмов детектирования и локализации, использующимися в ПО "Симулятор", являются вероятность пропуска цели и вероятность ложной тревоги.

Для осуществления подготовки к проверке необходимо выполнить следующие действия.

• •    Сгенерировать видеофайл с помощью ПО "Симулятор" или воспользоваться файлом, сгенерированным заблаговременно. При использовании ПО "Симулятор" для генерирования видеозаписи фоноцелевой обстановки (ФЦО) параметры ФЦО сохраняются в базу данных.

• •    Запрограммировать плату первичной обработки через интерфейс JTAG прошивкой с испытываемым алгоритмом.

• •    Настроить ПО на макете контроллера системы детектирования локализации на прием данных от испытываемого алгоритма.

• •    Организовать трансляцию входного видеосигнала в макет системы детектирования и локализации с помощью модуля "Генератор RTP-трафика" ПО "Симулятор".

• •    Контролировать время между моментами окончания передачи последовательных кадров.

Последовательность проверки:

• •    лог работы макета системы детектирования и локализации перенести на рабочую станцию с ПО "Симулятор";

• •    визуализировать ключевые точки, найденные алгоритмом, прошитым в макет системы детектирования и локализации;

• •    визуализировать результаты работы испытываемого алгоритма;

• •    запустить модуль "Оценщик" ПО "Симулятор".

В ходе проверки необходимо фиксировать количественные характеристики качества работы алгоритмов и статистические данные, вычисляемые модулем "Оценщик" ПО "Симулятор".

Контроль качества работы алгоритмов осуществляется визуально с помощью видеофайла, сгенерированного модулем "Визуализатор" ПО "Симулятор".

ЭКСПЕРИМЕНТЫ ПО ТЕСТИРОВАНИЮ АЛГОРИТМОВ

С помощью разработанного программно-аппаратного комплекса проведены экспериментальные исследования алгоритмов первичной обработки видеосигнала:

• •    алгоритм выделения ключевых точек (алгоритм № 1), предназначенный для оценки сопровождения уникального фрагмента;

• •    алгоритм досвязывания совместно движущихся фрагментов объекта (алгоритм № 2), предназначенный для досвязывания областей неодносвязных объектов;

• •    многомасштабный алгоритм выделения объектов (алгоритм № 3), предназначенный для выделения объектов, отличающихся от средней интенсивности локального фона;

• •    алгоритм "Выступы" (алгоритм № 4), предназначенный для выделения "целеподобных" выступов.

При проведении тестирования настройки могут быть изменены следующие параметры:

• •    продолжительность видео (15 с);

• •    частота кадров (25 кадр./с);

• •    фокусное расстояние камеры (300 мм);

• •    размеры (длина и ширина) пикселя матрицы камеры (5.5 × 5.5 мкм).

В скобках приведены значения по умолчанию.

В ходе эксперимента проводились испытания алгоритмов с помощью имитатора видеосигнала на синтетическом видео и реальных видеозаписях фоноцелевой обстановки, а также исследовалась пропускная способность видеосигнала. Для каждого видеосигнала формируются 4 группы параметров.

• •    Группа_1. Параметры исходного видео.

• •    Группа_2. Параметры искаженного видео.

• •    Группа_3. Разность 1 и 2.

• •    Группа_1_3. Пересечение Группа_1 и Груп-па_3.

  Результаты испытаний алгоритмов

  Критерий оценки	Алгоритм № 1	Алгоритм № 2	Алгоритм № 3	Алгоритм № 4
  Коэффициент ложноположительного детектирования	0.23	0.10	0.56	0.18
  Коэффициент ложноотрицательного детектирования	0.57	0.51	0.56	0.48
  Расстояние между конечными точками оптического потока	4.83	6.78	7.85	4.81
  Количество переза-хватов	2	8	1	3

  
  

В результате осуществлялась визуализация и количественная оценка результатов работы каждого из испытываемых алгоритмов. Основными компонентами оценки результата работы алгоритма являются:

• •    сегментация объектов,

• •    перезахват (continuity of the segmentation labels),

• •    отклонение положения центра,

• •    вероятность обнаружения объекта.

При этом оценке подлежат как входные параметры, так и локальные результаты в пространстве и времени. Результаты оценки описываются набором критериев, каждый из которых описывается float-числом. Результаты испытаний в виде усредненных ознакомительных данных представлены в таблице.

Контроль качества работы алгоритма осуществляется оператором визуально с помощью видеофайла, генерируемого модулем "Визуализатор".

ЗАКЛЮЧЕНИЕ

Представлено описание программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях. Представленный ПАК обеспечивает возможность отладки, тестирования, наглядной визуализации результатов работы, измерения и сравнения количественных характеристик качества работы алгоритмов телевизионных автоматов, в том числе систем стабилизации видеоизображений.

Предложена программа проведения испытаний программного обеспечения, реализующего алго- ритмы обработки видеосигнала в системах детектирования и локализации объектов в видеопоследовательностях, позволяющая определить функциональные возможности разработанных алгоритмов.

Представленный ПАК и программа экспериментальных исследований позволяют отрабатывать вопросы, возникающие при разработке алгоритмов детектирования и локализации и дают возможность:

• •    определить функциональные возможности разработанных алгоритмов обработки видеосигнала,

• •    сформировать выводы о возможности использования ПО "Симулятор" для тестирования и оценки качества работы алгоритмов детектирования и локализации,

• •    сформировать рекомендации по использованию разработанных алгоритмов в системах детектирования и локализации,

• •    выработать рекомендации по дальнейшему развитию и расширению функционала ПО "Симулятор".

Результаты испытаний и полученные выводы могут быть использованы участниками эксперимента в дальнейшей работе.