Определение координат и параметров движения объекта на основе обработки изображений

В настоящее время камеры теле- и видеонаблюдения всё чаще включают в состав охранных систем и комплексов для наблюдения за возможным вторжением нарушителя на охраняемую удалённую протяжённую территорию. Теле- или видеокамера позволяет оперативному дежурному наблюдать состояние охраняемой территории с тем, чтобы своевременно принять меры для пресечения вторжения нарушителя на охраняемую территорию.

При охране удалённых протяжённых территорий типа железнодорожных магистралей, нефте- и газопроводов эффективное пресечение действий нарушителя (в дальнейшем – объекта) невозможно без знания координат (широты и долготы) и траекторных параметров его движения – курса и скорости. Используемые в охранных комплексах теле- и видеокамеры позволяют лишь визуально распознать вторжение объекта на охраняемую территорию и не дают ответа на вопрос о траекторных параметрах его движения.

Время прибытия группы для пресечения движения объекта достигает 30 минут; группе должно быть выдано целеуказание с сообщением координат объекта, его курса и скорости. Без знания указанных параметров спрогнозировать положение объекта к моменту прибытия группы становится невозможным. В связи с этим задача определения траекторных параметров объекта по результатам обработки изображения является актуальной.

Решение поставленной задачи возможно путём обработки изображений для определения дальности до объекта, чтобы затем по дальностям оценить координаты и параметры перемещения объекта. Предложенный в [1] метод позволяет определить расстояние до объекта путём исследования массива изображения, полученного по результатам нескольких наблюдений, с целью определения наиболее чётких объектов изображений. Это означает, что для реализации предложенного в [1] метода обработку изображения необходимо вести на уровне алгоритмов обработки телевизионной камеры. Однако в комплек- сах охраны применяют готовые решения, закупая видеокамеры без необходимости вмешательства в алгоритмы обработки видеоизображения.

Отдельные стороны решения указанной задачи рассматривались в [1 – 3]. В одних методах ([2]) предлагалось использовать дополнительные источники света и по теням оценивать расстояние до объекта. В [3] рассматривался светящийся объект, что в данном случае неприемлемо, так как свечение объекта является демаскирующим признаком для нарушителя и вряд ли будет им применяться. В [1] определяется расстояние на основе анализа цветовой палитры, что неизбежно приводит к необходимости рассматривать весь цикл обработки информации на уровне алгоритмов обработки самой телевизионной камеры. Кроме того, определение расстояния до телевизионной камеры ещё не даёт ответа на вопрос о географических координатах обнаруженного объекта и параметрах его движения. Вместе с тем, целеуказание для дальнейшего предотвращения нарушения объектом территории должно сопровождаться сообщением о широте-долготе обнаруженного объекта, так как дальнейшие действия сил перехвата осуществляются с использованием GPS-навигаторов, выдающих информацию о местоположении в виде географических координат.

Ещё одним аспектом рассматриваемой задачи является автоматизация процесса регистрации изображения на экране телевизионной камеры. Современные подходы, например: построение эталонного каркаса с последующим сравнением [4]; двухэтапный метод построения контура [5]; метод, основанный на сравнении цветов пикселей нового изображения с цветами соответствующих пикселей опорного изображения; при известных контурах опорного изображения - использование корреляционной функции [6]; обработка всего изображения методом Виола– Джонса с использованием фильтра Хаара путем выделения на нем прямоугольных областей и подсчете разности пикселей, отличающихся между собой по яркости [7] – основаны на тонкой обработке изображения и очень чувствительны к внешним условиям.

Но, к сожалению, специфика использования и размещения телевизионных камер охранных комплексов такова, что рассмотренные методы пригодны для помещений, где всё статично, освещение практически не меняется при включённом свете. Иное дело на природе, на фоне растительности. Экспериментальные исследования, проведённые ранее, показали, что изменение освещённости в зависимости от времени суток, состояния атмосферы, осадков, тумана, влажности, ветра, качающего кусты и ветки деревьев,

– все эти факторы создают помехи, приводящие к ложным тревогам и ошибочным результатам распознавания с недопустимым уровнем ошибки. Причём ручное выставление порога не помогает.

Создание каркаса или каких-то опорных изображений вызовет затруднение, так как в силу специ- фики охранного комплекса объект может двигаться не только в полный рост, но и пригнувшись, ползком, в маскировочной одежде.

Использование готовых программ, например, программы VCideoCAD [8], требуют обязательного использования цифрового видеосигнала. В то же время в целях экономии энергоресурса при охране протяжённых удалённых объектов используют аналоговые видеокамеры, передающие аналоговый сигнал через ретрансляторы. При этом качество изображения может оказаться очень нечетким из-за условий распространения. В связи с этим для повы- мент ti+1 на экране вновь регистрируется положение объекта с параметрами hi+1, di+1.

Рис. 1. Размеры высоты изображения объекта и поперечного отклонения от оси телекамеры

По полученным данным необходимо определить координаты объекта, курс перемещения объекта Q и скорость V .

Предполагается, что географические координаты положения телевизионной камеры известны, на экране отображается текущая информация о кратности увеличения изображения и для поворотной камеры – информация об углах поворота телевизионной камеры в вертикальной и в горизонтальной плоскостях. Кроме того, предполагается, что известно нулевое направление оси зоны обзора в горизонтальной плоскости. Под зоной обзора телевизионной камеры будем понимать область пространства, в которой дежурный оператор способен обнаружить объект.

шения надёжности обнаружения нарушителя разработчики охранных комплексов вынуждены отказаться от автоматизации процесса распознавания и использовать визуальное наблюдение оперативным дежурным.

В настоящей работе предложен метод определения координат, курса и скорости перемещения объекта по результатам обработки изображения объекта на экране телевизионной камеры, основанный на геометрических соотношениях и пропорционально- сти размера изображения и расстояния до объекта.

Постановка задачи

Математически поставленную задачу можно сформулировать следующим образом.

Пусть в дискретные моменты времени ti с неко- торым временным интервалом на экране телевизионной камеры оперативный дежурный наблюдает изображение. По полученному изображению определяются (рис. 1):

– вертикальный размер объекта (человеческой фигуры) h i ;

– смещение d_i изображения по горизонтали относительно вертикальной оси экрана, совпадающей с осью зоны обзора телевизионной камеры. Спустя некоторый промежуток времени в мо-

По поступающей информации необходимо оперативно определить координаты, курс и скорость движения объекта.

Описание метода Для определения координат необходимо пересчитать продольное и поперечное смещения изображения на телевизионной камере в дистанцию и угол поворота относительно оси зоны обзора телевизионной камеры.

Для определения скорости перемещения объекта необходимо определить пройденный им путь на рассматриваемом временном интервале. Предварительный анализ сопоставления перемещения изображения на экране телевизионной камеры реальному перемещению объекта показал, что для определения пройденного пути необходимо определение его составляющих. Составляющими являются продольное и поперечное смещения объекта относительно оси зоны обзора телевизионной камеры. Под продольным направлением понимается направление, совпадающее с осью зоны обзора телевизионной камеры и представленное на изображении мысленной вертикальной линией белого цвета. Под поперечным направлением будем понимать направление перемещения объекта, строго перпендикулярное продольной оси зоны обзора телевизионной камеры.

Расчёт продольного перемещения объекта

Как известно, с увеличением расстояния до объекта при неизменных его линейных размерах меняются угловые размеры, которые и отображаются на экране телевизионной камеры. Рис. 2 поясняет пропорцию уменьшения углового размера при увеличении расстояния до объекта.

Рис. 2. Изменение угловых размеров с увеличением расстояния до объекта

Если известен «базовый» размер изображения H , при котором точно известно расстояние L до объекта, то далее из подобия Δ OAB и Δ OCD (рис. 3)

h i H

— = — .

L    l i

Отсюда

H h = —L .

ⁱ l i

После того как определена дистанция до объекта, производится пересчёт положения объекта в географические координаты путём решения прямой геодезической задачи. Получение координат объекта позволяет сформировать отображение его положения на электронной карте местности.

Расчёт поперечного перемещения объекта

Рассмотрим два варианта.

Первый вариант – поворотная камера, которая при обнаружении объекта сопровождает его путём поворота вокруг своей оси в горизонтальной плоскости. Под сопровождением объекта понимаем такой поворот камеры, при котором объект постоянно находится на центральной вертикальной оси экрана.

Для поворотной камеры расчёт поперечного смещения будет определяться выражением, которое поясняет рис. 2.

На рис. 2 отрезки l1 и l2 – расстояния до объекта, вычисленные по результатам обработки вертикального размера изображения, S - пройденный путь, ф -угол поворота оси телевизионной камеры, Q – курс объекта. На рис. 3 показан вариант, при котором на- правление оси зоны обзора телевизионной камеры совпадает с направлением на север.

При произвольном расположении зоны обзора телевизионной камеры относительно направления на север углы положения осей для первого и второго направлений будут, соответственно, а 1 и а ₂.

Тогда угол поворота оси телевизионной камеры определяется

ф = а2 - а1.                              (3)

Отрезок, соответствующий пройденному пути, определяется из Δ OAB по теореме косинусов (рис. 3):

S = 1 2 + 1 22 - 2 1 1 1 ₂cos ( ф ) .                             (4)

Рис. 3. Определение пройденного пути

При определении расстояния учитывается, что поскольку дальность предельной различимости объекта не превышает 150 м, то кривизной земной поверхности можно пренебречь и рассматривать задачу определения расстояния между двумя точками как плоскую. Тогда оценка расстояний между двумя точками осуществляется с использованием евклидовой геометрии.

Введём местную систему координат с центром, расположенным в точке положения телевизионной камеры, одна из осей направлена строго на север, другая образует с ней правую систему координат.

Тогда координаты объекта x ₁ и y ₁ определяются:

y i = 11, %j = d i, y2 = 12 , x2 = d2 . (5)

Для определения курса объекта рассмотрим рис. 4. Курс определяется как направление от точки 1 к точке 2 из выражения

Q = arctan | x² —— | . (6) I y 2 ^- У 1 J

Второй вариант – телевизионная камера неподвижна. В этом случае поперечное смещение изображения объекта относительно оси зоны обзора камеры определяется по отклонениям d 1 и d 2 изображения объекта в моменты времени t 1 и t 2 соответственно.

Рис. 4. Определение курса объекта

жения телевизионной камеры, азимута A с телевизионной камеры на обнаруженный объект и расстояния между этими точками S .

φ =φ ± ok

„2 L    S cos A I

S ²tg l ф > +----------I sin A S cos A      V    M x sinl ' J     ,

M sin1 '

2 NM sin1 '

λo=λk±

( S cos AI

" С Фk+

\ M sinl J ,

N sin1^/

где символом 1 ^/ обозначен угол, равный 1 минуте; N – радиус кривизны нормального меридионального сечения; M – радиус кривизны меридиана, равный:

a

1 -¹

-

b ²

к 2

Рис. 5 поясняет щения объекта.

определение поперечного сме-

M =

a

V 7

Рис. 5. Определение поперечного смещения

Углы α 1 и α 2 между центральной осью зоны обзора телевизионной камеры и направлением на объект в моменты времени t 1 и t 2 , соответственно, определяются из выражений

. d I d l I ™ t -I ^d 2 I a ₁ = arctan l    ¹ I ; a 2 = arctan l —2 I .

к l l J                  к l 2 J

Отсюда вычисляется угол ϕ по формуле (1).

Определение пройденного пути осуществляется по (4), расчёт курса – по (6).

Скорость объекта определяется из соображений кинематики:

_{V =} ( x ₂ - x ₁ ) ² + ( y ₂ - y ₁ ) ²

∆ t

.

Координатная привязка положения объекта осуществляется на основе зависимостей, используемых при решении прямой геодезической задачи.

Для этого используется математический аппарат решения прямой геодезической задачи [9], которая заключается в вычислении координат ϕ ₀, λ ₀ положения объекта по известным координатам ϕ _k , λ _k поло-

1 -¹

-

b ²

.

a

V 7

sin ϕ ^ц

Здесь a = 6378,245 км – большая полуось земного эллипсоида; b = 6356,863 км – малая полуось земно-

го эллипсоида.

Радиус кривизны нормального меридионального сечения равен:

N =

-

a ² - b ²

2 sin ϕ

ц

где ϕ _ц – широта точки, в которой сечение пересекает меридиан.

Результаты экспериментальных исследований

Для проверки правильности работы предложенного метода и реализующего его алгоритма были проведены экспериментальные исследования.

На предварительном этапе эксперимента определялись координаты телевизионной камеры с использованием GPS-навигатора Garmin 60Cx. Определялся «базовый» размер изображения при фиксированном расстоянии, равном 2 м. Размер изображения объекта составил 28 см.

На первом этапе экспериментальных исследований определялись значения коэффициентов пропорциональности продольного и поперечного смещения изображения объекта на экране телевизионной камеры.

В ходе исследований оценивалось изменение продольного и поперечного размеров изображения при постепенном удалении объекта от телевизионной камеры. Интервал дистанции, через которые регистрировалось изменение размеров изображения, составлял 10 м, измерения происходили при нахождении объекта на расстояниях 10, 20, …, 170 м.

На следующем этапе определялся коэффициент пропорциональности продольного удаления объекта и высоты его изображения и оценивалась погрешность определения.

В ходе основной части эксперимента при первом измерении неподвижный объект располагался на расстоянии 10 м от положения телевизионной камеры и GPS-навигатором определялись географические координаты объекта. Одновременно на экране монитора телевизионной камеры происходило измерение высоты изображения объекта. По полученному размеру изображения с использованием выражений (1) – (7) происходило определение дальности до объекта и расчёт его координат: широты и долготы. Полученные результаты сравнивались с показаниями на GPS-навигаторе.

Рис. 6. Поэтапное увеличение дистанции до объекта от положения телевизионной камеры: на 10 м (а),20 м (б), 30 м (в), 40 м (г), соответственно

до телевизионной камеры.

В ходе выполнения измерений оказалось, что при увеличении дистанции свыше 100 м размер объекта практически не менялся и с о ставлял 2 – 3 мм, что человеческим глазом практически неразличимо.

В связи с этим при проведении эксперимента на дистанциях свыше 100 м использовался оптический Zoom с 10-кратным увеличением. Размер изображения объекта при его нахождении на расстоянии 100 м увеличился до 20 см, и изменение расстояния существенно сказывалось на размере изображения. Коэффициент пропорциональности при этом, естественно, изменился.

Результаты расчёта приведены на рис. 7.

На графике (рис. 7) приведены результаты зависимости расчётной дистанции при увеличении расстояния между объектом и телевизионной камерой. Пунктирной линией указана фактическая (истинная) дистанция, на которой находилась телевизионная камера. Сплошной линией указана расчётная дистанция.

Из рис. 7 видно, что с увеличением расстояния между объектом и телевизионной камерой возрастает ошибка определения дистанции. Так, при нахождении объекта в пределах 50 м от телевизионной камеры, дистанция определяется с ошибкой менее

Затем объект отодвигали от телевизионной камеры ещё на 10 м, при этом дистанция до видеокамеры составляла 20 м, и расчёты повторялись. Так происходило до тех пор, пока расстояние до телевизионной камеры не достигло 170 м – предельного значения различимости объекта на экране монитора [10].

На рис. 6 приведены видеоизображения объекта на экране монитора телевизионной камеры. Приведённые изображения соответствуют удалению объекта, соответственно, на 10 м, 20 м, 30 м, 40 м. Производились измерения высоты изображения объекта, и по предложенному методу определялась дистанция

1 м, по мере удаления объекта от телевизионной камеры ошибка увеличивается и на дистанциях свыше 100 м достигает 5 м.

Рис. 7. Изменение расчетной дистанции (м) при увеличении расстояния между объектом и телевизионной камерой

Результаты экспериментальных исследований на этом этапе позволили определить численные значения коэффициентов пропорциональности изображения в продольном и поперечном направлениях для используемой в эксперименте телевизионной камеры.

Следующий этап исследований заключался в определении курса и скорости перемещения объекта.

Для этого определялись координаты положения объекта на экране телевизионной камеры по смещению его изображения относительно вертикальной оси экрана. Объекты находились в разных местах по отношению к положению телевизионной камеры. Задача состояла в оценке расстояния до них и в определении координат этих объектов.

На представленном на рис. 8 изображении различимы человеческие фигуры, расположенные в трёх различных местах относительно положения те-

После определения координат объектов рассчитаем курс между их положениями, как будто эти положения объектов соответствовали бы различным моментам времени.

Допустим: получены изображения в моменты времени t ₁ и t ₂, которым соответствуют положения человеческих фигур на рис. 8.

Таблица 1. Определение продольного и поперечного смещения цели по результатам обработки изображения

левизионной камеры: – на переднем плане справа чётко видна фигура человека, – в центре экрана на некотором удалении – вторая человеческая фигура; – слева в верхней части изображения очень мелко расположены две человеческие фигуры. В табл. 1 приведены результаты измерений, полученные в ходе обработки изображений на экране телевизионной камеры. Измерения расстояний от положения телевизионной камеры до положения рассмотренных объектов с использованием рулетки подтвердили правильность результатов обработки.	№ п/п	Измеренные параметры изображения, мм		Расчётные смещения цели в продольном и поперечном направлениях, м
		высота изображения	расстояние до осевой линии	продольный размер y	поперечный размер x
	1	60	180	10	6
	2	13	5	40	2
	3	3	10	180	5
	4	3	20	180	10

Рис. 8. Вид экрана телевизионной камеры и фрагменты изображения, расположенные на разном удалении от телекамеры

Курс движения между точками, в которых расположены указанные человеческие фигуры, определяем из выражения:

( y„ - y. ^

Q = a 1 + arctanl ———

^ x 2 - X 1 _v

После подстановки значений получаем:

Г 2-6 )

Q = 336 ° + arctanl---- — I = 329 ° •

( 40 - 10 J

Для оценки правильности полученных результатов по GPS-приёмнику определялся курс перемещения от точки положения человеческой фигуры на переднем плане до точки положения человеческой фигуры в центре экрана, который составил 330°.

Пройденный путь, вычисленный по (4), составил 30,26 м; в действительности расстояние составило 32,00 м.

Перемещение между указанными точками длилось 36 с., в результате чего скорость движения, рассчитанная по формуле (9), составила 3,026 км/ч. Точная скорость движения по показаниям GPS-навигатора составила 3,2 км/ч.

Заключение

Предложен метод определения координат и параметров движения объекта по результатам обработки изображений на экране телевизионной камеры.

Результаты проведённых экспериментальных исследований позволили проверить работоспособность метода и установить ошибки определения курса и скорости перемещения объекта. Ошибка по курсу не превысила 1°, а по скорости составила 5%.