Система компьютерного зрения движущегося воздушного объекта

Одной из серьёзных проблем компьютерного зрения является задача наблюдения за объектами при различных трансформациях. Чувствительность этих систем наблюдения к геометрическим искажениям объектов делает эту задачу достаточно сложной.

Если рассмотреть систему компьютерного зрения в усечённом варианте, то её можно представить следующей схемой.

Выделение объекта

Контуризация объекта

*

Формирование признаков объекта

*

Отображение: объект - номер класса

Рис. 1. Система компьютерного зрения

Предпоследний этап - это формирование признаков объекта, которые его уникально идентифицируют.

Основным требованием к системе формирования признаков анализируемого объекта является требование их эффективности в процессе распознавания. Эти требования эффективности распознавания накладывают определённые ограничения на значения признаков, а именно: для объектов различных классов значения должны образовывать компактные области – кластеры - в пространстве признаков. Кроме того, желательно, чтобы они были устойчивы к ряду возможных искажений объекта.

В данной работе будут рассмотрены инвариантность системы к следующим изменениям:

• •    к изменению местоположения объекта;

• •    к изменению масштаба объекта;

• •    к изменению ориентации объекта (к повороту объекта в плоскости изображения);

• •    к определённым аффинным преобразованиям.

Для задачи распознавания контурного движущегося объекта нет необходимости рассчитывать характеристики инвариантные к шумовым и динамическим искажениям, изменению яркости и контрастности. Достаточно остановиться только на инвариантах, причисленных выше.

Известно несколько методов для решения поставленной задачи, которые подробно рассмотрены в [1, 2, 3].

Метод Фурье–Меллина предназначен для сопоставления изображений в присутствии взаимного геометрического преобразования из группы подобия. Метод не чувствителен к простым искажениям. Применить его к оценке перспективных искажений можно, но это очень затратная задача с точки зрения ресурсов.

Другой метод классификации объектов основан на контуре объекта. Контур можно представить как одномерный сигнал, который позволяет проще устранять эффекты геометрических искажений. Метод Фурье дескрипторов реализует требования к инвариантности, но в вычислительном плане он очень затратный, что усложняет применение в задачах реального времени.

Метод, основанный на анализе моментов, используется на «поточечных» или растровых изображениях. Он позволяет рассчитывать инвариантные характеристики к любым геометрическим искажениям. Также является очень ресурсоёмким.

1. Признаки формы на основе анализа моментов

Попытаемся применить метод моментов по контурному изображению, тем самым сократив его вычислительную сложность в несколько раз.

Рассмотрим изображение как функцию двух непрерывных аргументов f (x, y). Момент порядка (p + q) определяется как да да mpq = ff xpyqf (x-y) dx dУ для p, q =0, 1, 2,.... Теорема единственности утверждает, что для любой кусочно-непрерывной функции f (x, y), принимающей ненулевые значения только в конечной области плоскости ху, существует момент любого порядка и последовательность моментов (mpq) однозначно определяется функцией f (x, у). И наоборот, mpq однозначно определяет функцию f (х, у) [1]. Будем использовать центральные моменты, обладающие инвариантностью к сдвигу.

X X

M pq = И (x - x) p ( У - У ) q f ( x, У )dx dУ, mm где x = —— и y = —01, m00         m00

где x, y - координаты центра тяжести изображения.

Так как f ( x , y ) - дискретное изображение, то равенство принимает вид

М pq = ZZ( x - x ) p ( y - y ) q f ( ^x-y ) d x ^d y .

xy

Основным достоинством моментных инвариантов является нечувствительность к поворотам изображения, что делает эффективным их применение в качестве признаков в задаче обнаружения и распознавания на изображении объектов неизвестной ориентации [1, 3, 4].

^00=Z Z(x - x)0( y - y)0 f(x, y)= xy

= ZZ f ⁽ x ^, y )= ^m 00 , xy

Ц 10 = Z Z ⁽ x - x ⁾¹⁽ y - y ⁾⁰ f ⁽ x , y ) = m l xy

^01 = Z Z(x - x)0( y- y )1 f(x, y) =m 01 xy мп =ZZ(x-x)1( y- y )1 f(x, y) = xy mm

= ^m 11^1 = ^m 11 ^- y 10 , m ₀₀

^ 20 = Z Z ^{( x - x )2(} y ^- y ⁾⁰ f ^{( x} , y ) = xy

2 m  m

= m 20--— + —— = m 21 - x 10, m00   m00

^02=Z Z(x - x)0 (y- y)2 f(x, y) = xy m2

= m02--01 = m02 - ym01, m00

^ 21 = Z Z ^{( x - x )2 (} y ^- y ⁾¹ f ^{( x} , y )= xy

— ( m 00 ) = 0, ^m 00

m ⁰¹ ( m 00 ) = 0, ^m 00

= m ₂₁ - 2 xm₁₁ - ym ₂₀ + 2 x m ₀₁ , ^ 12 = Z Z ( x - x )¹( y - y )² f ( x , y ) = xy

= m ₁₂ - 2 ym₁₁ - xm ₀₂ + 2 y m ₁₀ , ^ 30 = ZZ ^{( x - x )3(} y ^- y ⁾⁰ f ^{( x} , y ) = xy

= m ₃₀ - 3 xm ₂₀ + 2 x m₁₀,

^ 03 = ZZ ^{( x - x )2(} y ^- y ⁾³ f ^{( x} , y ) = xy

= m ₀₃ - 3 ym ₀₂ + 2 y m ₀₁ .

Данный набор использует только момент до порядка p + q < 3 . Он обеспечивает полноту, то есть возможность построения с помощью моментов до заданного порядка других функционально независимых инвариантов, в то же время отсутствует функциональная избыточность, когда есть возможность выразить один из инвариантов как функцию других.

Нормированные центральные моменты определяются как

П pq =^ p^L , где Y = p + q +1 для Р + q = 2, 3, .... ц 00              ²

На базе моментных инвариантов формируются признаки, устойчивые к преобразованиям подобия. Использование моментов второго и третьего порядков позволяет получить следующий набор из семи инвариантных моментов[1].

Ф 1 =П 20 +П 02 ,

Ф 2 = ⁽П 20 ^-П 02 ^{)2 +} 4П 21 ,

Ф 3 = ⁽П 30 ^{- 3}П 12 ^{)2 + (3}П 21 ^-П 03 ⁾²,

Ф 4 = ⁽П 30 +П 12 ^{)2 +} (П 21 -П 03 ⁾²,

Ф 5 = ⁽П 30 ^{- 3}П 12 ⁾⁽П 30 ⁺ П 12 ^)[(П 30 ⁺ П 12 ) 2 ^-

• ^-3(П 21 +П 03 ^{)2] + (3}П 21 ^-П 03 ⁾⁽П 21 +П 03 ) ^Х

• ^Х[3(П 30 +П 12 ^{)2 - (}П 21 +n 03 ⁾²L

Ф 6 = ⁽П 20 ^-П 02 ^)[(П 30 +П 12 ^{)2 - (}П 21 +П 03 ^{)2] +}

⁺⁴П 11 ⁽П 30 +П 12 ⁾⁽П 21 +П 03 ),

Ф 7 = ⁽П 30 ^{- 3}П 12 ⁾⁽П 30 ⁺ П 12 ^)[(П 30 ⁺ П 12 ) 2

• ^-3(П 21 +П 03 ^{)2] + (3}П 21 ^-П 03 ⁾⁽П 21 +П 03 ) ^Х

^х[3(п 30 ^+П 12 ) ^{- (п} 21 ^+П 03 ) ^].

Этот набор моментов является инвариантным по отношению к параллельному переносу, повороту и изменению масштаба.

Дополнительно можно получить признаки, описывающие силуэт контура изображения за счёт аффинных преобразований [3,5].

Аффинные преобразования можно рассматривать как декомпозицию следующих трансформаций: преобразование типа сдвига, пропорциональное масштабирование, искажение масштаба вдоль одной из осей координат, поворот и деформацию изображения, неописываемые преобразования подобия.

С использованием моментов второго и третьего порядков получается набор из четырёх аффинных моментных инвариантов [3, 5].

i 1      ₄ (^ 20 ^ 02 М- 11 ),

М 00

i 2 = 10 ⁽ М з0 ^ 03  6^ 30 ^ 21 ^ 12 ^ 03 ⁺ 4^ 30 ^ 12 ⁺

М 00

+4Ц03М21   3М21М12), i 3      7 (^20(^21^03

^ 00

^^^^^^

^ 12 )    Ц 11⁽ Ц зо Ц оз   ^ 21 ^ 12 ) ⁺

+ Ц о2 (Ц зо Ц 12    ^ 21 )X

i 4    (V ^ 00 )( ^ 20 ^ 03    6^ 20 ^ 11 ^ 12 ^ 03    6^ 20 ^ 02 ^ 21 ^ 03 ⁺

+6^- 20 ^ 11 ^ 02 ^ 30 ^ 03 —18^ 20 ^ 11 ^ 02 ^ 21 ^ 12 ⁺

⁺ 9^ 20 ^ 02 ^ 12 + 12^ 20 ^ 11 ^ 21 ^ 03

^^^^^^

^^^^^^

8Ц_ПЦ 30 Ц 30 -6^ 20 ^ 02 ^ 30 ^- 12 ⁺

^^^^^^

+ 9^ 20 ^ 02 ^ 21 ⁺ 12^ 11 ^ 02 ^ 30 ^ 12

^{— 6} Ц_пЦ 02 Ц 30 ^ 21 ⁺ ^ 02 ^ 30 ) •

Рис. 2. Исходное изображение

Рис. 3. Уменьшенное

Рис. 6. Перспективное искажение 1

Рис. 7. Перспективное искажение 2

2. Эксперимент

Исходное изображение было подвергнуто геометрическим искажениям, таким как поворот, уменьшение, а также перспективное искажение. Для каждого изображения были рассчитаны инвариантные характеристики. Результаты прологарифмированы, чтобы сузить динамический диапазон.

Заключение

Рассмотренный нами набор изображений включал в себя ложный контур, помимо исходного изображения и его геометрически искажённых аналогов.

Рис. 4. Повёрнутое на 45°

Рис. 5. Уменьшенное в два раза и повёрнутое на 45°

Рис. 8. Другой контур объекта с той же

Рис. 9. Ложный контур

видеопоследовательности

Таблица 1. Значения инвариантных признаков для исходного изображения

Инвариант	Рис. 2	Рис. 3	Рис. 4	Рис. 5	Рис. 6	Рис. 7	Рис. 8	Рис. 9
Ф 1	-1,306	-1,279	-1,317	-1,305	-1,248	-1,132	-1,564	-1,774
Ф 2	-3,363	-3,221	-3,388	-3,283	-3,045	-2,678	-4,552	-8,864
Ф 3	-6,902	-6,884	-6,940	-7,003	-7,877	-7,187	-7,318	-13,172
Ф 4	-11,337	-10,794	-11,309	-10,834	-9,774	-8,009	-12,350	-14,863
Ф 5	20,471	19,692	20,434	19,856	-18,633	-15,638	-22,184	28,936
Ф б	13,024	12,498	13,027	12,607	-11,463	-9,367	-14,840	-20,511
Ф 7	-22,243	20,727	-27,321	20,595	-19,981	-17,011	26,612	-30,010
i 1	-4,639	-4,671	-4,659	-4,709	-4,744	-4,731	-4,790	-4,939
i 1	18,049	18,081	18,131	18,333	20,643	21,681	18,831	-30,718
i 1	11,171	11,222	11,229	11,380	12,346	12,339	11,723	17,915
i 1	-13,606	-13,701	-13,691	-13,908	-14,797	-14,757	-14,373	-20,575

Значения инвариантных признаков, рассчитанных для всего набора изображений, позволяют сделать вывод, что с применением простейшего линейного классификатора ложный контур определяется достаточно просто и быстро, поскольку степень различия одноимённых признаков весьма существенна.

В качестве направления дальнейших исследований следует отметить применение более сложных классификаторов для оценки принадлежности выделяемого контура к определённому классу на основе рассмотренных признаков формы.