Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа

Одна из важных задач, решаемых в системах видеонаблюдения, - обнаружение оставленных подозрительных предметов. Эта задача особенно актуальна для вокзалов, аэропортов, автостоянок. В существующих системах видеонаблюдения для решения задачи обнаружения небольших предметов, оставленных в зоне наблюдения, присутствует детектор объектов. Этот детектор реагирует на любые изменения сцен, в частности, блики от стёкол, номерных знаков автомобилей и др. в солнечный день приводят к частым ложным срабатываниям детектора.

Для устранения ложных срабатываний необходимо распознать в появляющихся объектах блики, определить их контур и исключить из зоны наблюдения на время их существования. Будем в дальнейшем называть алгоритм устранения бликов детектором бликов, действующим параллельно с основным детектором объектов.

На рис. 1 приведён зарегистрированный камерой видеонаблюдения кадр с изображением участка улицы, на котором расположена стоянка автомобилей и проезжая часть. Вследствие изменения углов падения лучей, блики от автомобилей, находящихся на стоянке, будут появляться и исчезать, что может восприниматься системой видеонаблюдения как появление посторонних предметов. В настоящей работе развивается предложенный в [1] подход к решению задачи детектирования бликов на основе анализа фрактальной размерности.

В работе [2] для распознавания компактных артефактов применялся ещё один метод фрактального анализа - метод итерированных функций [3]. Этот метод может использоваться для решения задач детектирования широкого класса компактных объектов достаточно простой формы. В частности, такой подход также может применяться для обнаружения оставленных предметов.

В настоящей работе, наряду с указанными выше задачами, исследуется также применение этого метода к распознаванию дорожных знаков. Решение этой 3az тем о средств, знака, п

1. Детектирование бликов на основе анализа фрактальной размерности

Анализируемое изображение U определим как скалярную функцию яркости, заданную над множеством пар координат:

U: Z, -> R, u = uip i = \,...,N, j = l,...,N.

Алгоритм локализации и распознавания бликов реализуется в виде трёх этапов.

На первом этапе выполняется поиск точек, принадлежащих блику, с использованием алгоритма, предложенного в [4]. Область ^, проверяемая на наличие блика, задаётся в виде квадратного окна со стороной h,_d (А). Эту область называют окном поиска, а окрестность окна поиска И[ - опорным окном.

Квадратное окно со стороной h_w, содержащее в себе оба окна, обозначим W . Алгоритм обнаружения блика заключается в последовательном прохождении окном W по изображению. Для каждого положения окна поиска принимается решение о принадлежности его центральной точки блику [4].

Для формулировки критерия принадлежности введём обозначения:

1^ = z 4,1 /с

U.iW,

• -    средняя яркость отсчётов в окне поиска,

  /,о= I 4,11^

u.jw„

• -    средняя яркость отсчётов в опорном окне. Тогда критерий принадлежности можно представить в следующем виде:

Ли / Ko ^/,„;„,                                   (2)

где /_min - минимальное отношение I_m H_wo , при котором принимается положительное решение о принадлежности центральной точки окна блику.

На втором этапе для полученного массива точек, принадлежащих бликам, в четырёх направлениях от каждой точки рассчитывается функция контраста [4]:

где а - некоторая константа. Область расчёта функции контраста задаётся исходя из возможности появления блика с максимальной площадью. Затем для каждого направления определяется максимум функции (3). Четыре максимума функции задают прямоугольник, в котором локализован блик. При пересечении областей локализации бликов они объединяются. Рис. 2 демонстрирует описанный алгоритм.

На третьем этапе для полученных прямоугольных областей локализации бликов рассчитывается фрактальная размерность (размерность Минковского) [3]. Для этого прямоугольники разбиваются на равные области заданного размера е, и выполняется подсчёт числа е-областей, покрывающих блик. Размерность Минковского в общем виде выглядит следующим образом:

Лв) = _^<Ч + к«£, (4) logs logs где N(e?) - количество е-областей, покрывающих блик, с>0 константа. Чтобы исключить константу, подсчёт Nk) выполняется для трёх различных зна чений £. Затем выполняется аппроксимация полу ченных результатов методом наименьших квадратов [1]. Бликами считаются выделенные на изображениях объекты, для которых рассчитанные фрактальные размерности (4) удовлетворяют заданному диапазону (в данном случае от 1,6 до 1,8).

Рис. 2. Локализация блика с использованием функции контраста

• 2.    Системы итерированных функций для распознавания дорожных знаков

В большинстве известных подходов и методов задача распознавания знаков решается в три этапа [5]. Первый этап - детектирование или локализация знака на изображении. На этом этапе определяется прямоугольный фрагмент видеокадра, содержащий знак. Второй этап - аффинные преобразования знака с целью исключения поворотов, проективных и масштабных искажений. Третий этап - собственно распознавание знака по его нормализованному изображению. Часто применяют инвариантные к поворотам, сдвигам и изменениям масштаба алгоритмы, при этом второй этап может отсутствовать [6].

В настоящей работе строится алгоритм распознавания знаков по локализованному фрагменту, содержащему знак. В частности, предлагается алгоритм, использующий системы итерированных функций (СИФ).

Известны работы, в которых основанные на СИФ методы фрактального распознавания используются для распознавания лиц [7], [8], [9], формы [10], [И] и др. В работе [2] рассмотрено использование СИФ для распознавания и классификации цветоконтурных фрагментов с целью последующей цветовой коррекции. В работе [12] метод на основе СИФ используется для распознавания текстовой информации, размещённой на дорожных знаках.

Цель настоящего исследования состоит в построении эффективных алгоритмов распознавания изображений дорожных знаков. Первый этап распознавания заключается в определении наиболее значимой информации для известных дорожных знаков. В данном случае для получения значимой информации о распознаваемых объектах (дорожных знаках) предлагается использовать алгоритм фрактального сжатия на основе СИФ.

Фрактальный подход к распознаванию реализуется в виде двух этапов: фрактального сжатия и последующего распознавания. Различные технологии от

личаются лишь конкретными алгоритмами, применяемыми на этих этапах. В настоящей работе для сжатия используются СИФ на основе аффинных преобразований. Для распознавания используется сравнение аттракторов тестового изображения и эталона.

Рассмотрим подробнее этап сжатия. Основная идея анализа формы с помощью СИФ заключается в следующем. Исходное изображение разбивается на квадратные непересекающиеся области, называемые ранговыми областями, и на более крупные квадратные области, называемые доменными областями. Алгоритм сжатия на основе СИФ для каждой ранговой области ищет наилучшее в заданном смысле преобразование из доменной в ранговую область. Кодирование исходного изображения осуществляется посредством применения нескольких аффинных преобразований.

Используя высокоточное разбиение и большой набор аффинных преобразований, удаётся достичь полной эквивалентности распакованного и исходного изображений. Алгоритм распознавания не требует высокого качества восстановленного изображения, поэтому можно использовать приближённое регулярное разбиение с использованием небольшого набора аффинных преобразований. При этом возрастает скорость обработки и увеличивается устой

чивость алгоритма распознавания к искажениям. Такой подход позволяет быстро кодировать изображения различных размеров в определённый набор коэффициентов преобразований.

Аффинные преобразования описываются следующей формулой:

|l

Ui,j ~ С7 "Ui,j + С8’ где вектор (ij")T определяет координаты пикселя в доменной области, сп...,с6 - коэффициенты преобразования, вектор (i*j*)T соответствует координатам пикселя в ранговой области, и - яркость пикселя в

ранговой области, и - яркость пикселя в доменной области, с₇- параметр контраста, с₈ - сдвиг яркости.

В настоящей работе мы используем 8 различных наборов коэффициентов с_ь с₂, с₃, с₄, представленных следующими матрицами:

О

О

О

О

О

О О

_

О

О

О

_

_

О

О

о

о

о

_

_

о

Данные преобразования обеспечивают различные виды поворотов и отражений доменных областей, а также сжатие с коэффициентом 0,5. Поскольку преобразования являются сжимающими, выполняется условие теоремы Банаха о неподвижной точке. Таким образом, гарантируется наличие и единственность устойчивого множества, порождаемого данными преобразованиями.

Цель стадии сжатия заключается в нахождении наилучшего в смысле заданного критерия преобразования из доменной области в ранговую. Такое преобразование определяется посредством применения каждого преобразования к каждой доменной области для каждой ранговой области. В качестве искомого вектора коэффициентов преобразования принимается вектор с = [с,,...,c₈f , доставляющий минимальное значение нормы разности между изображением, полученным в результате аффинных преобразований (5), и оригиналом:

с* = arg min ||[/, /(с, J7)||.                           (6)

С

Таким образом, определяются самоподобные части изображения. В результате каждому исходному изображению сопоставляется фрактальный аттрактор, полученный итерированием аффинных преобразований:

4i =U^^c*’^o),

4^ =ижЧт            о

4 = '™U^C*’^)’ где q - полученный аттрактор, q0 - любое затравочное изображение.

Для образца, который требуется распознать, согласно (7) ставится в соответствие столько аттракторов, сколько имеется в наличии векторов эталонов. Для сравнения аттрактора образца р и аттрактора эталона q используется Евклидова норма:

d{p,q) = ||/2-д|₂ = ^ES (a,/ -4,,jV >       (⁸)

где I_h, L - высота и ширина изображений р и q соответственно.

Различие между аттракторами можно выразить следующим решающим правилом:

d^f^c^pj^q^

D = ---i---------------,                          (9)

где q_t - аттрактор знака эталона, U/(с, ) - набор соответствующих ему преобразований, a pj - аттрактор неизвестной области. Чем меньшее числовое

значение принимает критерий (9), тем ближе рассматриваемый образец к эталону.

• 3.    Результаты экспериментов

В задаче детектирования бликов проведено сравнение разработанного метода с алгоритмом на основе метода активного контура (АК) [13]. Результаты сравнения производительности двух алгоритмов приведены на рис. 3. Алгоритм АК выделяет точный контур блика, как показано на рис. 4а. Алгоритм на основе функции контраста и анализа фрактальной размерности позволяет выделить прямоугольную область, содержащую блик, как показано на рис. 46. Такой результат является приемлемым для поставленной задачи. При этом алгоритм вдвое быстрее, чем алгоритм АК.

распознавания и демонстрирует устойчивость к искажениям масштаба, сдвига и поворота в широком диапазоне.

а)ЖИ

Для каждого тестового примера вычислялось значение близости фрактальных аттракторов изображений с обучающей выборкой. В качестве порогового значения параметра выбрано 0 = 0,045. Результаты эксперимента показывают, что фрактальный метод распознавания устойчив к изменениям масштаба, поворотам изображений знаков до 15°, а также к размытию входного изображения, эквивалентному размытию по Гауссу с параметром о< 12. Результаты экспериментальных исследований зависимости значений критерия близости аттракторов (8) от типа искажений приведены на рис. 7.

Для анализа свойств и характеристик фрактального метода распознавания знаков проводился следующий численный эксперимент. В качестве обучающей выборки использовались три близких между собой подгруппы знаков из группы знаков ограничения скорости: 40 км/ч, 50 км/ч, 60 км/ч (рис. 5). В качестве тестовой выборки использовался знак «Ограничение скорости до 50 км/ч» с различными типами искажений: размытие, поворот, масштабирование (рис. 6).

Первые три результата на рис. 7 показывают зависимость от степени размытия, четвёртый знак демонстрирует поворот на 15%, пятый знак демонстрирует увеличение масштаба в 1,5 раза. Заметим, что в последнем примере существенного размытия произошла ошибка распознавания.

Таким образом, результаты экспериментов подтверждают, что алгоритм распознавания на основе СИФ обеспечивает достаточно высокое качество

Рис. 6. Выборка знаков-образцов для распознавания

Были проведены также эксперименты по распознаванию знаков при наличии заметного фона. Эксперименты показали, что наличие фона не влияет на результаты распознавания в случае искажений типа размытия или сдвига (рис. 8). В то же время при наличии искажений, связанных с изменением яркости и сменой фона, а также при малом объёме обучаю-

щей выборки фрактальный метод распознавания оказывается недостаточно эффективным.

Рис. 7. Зависимость значения близости аттракторов для разных типов искажений

Рис. 8. Зависимость значения близости аттракторов для изображений с фоном

В работе [2] фрактальный метод использовался для детектирования артефактов на изображении (бликов) по заданному эталону. Метод на основе СИФ достаточно эффективен для решения такой задачи, что подтверждается результатами следующего эксперимента.

В качестве обучающего эталона использовалось изображение блика. Пороговое значение параметра D выбиралось равным 15. На рис. 9 представлены результаты сравнения аттракторов различных изображений. Изображения, имеющие структуру, сходную со структурой эталонного блика, успешно распознаются.

Рис. 9. Зависимость значения близости аттракторов при распознавании бликов

Результаты экспериментов подтвердили также, что метод распознавания на основе сравнения фрак

тальных аттракторов применим и для решения задачи распознавания дорожных знаков.

• 4.    Обсуждение результатов

Методы фрактального анализа оказываются эффективными для решения ряда принципиально различных задач: поиск объектов на изображении, детектирование солнечных бликов, распознавание дорожных знаков, поиск бликов по заданному эталону.

Аналогичная задача поиска компактных артефактов по заданным эталонам в работе [14] решалась с использованием критерия сопряжённости. В указанной работе распознавание использовалось также для уточнения результатов детектирования объектов с учётом их специальных характеристик.

Компактные артефакты с различными характеристиками могут быть также использованы для идентификации корректирующих преобразований в задачах улучшения качества и цветовой коррекции изображений [15], [4], [14]. Такие компактные артефакты, как правило, характеризуются набором цветовых и контурных признаков.

Рассматриваемые в настоящей статье задачи детектирования также основаны на цветовых и контурных признаках. Так, критерий (2) в задаче детектирования отвечает за яркостную (цветовую) составляющую, а фрактальный критерий (4) - за контурную. В системе соотношений (5), определяющих СИФ, первое соотношение отвечает за контурную составляющую, а второе - за цветовую.

В работе [15] показано, что компактные артефакты, детектируемые по цветовым и контурным признакам, могут применяться при решении задач устранения точечных и протяжённых бликов, коррекции теневых искажений и матовых бликов. В настоящей работе показано, что эти подходы могут быть применены при распознавании дорожных знаков.

Описанные компактные артефакты могут быть определены как компактные локальные цветоконтурные элементы на изображении. На качественном уровне они могут представляться в виде локальных замкнутых областей на изображении, компактные как в пространственной, так и в цветовой области. Цветоконтнурные элементы могут быть описаны в виде набора цветовых и контурных признаков (как это было сделано для протяжённых бликов в (2), (4)), а также могут быть заданы в виде обучающей выборки элементов-эталонов.

Цветоконтурные элементы могут использоваться как вспомогательные объекты при решении задачи цветовой коррекции изображений по аналогии с использованием локальных особенностей [16]. Однако в отличие от указанных локальных особенностей цветоконтурные элементы не детектируются, а распознаются, например, с использованием СИФ (5) и решающего правила (9). Это даёт основание полагать, что цветоконтурные элементы занимают промежуточное положение между локальными особенностями и самостоятельными объектами на изображении.

Заключение

В работе удалось решить две принципиально разные задачи: детектирование артефактов и распознавание дорожных знаков с использованием общего подхода - фрактального анализа. В задачах анализа формы артефактов предпочтителен критерий фрактальной размерности. Разработанный с использованием этого критерия алгоритм обеспечивает сокращение в два раза времени обработки по сравнению с методом на основе алгоритма активного контура.

Задача распознавания дорожных знаков решена с использованием систем итерированных функций. Построенный алгоритм распознавания демонстрирует высокую устойчивость к изменениям масштаба, сдвига и поворота.

Благодарност и

Работа выполнена при поддержке Министерства образования и науки РФ (ГК № 07.514.11.4105) и РФФИ (проект № 11-07-12051-офи-м).