Предварительная обработка цифровых изображений в системах локализации и распознавания дорожных знаков

Настоящая статья посвящена проблеме распознавания дорожных знаков, которая становится всё более насущной. Количество автомобилей постоянно увеличивается , как и количество аварий на дорогах. Именно поэтому большое внимание уделяется методам интеллектуальной обработки информации и принятия решений в системах активной автомобильной безопасности.

Система распознавания дорожных знаков предназначена для предоставления водителю актуальной информации о дорожной обстановке. Существует несколько таких систем: «Opel Eye» компании Opel, «Speed Limit Assist» от компании Mercedes-Benz, «Traffic Sign Recognition» компании Ford и другие. Большинство из них нацелено на детектирование и распознавание дорожных знаков ограничения скорости движения [1].

Распознавание дорожного знака обычно происходит в два этапа: детектирование знака и последующее распознавание. Существует множество различных методов распознавания [2], [3], [4]. Фактически распознавание объекта небольшого размера не вызывает особенных сложностей при наличии образцов или шаблонов возможных дорожных знаков. Существенной вычислительной сложностью обладает алгоритм детектирования.

Производительности существующих портативных компьютеров не всегда достаточно для осуществления детектирования дорожных знаков в режиме реального времени. Большинство алгоритмов детектирования основано на преобразовании Хафа, которое позволяет эффективно обнаруживать параметризованные кривые на изображении, но этот алгоритм является очень чувствительным к качеству цифрового изображения, особенно к наличию шума на изображении. Чем больше на изображении шума, тем больше времени займёт процесс детектирования объектов.

Таким образом, возможность детектирования дорожных знаков в реальном времени сильно зависит от качества подготовки препарата. В настоящей статье предложен эффективный алгоритм извлечения качественного препарата с низким уровнем шума из входного изображения для последующей обработки алгоритмом детектирования и распознавания дорожных знаков.

Цветовой анализ

Современные дорожные знаки спроектированы таким образом , что водитель может практически моментально провести идентификацию знака. Это возможно благодаря ограниченному набору возможных цветов, геометрических форм и размеров . В частности, используются всего четыре цвета: белый, красный, жёлтый и синий. В настоящей работе рассмотрен алгоритм подготовки препарата для детектирования дорожных знаков на примере знаков, содержащих красный цвет.

Специфические условия освещённости значительно влияют на возможность корректного восприятия цвета объектов снимаемой сцены. При съёмке реальной дорожной ситуации на знаках возникает целый ряд различных условий освещения, сильно усложняющих детектирование объектов: прямые солнечные лучи, отражённый свет, затенения, свет автомобильных фар в тёмное время суток. Более того, различные искажающие эффекты могут присутствовать на одном дорожном знаке одновременно (рис. 1 а ).

б)

Рис. 1. Дорожный знак с затенением (а); выделение красного в пространстве RGB (б)

Таким образом, на изображениях, получаемых с камеры, установленной в автомобиле, не всегда возможно выделить интересующую область по цвету с помощью простого применения порогового фильтра напрямую в цветовом пространстве RGB (Red, Green and Blue). На рис. 1 б представлен пример применения порогового фильтра к каналу красного цвета.

Для извлечения красного цвета из входного изображения необходимо использовать информацию о цвете каждого пикселя независимо от его неконтролируемого показателя освещённости. Для этих целей было выбрано цветовое пространство HSV (Hue, Saturation and Value).

Цветовое пространство HSV принадлежит к груп- пе цветовых пространств, изначально основанных на человеческом восприятии цветов. HSV в основном используется в области компьютерного зрения и компьютерной графики. Рис. 2 иллюстрирует стандартное представление цветового пространства HSV в виде конуса. Оттенок (H) изменяется по окружности конуса, насыщенность (S) цвета возрастает с отдалением от оси конуса, а яркость (V) – с приближением к его основанию. Различные оттенки и цвета определены при движении против часовой стрелки от 0 до 360 градусов. Насыщенность варьируется в пределах от 0 до 1 и представляет собой «чистоту цвета» – чем ближе этот параметр к 0, тем ближе цвет к нейтральному серому. V содержит информацию о яркости пикселя, принимает значения от 0 до 1.

Рис. 2. Коническое представление модели HSV

Большинство цифровых сенсоров получают входные изображения в формате RGB. Для перехода в цветовое пространство HSV необходимо применить следующие преобразования [5]:

0, max = min,

G — B

60------- — + 0, max = R , G >  B ,

H = ^

max - min

G — B ----------;--+ 360, max — min

B — R . + 120, max — min

R — G. + 240, max — min max = R, G < B,,

max = G ,

max = B ,

где max = max( R , G , B ) , min = min( R , G , B ) , a R, G и

B принимают значения от 0 до 1.

0, max = 0

5 = ^

1 —

min max

иначе .

V = max( R , G , B ) .                              (3)

Между компонентами H, S и V существуют определённые зависимости. Компонент H не будет иметь значение, если S или V компоненты представлены значениями, близкими к 0. Отображаемый цвет будет являться чёрным, если V равняется 0. Чистый белый цвет получается при V=1 и S=0 [6], [7].

«Идеальный» красный (R=255, G=0, B=0) в цветовом пространстве HSV определяется следующими значениями: H = 0,0 ° , 5 = 1, V = 1. Экспериментальным путём были определены оптимальные пороговые значения для выделения красного цвета дорожных знаков в пространстве HSV:

(0,0° < H < 23°) v (350° < H < 360°),(4)

0,85 < 5 < 1,(5)

0,85 < V < 1.(6)

Рис. 3 показывает результат обработки изображения дорожного знака (рис. 1 а ) с помощью пороговых значений (4) – (6) в цветовом пространстве HSV.

Рис. 3. Применение порогового фильтра в HSV

Удаление шума

Бинарное изображение, представленное на рис. 3, удовлетворяет условиям многих алгоритмов детектирования дорожных знаков. На представленном рисунке эффективно сработают алгоритмы с применением вейвлета Хаара [8], метода Хафа [9], регулярных выражений [2] и другие. Однако легко заметить наличие шума на изображении. Препарат на рис. 3 хорошо подготовлен для последующей обработки, но при захвате кадров из видеопоследовательности ситуация совершенно иная.

Фрагмент изображения на рис. 1 а был получен с помощью фотоаппарата с разрешающей способностью 8,9 мегапикселей, и условия съёмки были ощутимо лучше, чем при съёмке видеокамерой, встроенной в автомобиль: большая чувствительность матрицы, близкое расстояние до знака, отсутствие размытия из-за движения автомобиля. На рис. 4 а представлен фрагмент кадра, содержащий дорожный знак, из видеопоследовательности, полученной во время экспериментов.

Шум на рис. 4 б , возникающий при пороговой обработке с выделением красного цвета, не только ухудшает производительность системы, но и влияет на качество детектирования. Это может привести к ложному детектированию дорожного знака.

Для устранения такого точечного шума был выбран модифицированный алгоритм на основе результатов, полученных в работах [10] – [12]. В указанных работах была решена задача детектирования и ретуширования точечных и протяжённых («трещин») бликов на репродукциях произведений живописи.

а)

б)

в)

Рис. 4. Кадр видеопоследовательности (а), бинарное изображение с извлечённым красным цветом (б), бинарное изображение после обработки алгоритмом устранения шума (в)

Эти артефакты возникали на цифровых фотоснимках вследствие неровности нанесения краски и, следовательно, из-за неравномерного отражения света от рельефной поверхности картин. Для обнаружения бликов был использован алгоритм скользящего окна с вложенным окном меньшего размера. Были введены несколько специальных признаков для детектирования артефактов. Рассматриваемая область считалась бликом, если выполнялись следующие условия:

max f(x,y)≥ f1,

( x , y ) ∈ W ₁

M f (x, y) (x,y)∈W1          ≥M ,

M f(x, y)     1

( x , y ) ∈ W 0

∑ I(x,y)≤S1,

( x , y ) ∈ W 1

D(W1) ≤D1.

Здесь f ( x , y ) – значение пикселя в точке с координатами x и y , W 1 и W 0 – соответственно размеры большого и вложенного маленького окон, M f ( x , y ) – среднее значение яркости внутри окна W 1 или W 0 , I ( x , y ) – количество «ярких» пикселей внутри определённой области, D ( W ₁ ) – диаметр области, т.е. значение, определяющее степень компактности области. f ₁ , M ₁ , S ₁ , D ₁ – экспериментально подобранные пороговые значения. Неравенство (7) накладывает ограничение на минимальную величину абсолютной яркости, а (8) – на величину относительной средней яркости в окнах W 1 и W 0 .

Данный алгоритм показал эффективные результаты при обработке цифровых репродукций. При настройке алгоритма под задачу обнаружения и устранения шума на изображениях с выделенным красным цветом было снято условие (7), так как изображение является бинарным и этот признак более не информативен в новой задаче. Несмотря на другое происхождение шума на изображениях дорожных знаков, алгоритм так же эффективно справился с устранением артефактов (шума). Результат обработки изображения на рис. 4 б представлен на рис. 4 в .

В работе [12] также показана эффективная реализация алгоритма устранения шума в массивномногопоточной среде CUDA. Полученное ускорение работы на графическом процессоре относительно ЦПУ достигало 60-80 раз. Размер кадра видеопоследовательности составляет 1920×1080 пикселей. Время обработки изображения на ЦПУ составляет 0,7–1 с. Использование CUDA на ГПУ c достаточно низкой производительностью NVIDIA GeForce 335m позволило сократить временные затраты до 7–10 мс, что удовлетворяет требованию обработки видеопотока в реальном времени.

Таким образом, модифицированный алгоритм детектирования и устранения артефактов позволил улучшить качество изображения, подготовленного для алгоритма детектирования дорожных знаков. Общее время, затрачиваемое на обработку входного изображения, составило 10–20 мс.

Результаты экспериментов

Разработанный алгоритм был протестирован на кадрах видеозаписей, полученных в результате съёмки из автомобиля на улицах города Самары на камеру GoPro Hero 3 Black Edition.

Для детектирования дорожных знаков был применён алгоритм с использованием обобщённого преобразования Хафа [9]. На рис. 5 и рис. 6 а приведены фрагменты исходных изображений с отмеченными на них дорожными знаками.

Рис. 6б демонстрирует работу алгоритма детектирования знаков без предварительного применения алгоритма устранения шумов, представленного в настоящей работе. Несложно заметить, что при детектировании была допущена ошибка. На необработанном зашумлённом изображении алгоритм детектиро- б)

вания собрал больше голосов для скопления шумов, чем для дорожного знака, находящегося в тени.

Рис. 5. Фрагмент кадра с отмеченным дорожным знаком

Рис. 6. Пример правильного детектирования знака (а), пример ошибки детектирования (б)

Следует отметить, что работа алгоритма детектирования на изображении с наличием шума заняла 250 мс. При этом дорожный знак на изображении, очищенном от шумов, был найден почти вдвое быстрее – 131 мс.

Заключение

В настоящей работе предложен алгоритм подготовки цифрового изображения, захваченного из видеопоследовательности, к детектированию дорожных знаков. Цветовая модель HSV оказалась наиболее подходящей для извлечения красного цвета на изображениях, и, благодаря экспериментально подобранным пороговым значениям, появилась возможность получать красный цвет независимо от условий освещения. А модифицированный алгоритм устранения шума помог не только избежать ошибок детектирования знаков, но и ускорил обработку изображений в 2 раза. Разработанный алгоритм позволяет улучшить качество и повысить надёжность автомобильных систем распознавания дорожных знаков и уменьшить время, необходимое на обработку 1 кадра, что приближает к возможности проводить детектирование и распознавание знаков на Full HD изо- бражениях 1920×1080 из видеопоследовательности в реальном времени.

Задачей для дальнейшего исследования является разработка нового алгоритма локализации дорожных знаков, устойчивого к возможным поворотам и наклонам объекта поиска, а также алгоритма распознавания типа знака. Применение новых алгоритмов позволит проводить в реальном времени обработку видеопотока с высоким разрешением, а следовательно, на большем расстоянии и с лучшим качеством относительно аналогов.

Работа выполнена при поддержке РФФИ (проекты № 12-07-00581-а, № 12-07-31208, 13-07-97000-р_поволжье_а, 13-07-12181, 13-07-12030).