Информационно-аналитическая система детектирования движения объектов на пешеходном переходе

Задачи идентификации объектов рассматриваются в различных предметных областях (ПрО): медицина [1], авиация [2], дистанционное зондирование Земли [3], дорожное движение [4, 5]. С целью выявления нарушений правил дорожного движения, фиксирования дорожно-транспортных происшествий, поиска автотранспортных средств или установления местоположения человека может использоваться информация о распознавании лиц участников дорожного движения [6], номерных знаков [7], а также автомобилей и пешеходов.

В данной работе рассматривается распознавание автомобилей и пешеходов с целью управления их потоками. В [8] предложена система управления светофором, которая в зависимости от количества участников движения, находящихся на пешеходном переходе, на основе нечётких правил регулирует время работы зелёных и красных сигналов светофора. Разработано специализированное программное обеспечение (СПО) «Программа для регулиро- вания светофора на основе нечёткой логики» [9], алгоритм работы которого модифицирован в данной работе.

Существуют отрытые решения типа OpenCV ( Open Computer Vision Library , библиотека алгоритмов компьютерного зрения, обработки изображений и алгоритмов общего назначения), которые позволяют решать подобные задачи. Наиболее распространённым из этих библиотек является нейронная сеть (НС) YOLO (от англ. You Only Look Once ), которая способна детектировать объекты в режиме реального времени [10, 11]. Другими известными моделями машинного обучения, используемыми для детектирования объектов, являются конволюци-онные НС [12, 13].

Алгоритмы на основе глубоких и рекуррентных НС могут улучшить детектирование пешеходов, особенно в сложных условиях, таких как плохое освещение или интенсивное движение [14]. Методы ансамблевого обучения используются для улучшения точности детектирования путём объединения результатов нескольких моделей [15]. Комбинированные модели создаются путём соединения различных методов компьютерного зрения, с помощью которых строятся гиперплоскости в n -мерном пространстве с целью разделения объектов, относящихся к разным классам [16]. Общим недостатком данных моделей является использования фильтра Канни [17] для выделения контуров на изображении. В работе [18] показано, что данный детектор плохо реагирует на градиент изменения выпуклой и вогнутой формы.

В данной работе используется модифицированный алгоритм нечётко-логического метода выделения контуров объектов, реализованный на первом уровне двухуровневой информационно-аналитической системы управления транспортным потоком (ДИАСУТП), позволяющий детектировать участников дорожного движения с целью расчёта времени задержек сигналов светофоров на перекрёстке.

1    Методическая основа ДИАСУТП 1.1    Онтология предметной области

Онтологическая модель (ОМ) процесса управления транспортным потоком (ТП) позволяет структурировать знания при расчёте времени срабатывания управляющих сигналов светофора и обеспечивает формальное представление функциональности системы в целом. ОМ ДИАСУТП состоит из набора понятий и описания взаимоотношений между ними. Фрагмент описания ОМ представлен на рисунке 1. Для описания процесса управления ТП на пешеходном переходе используется список понятий, в котором определены атрибуты и взаимоотношения между ними (см. таблицу 1).

Структура вычислительных процессов детектирования объектов в ДИАСУТП, позволяющей распознать объекты на перекрёстке в режиме реального времени представлена на рисунке 2. Система состоит из двух уровней: детекция числа автомобилей и пешеходов; расчёт времени задержки сигналов светофора. Первый уровень содержит следующие вычислительные процессы: преобразование исходного изображения в градации серого ; размытие изображения по Гауссу; детектирование границ объектов с помощью алгоритма Канни или нечёткологического метода детектирования контуров объектов [18]; выявление необходимых объектов по выделенным признакам с помощью алгоритма YOLO ; принятие решений об итоговом количестве автомобилей и пешеходов.

Второй уровень ДИАСУТП содержит пять этапов: определение чётких входных переменных; фаззификация значений входных переменных ; выборка решений на основе нечётких правил; дефаззификация значений; определение времени задержки сигналов светофора. Подробно данный уровень описан в работах [8, 9].

Анализирует

Сбор данных

Пешеходный переход :

• 1.    Тип: регулируемый нерегулируемый.

• 2.    Интенсивность

движения.

Свойства и отношения

Пешеходы :

• 1.    Возрастные группы (дети, взрослые)

• 2.    Поведение

ТС:

• 1.    Тип: (легковой автомобиль, грузовик, автобус)

• 2.    Скорость ТС.

• 3.    Стиль вождения

Условия эксплуатации :

• 1.    Время суток

• 2.    Погодные условия

(дождь, снег, ясно)

ДИАСУТП

Определяет

Использование

Создание прототипа

Внедрение

Задачи :

• 1.    Быстро и точно детектировать пешеходов и ТС.

• 2.    Минимизация ложных срабатываний

• 3.    Высокая надежность системы

Применение алгоритмов

Свойства :

• 1.    Пешеход :

• -    скорость,

• -    направление движения, -

• -    возраст.

• 2.    ТС :

• - скорость и тип,-направление движения.

• 3.    Пешеходный переход :

• -    тип (регулируемый), - наличие светофора.

Отношения :

«Находится на» :

Пешеход ^ Пешеходный переход.

« Приближается к »:

Транспортное средство ^ Пешеходный переход.

«Ожидает» :

Пешеход ^ Светофор.

Тестирование

Тестирование системы в различных условиях (день, ночь, дождь, снег)

Оценка точности и времени отклика системы

База данных с информацией: - о пешеходах, - о транспортных средствах - о пешеходных переходах.

Классификация объектов:

• -    распознавание изображений, - построение контуров объектов

• -    детекция объектов с помощью нейросетей и моделей машинного обучения.

Верификация

Использование камер и сенсоров для сбора данных в реальном времени.

Обработка данных с помощью алгоритмов машинного обучения для детектирования пешеходов и транспортных средств

Сравнение результатов работы системы с реальными данными

Корректировка алгоритмов на основе результатов

Рисунок 1 - Фрагмент онтологии управления транспортным потоком (ТС - транспортное средство )

1 уровень - Детекция числа автомобилей и пешеходов

1.1 Получение изображения RGB с видеокамеры

1.2 Преобразование в градации серого

1.3 Размытие по Гауссу

1.4 Применение детектора границ Канни

1.5 Выделение контуров объектов

1.6 Применение алгоритма YOLO

1.7 Блок принятия решений

2

количество автомобилей

количество пешеходов

2

уровень - Рас 2 1 Определение четких входных переменных

чет вре

мени задерж! 2.2 Фаззификация значений входных переменных

си сип ---->

алов светофс 2.3 Выборка решений на основе нечетких правил

ра ---->

2.4 Дефаззифи-кация значений

---->

2.5 Определение времени задержки сигналов светофора

Время регулирования -------->

Рисунок 2 - Структура вычислительных процессов в двухуровневой информационно-аналитической системе управления транспортным потоком

Таблица 1 – Фрагмент спецификации понятий онтологической модели управления транспортным потоком

Понятия	Атрибуты	Отношения с атрибутами
Сбор данных	Данные о пешеходном переходе, поведение транспорта и пешеходов, вид дорожных условий	ДИАСУТП
Свойства и отношения	Детектирование объектов на пешеходном переходе и определение данных о их перемещении	ДИАСУТП
Создание прототипа	База данных и классификация объектов на основе машинного обучения и нейронных сетей	ДИАСУТП
Применение алгоритмов	Использование специализированных устройств для анализа данных на пешеходном переходе, применение нейронных сетей для классификации объектов на пешеходном переходе	ДИАСУТП
Тестирование	Анализ данных о работе ДИАСУТП	Применение алгоритмов
Верификация	Оценка точности работы ДИАСУТП	Применение алгоритмов
Пешеход	Скорость, направление движения, возраст	Свойства и отношения
Транспорт	Скорость, тип, направление движения	Свойства и отношения
Пешеходный переход	Тип, расположение	Свойства и отношения
Направление движения	Находится на…, приближается к…	Свойства и отношения

• 1.2    Преобразование в градации серого цвета

На начальном этапе работы ДИАСУТП происходит получение исходного изображения, полученного с видеокамеры. На втором этапе осуществляется преобразование исходного изображения в формате RGB в градации серого. Для этой цели требуется рассчитать значение интенсивности каждого отдельного пикселя, используя формулу [19]:

Ix v = 0,299Rx v + 0,587Gx v + 0,114Bx v, x,y             x,y             x,y            x,y где Ix,y - интенсивность яркости градации серого в пикселе (Ix,y е[0, 255]) на изображении с координатами вдоль оси абсцисс (x=1…w) и вдоль оси ординат (y=1…h); w – ширина изображения в пикселях; h – высота изображения в пикселях; R – значение интенсивности красного цвета в пикселе; G – значение интенсивности зелёного цвета в пикселе; B – значение интенсивности синего цвета в пикселе.

Преобразованное изображение подаётся на третий блок 1.3 первого уровня ДИАСУТП (рисунок 2), где происходит размытие по Гауссу.

• 1.3    Размытие изображения по Гауссу

Третий этап работы ДИАСУТП позволяет уменьшить влияние шума на изображение. Сглаживание полутонового изображения происходит с помощью поэлементного умножения матриц I x,y и Гаусса с размером окна 5×5.

• 1.4    Детекторы границ объектов

  • 1.4.1    Детектор Канни

Алгоритм Канни используется для обнаружения границ искомых объектов на изображении [17]. Недостаток алгоритма Канни заключается в том, что он распознаёт только линейные области изображения. Это связано с тем, что в данном методе анализируется рамка на изображении с размером окна 3×3. Поэтому целесообразно использовать нечётко-логический метод детектирования границ объектов [18], который позволяет распознавать вогнутовыпуклую форму объектов благодаря анализу рамки в окне с размером 5×5.

• 1.4.2    Нечётко-логический метод детектирования границ объектов

Нечётко-логический метод основан на модификации детектора Канни и использовании нечётких правил для определения градиента границ. Вычисления, соответствующие алгоритму Канни, повторяются до этапа определения угла направления градиента яркости. Далее осуществляется фаззификация входных переменных, которыми являются разности градиентов между центральной и смежными ячейками, и формирование базы нечётких правил [20]. Сформированная база состоит из четырёх или шестнадцати нечётких правил в зависимости от выбранной модификации рассматриваемого метода. Дефаззификация чёткого значения выполняется при помощи метода центра тяжести. С помощью нечётких α-срезов производится бинаризация полученного изображения и выделение границ объектов на нём. В отличие от детектора Канни данный метод реагирует на различные изменения градиента относительно центральной ячейки, что позволяет распознавать вогнутые и выпуклые формы объектов. Использование описанного метода позволяет повысить производительность вычислительных операций во время распознавания границ объектов посредством сокращения числа проходов по исходному изображению.

В процессе обработки изображений после операции детектирования границ осуществляется распознавание контуров. Изображения контуров подаются на вход НС. Для выделения контуров используется алгоритм Suzuki-Abe [21].

• 1.5    Алгоритм YOLO

Назначение алгоритма YOLO – распознать класс объекта и выделить его ограничивающей рамкой на финальном изображении. По завершении работы алгоритма выходное изображение содержит объекты, выделенные рамкой.

Ограничением точности предлагаемого метода является ухудшение погодных условий, например, возникновение тумана или метели, во время которых видеокамеры не могут передать качественное изображение из-за изменения интенсивности света. В таких случаях могут возникать погрешности распознавания объектов.

• 1.6    Циклограмма формирования управляющего сигнала

Циклограмма работы для двух светофоров включает четыре режима регулирования, два из которых являются основными и два промежуточными. В первом режиме предполагается, что на Светофоре_1 включается красный свет, а на Светофоре_2 – зелёный свет. Второй режим является промежуточным перед сменой сигналов устройства. При этом к лампам, горящим в режиме 1, добавляется лампа с мигающим жёлтым светом. Происходит пять коротких включений сигнала жёлтого света, после чего устройства переходят в третий режим, который полностью противоположен первому. В четвёртом режиме происходит переход на режим 1, после чего цикл повторяется. Циклограмма работы двух светофоров сведена в таблицу 2.

Расчёт времени работы первого и третьего режимов светофоров осуществляется по формуле: t рег =t min +t delay , где t min – минимальное время задержки управляющего сигнала светофора; t delay – время задержки управляющего сигнала. Переменная t delay определяется на выходе второго уровня ДИАСУТП, детальный расчёт представлен в работах [8, 9]. Переменная t min является настраиваемым параметром (по умолчанию t min =10 с) и используется для работы светофора в ситуации, когда время задержки t delay равно нулю. Время полного цикл работы светофора, состоящего из четырёх режимов, определяется по формуле: t ц =t рег +t yellow +t рег +t yellow =2 (t рег +t yellow ), где t yellow – время задержки жёлтого сигнала светофора (настраиваемый параметр, по умолчанию t yellow =2 с).

Таблица 2 – Циклограмма работы светофоров

Светофор		Светофор_1				ветофор_2
Режим	Цвет лампы	красный	жёлтый	зелёный	зелёный	жёлтый	красный
1		1	0	0	1	0	0
	Время свечения	t рег = t min + t delay
2		1	1/0 10 тактов	0	1	1/0 10 тактов	0
	Время мигания	t yellow (10 тактов мигания за 2 с)
3		0	0	1	0	0	1
	Время свечения	t рег = t min + t delay
4		0	1/0 10 тактов	1	0	1/0 10 тактов	1
	Время мигания	t yellow (10 тактов мигания за 2 с)

2    Экспериментальные исследования

По представленному алгоритму создано модифицированное СПО на языке C# в среде Microsoft Visual Studio 2022. На вход СПО подаются изображения с видеокамер, выходными данными являются обработанные изображения, на которых детектируемый объект выделен рамкой. Для экспериментальных исследований были взяты изображения с видеокамер, установленных на перекрёстках города Курска (пересечение ул. Карла Маркса и ул. Хуторской (см. рисунок 3), площадь Перекальского (см. рисунок 4).

а)

б)

в)

Рисунок 3 – Результаты первого экспериментального исследования:

а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)

г)

в)

Рисунок 4 – Результаты второго экспериментального исследования:

а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами

(выделены рамками)

Экспериментальные исследования показали хорошие результаты работы ДИАУСТП, что видно на результирующих изображениях, на которых обнаруженные объекты выделены рамкой. Однако выявлены некоторые погрешности распознавания, например, при частичной видимости объекта НС YOLO не распознаёт его наличие. В этих случаях распознавание осуществлялось визуально. Для этого каждый кадр из видеопоследовательности, на котором рамками были выделены распознанные объекты, сохранялся в базе данных и оценивался вручную. В ходе этого эксперимента на каждом кадре визуально оценивалось количество правильно и неправильно распознанных объектов, а также оценивалось, пропущен объект или нет. Результаты экспериментов сведены в таблицу 3.

Таблица 3 – Результаты экспериментальных исследований

Эксперимент	Объекты	Всего	Кол-во верно обнаруженных объектов, TP	Кол-во ложно обнаруженных объектов, FP	Кол-во пропущенных объектов, FN
1	Пешеходы	3	2	0	1
	Автомобили	4	4	1	0
2	Пешеходы	10	7	1	3
	Автомобили	10	8	0	2
Итого		27	21	2	6

Точность распознавания объектов на изображениях в экспериментах вычисляется по формуле

TP

N =-----------x 100%,

TP + FP + FN где TP – количество верно обнаруженных объектов; FP – количество ложно обнаруженных объектов; FN – количество пропущенных объектов.

Согласно значениям из таблицы 3 точность составляет 72,4%.

Заключение

В данной работе представлена ДИАСУТП, позволяющая распознавать автомобили и пешеходов на перекрёстке в режиме реального времени для решения задачи регулирования городского потока. Для экспериментальных исследований использовалось модифицированное СПО и изображения перекрёстков с пешеходными переходами, взятые с видеокамер, установленных на улицах города Курска. Результаты экспериментов показали работоспособность предложенного алгоритма детектирования объектов.