Распознавание малоконтрастных объектов интереса в условиях низкой освещенности на основе нейросетевых алгоритмов и данных о поляризации световых волн

Задача обнаружения объектов интереса на изображениях не теряет своей актуальности уже много лет [1]. Среди всего списка задач обнаружения можно выделить задачу обнаружения низкоконтрастных объектов интереса, решение которой остро востребовано во многих областях человеческой деятельности, от астрономии, медицины и агропромышленности до обеспечения безопасности государств. Примером низкоконтрастных объектов интереса может служить изображение любого предмета на фоне, имеющем цвет, близкий к цвету самого предмета: плоды зеленого цвета в листве, зеленые растения на фоне других зеленых растений, водные обитатели с прозрачными организмами в толще воды, неконтрастированные препараты для микроскопов и т.п. Задача обнаружения низкоконтрастных объектов также актуальна в сфере безопасности и противодействия терроризму, поскольку закладки наркотических веществ, взрывные устройства, оружие и одежда исполнителей терактов часто сделаны таким образом, чтобы не контрастировать на фоне окружающей среды. Актуальна задача и в оборонной сфере, поскольку техника и экипировка солдат камуфлированы и зачастую подвергаются дополнительным мерам маскировки. Например, работа [2] посвящена решению задачи обнаружения малоконтрастных объектов интереса по данным оптико-электронной системы в априори неизвестной фоно-целевой обстановке на основе фрактально-статистического метода построения выборочной корреляционной матрицы и критерия Неймана-Пирсона для формирования опорного сигнала изображения. В работе [3] аналогичная задача решается на основе классических методов цифровой обработки сигнала, включая последовательные операции: медианную фильтрацию, эквализацию гистограммы, вычисление ДПФ, вычисление кросс-спектральной функции, обратное преобразование Фурье, вычисление математического ожидания дисперсии и вычисление межкадровой разницы.

Перспективными методами обнаружения малоконтрастных объектов интереса являются методы обработки сигналов, основанные на использовании сверточных искусственных нейронных сетей (ИНС) глубокого обучения [4]. При этом отдельное внимание уделяется и вопросам обнаружения объектов интереса при низкой освещенности. Так, в работе [5] предложен метод обнаружения объектов интереса в условиях низкой освещенности на основе модифицированной ИНС Yolov5, для чего в архитектуру стандартной сети были добавлены слои, отвечающие за предварительную обработку входного изображения и подавление шума, извлечение многомасштабных признаков и реализацию рецептивного поля внимания. Нововведения позволили авторам улучшить по сравнению с исходной моделью YOLOv5l значение метрики точности (precision) на 1,5 %, значение метрики полноты (recall) – на 0,3%, значение mAP@0.5 на – 1,7%, а соотношение mAP@0.5:0,95 – на 1,5%. Как видно из показателей прироста, анализ сцен при низкой освещенности является сложной задачей как для ИНС в стандартном исполнении, так и специализированных ИНС типа NLE–YOLO.

Стоит отметить, что большинство исследований в области систем технического зрения последних лет было сосредоточено на разработке и оптимизации архитектур ИНС для обработки изображений в цветовом пространстве, мало внимания было уделено альтернативным способам дифференциации по каналам информации, несомой электромагнитными волнами видимого и других диапазонов. Одним из перспективных направлений является использование матричных масок, состоящих из линейных поляризационных фильтров с различной пространственной ориентацией. Такие фильтры изготавливаются из наноструктур и накрывают каждый отдельный пиксель, образуя маску из блоков фильтров, работающих в четырёх различных плоскостях. Это позволяет извлекать информацию о поляризации световых волн, в частности о степени (degree of linear polarization, – DoLP) и угле (angle of linear polarization, – AoLP) линейной поляризации. Среди прочего, такие данные содержат информацию о поляризационных свойствах материалов и форме объектов регистрируемой сцены.

Применение СТЗ на базе поляризационных сенсоров позволяет решать такие задачи, как дифференциация различных материалов одного цвета, дифференциация падающих и отраженных лучей, реконструкция трехмерной (3D) модели объекта и пр. В частности, такие сенсоры давно зарекомендовали себя для решения задач улучшения подводных изображений [6, 7]. Недостатком технологии можно считать достаточно высокую сложность интерпретации данных, фундаментально обусловленную сложностью поляризационной картины естественных сцен.

Обнаружение объектов по данным поляризационных детекторов посредством алгоритмов сверточных ИНС глубокого обучения является актуальной и малоисследованной перспективной областью развития систем технического зрения [8]. В данной статье ставится задача сравнения эффективности работы алгоритмов ИНС при обнаружении малоконтрасных объектов интереса в условиях низкой освещённости в случае анализа данных о поляризации и данных о длине световых волн. Для этого произведен синхронный сбор данных камерами с идентичными сенсорами, оснащенными разными масками, а именно маской Байера и поляризационной маской, при регистрации информации сцены с малоконтрастным объектом интереса в различных условиях освещенности. После этого данные были обработаны одной и той же предобученной стандартной ИНС и построены зависимости уверенности распознавания от освещенности для данных о поляризации и длине световых волн.

1.    Системы поляризационного видения

Как известно, с точки зрения волновой оптики световые волны являются поперечными и имеют электромагнитную природу. Одним из свойств световых волн является поляризация, описывающая положение векторов напряженности электрического поля Е и магнитного поля Н в плоскостях, перпендикулярных направлению распространения волны. Можно выделить следующие варианты степени поляризации: полностью поляризованный, частично поляризованный и неполяризованный свет. По типам поляризации чаще всего выделяют линейную и эллиптическую (с частным случаем в виде круговой) типы поляризации.

В природе явление поляризации используется некоторыми животными, насекомыми и растениями для поиска пищи и навигации. Например, осьминоги используют поляризационное зрение (чувствительность к поляризованным волнам) для демаскировки и добычи прозрачных беспозвоночных, а пчелы используют поляризацию неба для навигации после захода солнца. Исследование поляризационного зрения животных и построение биоинспи-рированных технических систем поляризационного видения является актуальной задачей сегодняшнего дня [7].

В естественных сценах преобладают неполяризованные световые волны с малой долей частично поляризованных волн. Существует ряд основных механизмов поляризации изначально неполяризованного света от естественных источников: частичная поляризация при прохождении атмосферы (поляризация рассеяния), частичная поляризация при отражении лучей от поверхностей под различными углами, полная поляризация при отражении лучей от поверхностей под углом Брюстера, а также поляризация при прохождении через анизотропные по оптическим свойствам материалы.

Информация о поляризованном свете содержится в четырех компонентах уравнения вектора Стокса, которое в общем виде может быть записано как (1):

S= [S_o, S i , S₂, S₃]^r, (1)

где S_o - общая интенсивность света, S j - доля линейной поляризации, параллельной плоскостям отсчета, S₂ - доля линейной поляризации под углом 45° и 135° по отношению к плоскостям отсчета, S₃ - доля круговой поляризации.

На основе этих формул можно характеризовать поляризацию световой волны наглядным геометрическим способом (рис. 1).

а)

б)

Рис. 1. Изображение поляризации параметрами Стокса на сфере Пуанкаре (а) и поляризационным эллипсом (б)

При этом параметры вектора Стокса S₁, S₂ и S₃ интерпретируются как декартовы координаты точки, лежащей на поверхности сферы радиуса S_o. Углы 2ф и 2х имеют смысл сферических угловых координат этой точки. Такое геометрическое представление предложил Пуанкаре, поэтому эта сфера называется сферой Пуанкаре.

Взаимосвязь между параметрами вектора Стокса, интенсивностью и параметрами поляризационного эллипса описывается как (2):

(       So = I;

\ S1 =Ipcos2^cos2x;

J S2 = Ipsin2^cos2x;

L S₃ = Ipsin2x-

В оптике для анализа поляризации света чаще всего применяются линейные поляризаторы, работа которых может быть описана законом Малюса, описывающего интенсивность излучения на выходе поляризатора (3):

I = I_ocos²^,

где I 0 – интенсивность падающего на поляризатор света, I – интенсивность света, выходящего из поляризатора, φ – угол между главной осью поляризатора и направлением поляризации падающего света.

Такие поляризаторы, помещаемые перед фоточувствительным элементом, позволяют по интенсивности проходящего излучения оценить степень линейной поляризации (DoLP) волны в плоскости, соответствующей главной оси поляризатора. Использование нескольких линейных поляризаторов, расположенных в одной плоскости, но под разными углами, позволяет путем вычислений рассчитать угол линейной поляризации (AoLP).

Одной из коммерчески доступных перспективных технологий в данном направлении является реализация массивов линейных поляризационных фильтров из платиновых наноструктур непосредственно на КМОП-матрицах фотоэлементов. Такие специализированные поляризационные сенсоры реализованы в частности для инфракрасной и видимой частей спектра. Устройство поляризационного сенсора на примере технологии Sony «Polarization Image Sensor Technology Polarsens™» [9] (рис. 2).

а)

микролинз поляризаторов

90°	45°	90°	45°
135°	0°	135°	0°
90°	45°	90°	45°
135°	0°	135°	0°

Рис. 2. Устройство поляризационного сенсора на примере технологии Sony «Polarization Image Sensor Technology

Polarsens™» [9, с переводом]: (а) общее устройство, (б) направления осей поляризации маски

На сегодняшний день Sony предлагает поляризационные сенсоры в шести видах исполнения, включая моно и цветные сенсоры с разрешением от 5,07 до 12,37 Мп. Камеры на базе данных матриц выпускаются рядом производителей, в том числе: Hikrobot (Китай), модель MV–CH050–10UP; Allied Vision (Германия), модель Mako G 508B POL; Sony (Япония, США), модель XCG–CP510_XPL–SDKLJ; The Imaging Source(Германия), модель DZK 33GX250 33G Polarsens [9–10].

Производители предлагают ряд применений КМОП-матриц с поляризационной маской, включая контроль качества, обнаружение отпечатков пальцев, удаление отражений в интеллектуальных транспортных системах и достижение лучшего распознавания формы низкоконтрастных объектов (рис. 3).

Помимо КМОП-матриц видимого диапазона спектра, поляризационные фильтры могут устанавливаться на неохлаждаемые оксид ванадиевые матрицы инфракрасного диапазона на базе резистивных микроболометров. В качестве примера можно привести сенсор GWIR 0318X2A в исполнении с поляризационной маской, работающей в диапазоне 8 – 12 мкм [11].

а)

б)

Рис. 3. Сравнение изображений, получаемых цветной и поляризационной камерами видимого диапазона: (а) изображения с цветной камеры, (б) изображение с поляризационной камеры [9]

2.    Описание оборудования и экспериментальной установки и методики эксперимента

В качестве оборудования использовались: цветная камера машинного зрения Allied Vision Mako G–507 с КМОП-матрицей Sony IMX264 с маской Байера, поляризационная камера машинного зрения Allied Vision Mako G–508B POL с КМОП-матрицей Sony IMX250MZR, с маской линейных поляризационных фильтров четырех направлений, два объектива HIKROBOT MVL–MF0828M–8MP с фокусным расстоянием 8 мм, сетевой коммутатор, ПК. Упрощенная структурная схема показана на рис. 4.

Рис. 4. Упрощенная структурная схема стенда для сбора данных на основе цветной и поляризационных камер

Фокусное расстояние и значение диафрагмы объективов на стенде были выставлены в одинаковые значения.

Для синхронизации настроек камер использовалось ПО, реализующее взаимодействие камер на основе синхронизации по времени с использованием протокола точного времени PTP (Precision Time Protocol).

Целью проведения эксперимента являлся сбор данных для исследования эффективности системы поляризационного видения в сравнении с цветными камерами при обнаружении низкоконтрастных объектов посредством алгоритмов ИНС при различной освещенности в лабораторных условиях.

Для этого в ходе эксперимента осуществлялся сбор данных в ПЗУ ПК с камер машинного зрения с маской Байера и поляризационной маской при лимитированном изменении освещенности сцены с малоконтрастными объектами интереса.

Режим съемки. Для корректного сравнения камеры снимали сцену синхронно, с одинаковыми настройками выдержки и усиления. Для этой цели было реализовано программное обеспечение, позволяющее синхронизировать настройки камер и триггер начала съемки на основе протокола точного времени PTP (Precision Time Protocol).

Условия съемки. Регистрация данных производилась при изменении интенсивности освещения. Минимальный порог освещенности определялся экспериментальным путем для каждого объекта интереса как минимальная освещенность, при которой детектор на базе ИНС начинал производить обнаружение объекта интереса по данным любой из камер экспериментального стенда. Далее освещенность сцены увеличивалась дискретно до значений порядка 100 – 120 lux. Для каждого уровня освещенности регистрировалось около 30 наборов данных с цветной и поляризационной камер.

Освещенность сцены изменялась путем изменения расстояния от источника света до сцены в соответствии с первым законом освещенности, согласно которому освещенность прямо пропорциональна силе света источника и обратно пропорциональна квадрату расстояния от источника.

Контроль фактической освещенности осуществлялся люксметром, измерения производились в одной и той же точке в области нахождения объекта интереса.

В ходе эксперимента осуществлялся сбор данных в ПЗУ ПК с камер машинного зрения с маской Байера и поляризационной маской при лимитированном изменении освещенности сцены с малоконтрастными объектами интереса.

Для сбора экспериментальных данных в затемненном помещении был собран экспериментальный стенд, состоящий из макета на базе цветной и поляризационной камер машинного зрения и ПК для регистрации и обработки данных, сцены на основе тканевого фотофона черного цвета, осветительных приборов на основе прожекторов с галогеновыми лампами мощностью 150 Вт (2 шт), люксметра, объектов интереса (5 шт.): черного ноутбука, черной тканевой сумки, черной клавиатуры из пластика, мобильного телефона, металлических ножниц с черными пластиковыми ручками.

Общий вид экспериментального стенда показан на рис. 5.

Рис. 5. Общий вид экспериментального стенда

Данные с камер машинного зрения сохранены в формате «.npy» массивов библиотеки numpy. Массивы двумерные, соответствующие числу матрицы пикселей по ширине и высоте. В каждую ячейку массива записана информация об интенсивности пикселя в 8-битном разрешении. Для извлечения информации о цвете для данных, полученных цветной камерой, необходимо применять операцию дебайеризации маски типа Bayer RG. Для извлечения информации о поляризации необходимо группировать данные по углам применяемых к пикселям поляризационных фильтров (см. рис. 2).

Фрагменты преобразованных в цветное изображение данных с камеры с маской Байера и изображения, полученного с поляризационной камеры, а также их гистограммы по каналам показаны на рис. 6.

а)

б)

в)

Рис. 6. Гистограммы распределения интенсивностей пикселей по каналам:

(а) для матрицы Sony IMX264,( б) для матрицы Sony IMX250MZR

V DATA

• >     backpack

• >     keyboard

• >     laptop

• >     phone

v     scissors

• >    0 20lux

• >    i_ 30lux

• >    Q 40lux

• >    0 50lux

• >    0 60lux

v 80lux bayer_rg8

Элементов: 30

Рис. 7. Группировка собранных данных

3.    Описание полученного набора данных

Данные сгруппированы иерархически на три уровня. На первом уровне данные сгруппированы по типу объекта интереса, всего четыре группы для четырех объектов интереса, указанных в названии директории. На втором уровне данные сгруппированы по интенсивности освещения сцены, от 6 до 9 дискретных уровней освещенности для каждого объекта интереса, уровень освещенности указан в названии директории. На третьем, нижнем уровне, данные сгруппированы по типу камеры на две группы, указанные в названии директории: «bayer_rg8» и «raw_pol» от 26 до 50 образцов для каждого типа камеры и каждого уровня освещенности. Структура собранных данных показана на рис. 7.

Для наглядности в подпапках для каждого уровня освещенности также приведены примеры преобразованных в цветное изображение данных с камеры с маской Байера и в изображение в оттенках серого для рассчитанной степени линейной поляризации DoLP с поляризационной камеры. Примеры снимков сцены с некоторыми объектами интереса приведены на рис. 8 – 11.

а)

б)

Рис. 8. Примеры полученных данных для объекта интереса «backpack»: (а)степень линейной поляризации при минимальной освещенности (5 люкс), (б) сырые данные цветной камеры при максимальной освещенности (125 люкс), (в) данные цветной камеры при максимальной освещенности (125 люкс) с постобработкой для повышения яркости и контрастности

а)

б)

Рис. 9. Примеры полученных данных для объекта интереса «keyboard»: (а) степень линейной поляризации при минимальной освещенности (40 люкс), (б) сырые данные цветной камеры при максимальной освещенности (160 люкс), (в) данные цветной камеры при максимальной освещенности (160 люкс) с постобработкой для повышения яркости и контрастности

а)

Рис. 10. Примеры полученных данных для объекта интереса «laptop»: (а) степень линейной поляризации при минимальной освещенности (15 люкс), (б) сырые данные цветной камеры при максимальной освещенности (60 люкс),(в) данные цветной

камеры при максимальной освещенности (60 люкс) с постобработкой для повышения яркости и контрастности

а)

б)

в)

Рис. 11. Примеры полученных данных для объекта интереса «phone»: (а) степень линейной поляризации при минимальной освещенности (20 люкс), (б) данные цветной камеры при максимальной освещенности (80 люкс), (в) данные цветной камеры при максимальной освещенности (80 люкс) с постобработкой для повышения яркости и контрастности

4. Методика обработки экспериментальных данных

Обработка данных произведена следующим образом: данные с камер машинного зрения с маской Байера и поляризационной маской, собранные в процессе эксперимента, были сгруппированы по типу объекта интереса, типу используемого сенсора (RGB или POL) и уровню освещенности. Далее сырые данные были преобразованы в трехканальные изображения без каких-либо дополнительных цифровых обработок (как есть) и обработаны алгоритмом ИНС Yolov7 (однопроходный детектор-классификатор) в стандартной конфигурации, обученный на распознавание 80 классов набора данных COCO. Для обработки данных с камер машинного зрения с маской Байера и поляризационной маской были использованы одни и те же весовые коэффициенты алгоритма Yolov7.

При обработке данных поляризационной камеры на вход ИНС подавались данные 3 из 4 каналов линейных поляризационных фильтров (расположенных под углами 0, 90 и 45 градусов).

а)

б)

Рис. 12. Примеры полученных данных для объекта интереса «scissors»: (а) степень линейной поляризации при минимальной освещенности (20 люкс), (б) данные цветной камеры при максимальной освещенности (80 люкс, (в) данные цветной камеры при максимальной освещенности (80 люкс) с постобработкой для повышения яркости и контрастности

В качестве метрики эффективности работы алгоритма Yolov7 на каждом конкретном кадре использована метрика Confidence (пер. с англ. – «уверенность»).

Примеры работы алгоритма ИНС на данных, полученных в ходе эксперимента, показаны на рис. 13.

а)

б)

Рис. 13. Примеры работы алгоритма ИНС для объекта интереса «keyboard»: а) результат работы алгоритма ИНС на данных поляризационной камеры при освещенности 40 люкс (объект обнаружен, метрика Confidence равна 0,03), б) результат работы алгоритма ИНС на данных цветной камеры при освещенности 40 люкс (объект интереса не обнаружен), в) результат работы алгоритма ИНС на данных поляризационной камеры при освещенности 100 люкс (объект обнаружен, метрика Confidence равна 0,79), г) результат работы алгоритма ИНС на данных цветной камеры при освещенности 100 люкс (объект обнаружен, метрика Confidence равна 0,02)

Анализ данных рисунка говорит о том, что порог обнаружения объекта интереса «keyboard» для данных поляризационной камеры составил 40 люкс. Порог обнаружения того же объекта интереса по данным цветной камеры составил 100 люкс, что более чем в 2 раза выше порога для поляризационной камеры. При уровне освещенности 100 люкс значение метрики Confidence для данных цветной камеры составило 0,02, для данных поляризационной камеры – 0,79, что в 39,5 раз больше.

Таким образом, для каждой группы данных был получен массив метрик Confidence, который подвергся дальнейшей статистической обработке и анализу. Для этого были построены графики усредненной метрики Confidence для каждого уровня освещенности по каждому объекту интереса, а также построены диаграммы разброса.

Результаты исследования показаны на рис. 14 – 17.

О 10 20 30 40 50 60 70 80 90 100 110 120

Illumination, Lux

а)

б)

Рис. 14. Результаты исследования для объекта интереса «backpack»: (а) усредненная метрика Confidence, (б) диаграммы разброса метрики Confidence

Анализ данных рис. 14 – 17 позволяет сделать вывод о существенном преимуществе использования данных о поляризации при распознавании малоконтрастных объектов интереса в условиях низкой освещенности. С ростом освещенности разница эффективностей для данных обычной и поляризационной камер уменьшается. Это можно объяснить лучшей дифференциацией данных между каналами, обеспечиваемой поляризационными фильтрами в сравнении с фильтрами длины волны, что обеспечивает лучшую сходимость алгоритмов ИНС.

Заключение

В статье представлены результаты сравнения эффективности обнаружения малоконтрастных объектов интереса по данным о поляризации и длине световых волн посредством обработки алгоритмом ИНС. Для этого был произведен эксперимент по синхронизированному сбору данных с камер с маской Байера и поляризационной маской, при регистрации информации сцены с малоконтрастными объектами интереса из разных материалов и различной формы в различных условиях освещенности.

а)

б)

Рис. 15. Результаты исследования для объекта интереса «keyboard»: (а) усредненная метрика Confidence, (б) диаграммы разброса метрики Confidence

а)

б)

Рис. 17. Результаты исследования для объекта интереса «scissors»: (а) усредненная метрика Confidence, (б) диаграммы разброса метрики Confidence

Рис. 16. Результаты исследования для объекта интереса «laptop»: (а) усредненная метрика Confidence, (б) диаграммы разброса метрики Confidence

Далее сырые данные с различных датчиков были обработаны стандартной предобученной ИНС Yolov7 с целью обнаружения объекта интереса и оценки метрики Confidence для различных объектов интереса в различных условиях освещенности. Для получения статистических данных в каждой точке освещенности для каждого объекта интереса были рассчитаны средние арифметические значения. Для более наглядной оценки эффективности в каждой точке также построены диаграммы разброса метрики Confidence.

В результате было выявлено существенное преимущество использования данных о поляризации перед использованием данных о длине волны в исследованном диапазоне освещенностей. При этом для рассмотренных объектов интереса можно выявить существенный разброс разности эффективности применения поляризационной и маски Байера. В частности, наиболее существенно преимущество поляризационных масок проявляется для объектов интереса scissors, laptop и keyboard, в меньшей степени для объекта интереса backpack. Мы считаем, что данный результат обусловлен материалом объекта интереса, а именно его поляризующими свойствами и поглощающей/отра-жательной способностью. Из перечисленных предметов только рюкзак (backpack) близок по свойствам к тканевому фотофону, вследствие чего поляризация отраженных от него световых волн менее выражена, а ее дифференциация от фона обусловлена в большей степени не отражательной способностью, а формой предмета. В остальных случаях (ножницы, клавиатура и ноутбук) отражательная (и, соответственно, поляризующая) способность тканевого фотофона и материалов объектов интереса значительно отличаются, что позволяет уверенно дифференцировать излучение, отраженное от фотофона и объектов интереса. Таким образом, преимущество поляризационных сенсоров в большей степени проявляется при обнаружении объектов интереса, имеющих поляризующие свойства (отраженного света), существенно отличающиеся от остальной сцены, и в меньшей степени зависят от формы предмета. Данный вопрос может быть в дальнейшем исследован более глубоко.

Работа выполнена при поддержке гранта Российского научного фонда № 24–19–00063, «Теоретические основы и методы группового управления безэкипажными подводными аппаратами», –19– 00063/ на базе ФГАОУ ВО «Южный федеральный университет».