Вероятностная оценка принадлежности объектов к заданному классу на основе комплексирования разновременных многоспектральных изображений

Цитирование: Свищо, В. С. Вероятностная оценка принадлежности объектов к заданному классу на основе комплексирования разновременных многоспектральных изображений / В. С. Свищо, А. И. Уваров, О. В. Крюков // Журн. Сиб. федер. ун-та. Техника и технологии, 2022, 15(3). С. 370–380. DOI: 10.17516/1999-494X-0396.

нейший вывод ее на результирующее изображение. При этом необходимо обеспечить высокую скорость обработки в режиме времени, близкого к реальному.

Структурная схема и принцип работы МОЭС

Примерная структурная схема многоспектральных ОЭС приведена на рис. 1. Назначение и функционирование оптической системы МОЭС имеет такие же функции, как у такой системы во всех ОЭС [2], и выполняет функцию сбора необходимой информации, под которой мы понимаем получение изображений элементов сцены. Матричные фотоприемники собирают необходимые потоки излучения и формируют изображение элементов сцены. Далее происходит разделение спектрального диапазона на n отдельных каналов (∆λ 1 , ∆λ 2 , … ∆λ _{n -1}, ∆λ _n ). Далее поток данных попадает на приемник излучения (ПИ₁, ПИ, … ПИ _{n -1}, ПИ _n ), который преобразует оптический сигнал в электрический. Дальнейшая обработка сигналов идет в электронном блоке обработки сигналов. Система объединения (совмещения) изображений объединяет изображения разных спектральных диапазонов в совмещенное. На устройстве вывода осуществляется вывод результирующего изображения на дисплей или другие устройства.

Элементы сцены, которые характеризуются множеством информативных признаков (пространственное положение, спектр, форма объектов и т.д.), формируются в отдельных каналах, сигналы которых представляют собой функцию распределения освещенности на приемнике излучения. Цифровые изображения ( R 1 , R 2 , … R i ), сформированные на выходе электронного блока, впоследствии будут представлять объединенное множество (S).

Рис. 1. Структурная схема многоспектральных ОЭС

Fig. 1. Block diagram of multispectral OES

В итоге задача комплексирования сводится к нахождению функций пространственного преобразования и преобразования яркости. Устранение геометрических искажений можно отнести к пространственным преобразованиям, а необходимость учета преобразования яркости возникает из-за изменения освещения, сезонных и суточных изменений. Конечным продуктом комплексирования может быть как единое полутоновое, так и псевдоцветное изображение, на котором с заявленной точностью отображаются спектральные признаки элементов сцены.

Методы комплексирования изображений

Существует множество методов и алгоритмов комплексирования [3]. Но большая часть из низ эффективна лишь для двухспектральных изображений, либо данные алгоритмы являются вычислительно затратными для многоспектральных изображений. Также в данных алгоритмах не принимаются к обработке изображения одной сцены, полученные в разные интервалы времени, что значительно поспособствует получению более полной информативности элементов сцены. Далее будут рассматриваться методы, в которых под комплексированием понимается такое совмещение нескольких изображений, которое приводит к повышению информативности по сравнению с анализируемыми отдельными исходными изображениями.

Метод максимума основан на принципе замещения значений изображения H 1 (i, j ) значениями изображения H₂(i, j ) при условии, что значения второго изображения больше. В итоге получаем новое изображение, в котором будут присутствовать признаки изображения H 1 (1, j ) и наиболее информативные признаки изображения H₂(i, j ). Реализация данного метода основывается на логической операции сравнения. Существенным недостатком данного метода является его полная зависимость от уровня яркости изображений.

Метод маски аналогичен методу максимума за исключением того, что одно из изображений служит маской для другого. Представим первое изображений H^(i, j ), а второе - H ₂( i , j ). Операция комплексирования выполняется путем пороговой фильтрации, в результате которой получается маска изображения H ₂( i , j ). Далее результирующее изображение будет представлено множеством H 1 (i, j ) и H ₂( i , j ). Сложность применения метода маски обуславливается заданием порогового уровня фильтрации, который может привести к потере информации в результирующем изображении.

Метод усреднения заключается в нахождении среднего арифметического от исходных изображений. Данный способ основан на нахождении среднего значения, в результате получается изображение со сглаженными деталями объектов, контраст которых существенно уменьшается.

Ж. Лю и Р. Лаганьер [4] предложили метод степенного преобразования, который заключается в возведении исходного изображения H^(i, j ) в показатель степени, равный нормированному значению негатива второго изображения H ₂( i, j ). Реализация данного метода позволяет выполнять комплексирование изображений в режиме реального времени. В итоге на результирующем изображении минимальные значения яркости изображения H₂(i, j ) останутся прежними, а максимальные значения примут существенное изменение.

Метод чересстрочного комплексирования построен на основе построчного чередования одного изображения относительно другого. Необходимой составляющей для применения этого метода является условие, что все изображения имеют одно пространственное разрешение.

Метод весовой функции заключается в линейной комбинации изображений H 1 ( i , j ) и H ₂( i , j ) с учетом коэффициента β, который характеризует величину значимости каждого из каналов и находится в интервале от 0 до 1. Величину коэффициента в выбирают в зависимости от эффективности каждого из каналов, тем самым более значимым становится изображение, средний уровень яркости которого выше. При комплексировании изображений данным методом требуется больше вычислительных затрат и основная сложность состоит в определении весового коэффициента. При неверном его определении в результирующем изображение возможна потеря информационных составляющих.

На основе приведенных методов были реализованы алгоритмы комплексирования [3], результаты которых представлены на рис. 2.

Анализ полученных изображений показывает, что для методов 3, 5 присутствует много лишних деталей, для методов 1, 2 произошла существенная потеря информационных признаков. Лучшие результаты показали методы 4, 6. Поэтому в дальнейшем необходимо строить алгоритм комплексирования изображений на основе метода весовой функции, где в качестве весов выступит вероятностная принадлежность объектов к заданному классу.

Исходными данными для классификации объектов к заданному классу будут использоваться разновременные изображения в видимом и инфракрасном (ИК) диапазоне длин волн, полученные при помощи оптической системы (ОС), установленной на беспилотном летательном аппарате (БпЛА). В ходе натурного суточного эксперимента было выполнено шесть полетов в разные интервалы времени (05.00, 09.00, 12.00, 15.00, 19.00, 23.30). Полет БпЛА выполнял-

Рис. 2. Комплексированные изображения в зависимости от метода: 1 – метод максимума; 2 – метод маски; 3 – метод усреднения; 4 – метод степенного преобразования; 5 – метод чересстрочного комплексирования; 6 – метод весовой функции

Fig. 2. Complexed images depending on the method: 1 – maximum method; 2 – mask method; 3 – averaging method; 4 – power transformation method; 5 – interlaced aggregation method; 6 – weight function method

Рис. 3. Ортофотопланы изображений ИК-диапазона в определенное время

Fig. 3. Orthophotoplanes of IR range images at a certain time ся по одинаковому маршруту. В результате обработки полученных изображений с помощью программного продукта «Agisoft» были сформированы ортофотопланы участка местности в соответствии с маршрутом и временем полета БпЛА (рис. 3).

Для корректной обработки объемного потока сведений следует автоматизировать ряд операций, включающих поиск и распознавание объекта [5]. Для решения данной задачи использовалась нейронная сеть [6] «Перцептрон», в алгоритм которой внесен дополнительный идентификационный признак, позволяющий классифицировать обнаруженные объекты по теплофизическим параметрам (ТФП) материалов, проявляющихся в виде изменения градаций яркости на изображениях [7]. Для обучения нейронной сети использовали шесть разновременных изображений одного участка местности, на которых присутствует дорога (рис. 4).

Рис. 4. Формирование кубоида из разновременных изображений

Fig. 4. Formation of a cuboid from images of different times

– 375 –

Сформировав кубоид изображений [8], выделяем на нем области (в данном случае это участки дороги), которые в последующем будут входными данными для обучения нейронной сети. Результат ее работы представлен на рис. 5.

Анализ полученных результатов показал, что нейронная сеть способна устойчиво и стабильно определять заданные объекты. Дорогу выделим белым цветом [9]. Пространственное распределение вероятности при классификации объекта дорога с введенным правилом принятия решения (рис. 6) представлено в виде

№ =

P_tj > 6, then класс "дорога" . otherwise "не дорога",

где θ – параметр критерия классификации; P_i j – вероятность определения класса «дорога».

Рис. 5. Ортофотоплан в видимом диапазоне (а). Результат определения дорог на ортофотоплане ИК-диапазона (б)

Fig. 5. Orthophotoplane in the visible range (a). The result of determining roads on the orthophotoplane of the IR range (b)

Рис. 6. Пространственные распределения вероятности при параметрах критерия классификации: а – θ = 0,1; б – θ= 0,2; в – θ = 0,3; г – θ = 0,5; д – θ = 0,7; е – θ =0,9

Fig. 6. Spatial probability distributions for classification criteria parameters: a – θ = 0.1; b – θ = 0.2; V – θ = 0.3; g – θ = 0.5; d – θ = 0.7; e – θ = 0,9

Одним из результатов работы нейронной сети является вероятность принадлежности пикселя к классу «дорога» (рис. 7).

Произведение яркостей видимого изображения на вероятность принадлежности пикселей к классу «дорога» будет способствовать повышению контрастности дороги на результирующем изображении (рис. 8). Поскольку информативность изображения – величина переменная, а дешифровщик работает в условиях дефицита времени, то комплексированное изображение в значительной мере содержит наиболее полное и подробное описание выделенного объекта.

Актуальным становится вопрос оценки эффективности применения комплексированно-го изображения для выполнения задач воздушной разведки БпЛА в конкретных условиях. Общим показателем эффективности при этом могут выступать значения вероятностей обнаружения (P_о б _н) объекта на изображении, полученном оптической системой. Вероятности об-

Рис. 7. Результат определения на ортофотоплане ИК-диапазона попиксельной вероятностной принадлежности к классу «дорога» (белый цвет – дорожное покрытие с вероятностью 0,9, черный цвет – дорожное покрытие с вероятностью 0,1)

Fig. 7. The result of determining the pixel-by-pixel probabilistic belonging to the “road” class on the orthophotoplane of the IR range (white color is the road surface with a probability of 0.9 and black color is the road surface with a probability of 0.1)

Рис. 8. Видимое (а), полученное нейронной сетью (б), комплексированное (в) изображения

Fig. 8. a) visible image b) obtained by a neural network v) complexed наружения и распознавания зависят от разрешения видеокамеры, максимального линейного размера, формы и контраста объекта. Вероятность операторного обнаружения оценивается выражением

где М^) ( – показатель ослабления разрешения объекта на изображении, полученном ( ''^пиксч К/ J от фотоприемника, представленный следующими составляющими: B – коэффициент распознавания формы объекта; L – ЛРМ (линейное разрешение на местности) ОЭС; Iпикс – максимальный линейный размер объекта в пикселях; К – видимый контраст объекта относительно фона [9].

Для наглядного определения видимого контраста дороги относительно фона рассмотрим отдельные участки дороги (рис. 9). Контраст дороги на комплексированном изображении в связи со зрительным восприятием оператора-дешифровщика, будет больше, чем на видимом (рис. 9в, г).

Рис. 9. Ортофотоплан видимого изображения (а), ортофотоплан комплексированного изображения (б), участок дороги видимого изображения (в), участок дороги комплексированного изображения (г)

Fig. 9. Оrthophotoplan of the visible image (a), orthophotoplan of the complexed image (b), the road section of the visible image (v), the road section of the integrated image (g)

Согласно выражению

определим численное значение видимого контраста относительно фона на изображениях (рис. 9в, г), где L _o и L ф – яркости объекта и фона соответственно. Для рис. 9в получим К=0,48, а для рис. 9г К=0,65. Способностью глаза воспринимать объект является видимость, значение которой зависит от освещенности, размера объекта распознавания, его яркости, контраста между объектом и фоном и рассчитывается выражением

где K – контраст между объектом и фоном; K _пор – пороговый контраст, то есть наименьший контраст, который различается глазом при данных условиях.

Таким образом, рассмотренная в статье методика комплексирования изображений с учетом метода весовой функции, а также использования нейронной сети позволяет повысить контраст и, соответственно, информативность полученного изображения. Учет значений вероятностной оценки классификации объектов при их отношении к определенному классу будет способствовать повышению достоверности распознавания. В свою очередь, повышение контраста объекта интереса позволяет оператору-дешифровщику за меньшее время установить визуальный контроль над объектом.