Метод построения общего домена радарных и оптических изображений дистанционного зондирования Земли для их совмещения
Автор: А.Н. Борисов, В.В. Мясников, В.В. Сергеев
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 3 т.50, 2026 года.
Бесплатный доступ
В работе предлагается метод построения общего домена для цифровых изображений дистанционного зондирования Земли, полученных двумя типами сенсоров: мультиспектральным оптическим сенсором и радаром с синтезированной апертурой. В общем домене изначально разнородные изображения должны обладать достаточным сходством, чтобы их совмещение могло выполняться методами совмещения обычных цифровых изображений. Задача построения общего домена рассмотрена в виде задачи одновременного обучения двух нейронных сетей U-Net. Предложенный метод сравнивается с существующим методом на основе генеративной нейронной сети pix2pix, выполняющей преобразование из радарного домена в оптический. Приводятся результаты совмещения изображений широко известным алгоритмом SIFT, современными алгоритмами RoMa и DeDoDe, и алгоритмом RIFT2, предназначенным для сопоставления разнородных изображений. Экспериментальные исследования демонстрируют однозначное преимущество предложенного метода: при использовании предложенного метода в комбинации с обученной сетью RoMa успешно совмещено 99,9% изображений со средней ошибкой отображения углов 0,84 пикселя; при использовании метода pix2pix в комбинации с DeDoDe успешно совмещено 98% изображений со средней ошибкой отображения углов 4,3 пикселя.
Цифровые изображения дистанционного зондирования Земли, мультиспектральные изображения, радарные изображения, общий домен, преобразование домена, совмещение изображений
Короткий адрес: https://sciup.org/140315735
IDR: 140315735 | DOI: 10.18287/COJ1980
Сommon domain construction method for radar and optical Earth remote sensing images matching
This paper presents a new method for constructing a common domain for digital Earth remote sensing images acquired by two types of sensors: a multispectral optical sensor and a synthetic aperture radar. After translation to a common domain, initially heterogeneous images become sufficiently similar to be coregistered by image matching methods, developed for standard images. The problem of constructing a common domain is considered as a task of simultaneous training of two U-Net neural networks. A proposed method is compared with an existing method based on the pix2pix generative neural network, which performs domain translation from the radar to the optical domain. Results of image matching using the well-known SIFT algorithm, the state-of-the-art RoMa and DeDoDe algorithms, and the RIFT2 heterogenous image matching algorithm are presented. Experimental studies demonstrate the clear advantage of a proposed method: a proposed method in combination with the trained RoMa network achieves the matching success rate of 99.9% with the average corner error of 0.84 pixels; pix2pix in combination with DeDoDe achieves the matching success rate of 98% with the average corner error of 4.3 pixels.
