Единый нейросетевой метод повышения разрешения для разнородных цифровых изображений дистанционного зондирования Земли
Автор: Коновалов В.Ф., Мясников В.В., Сергеев В.В.
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 6 т.48, 2024 года.
Бесплатный доступ
Работа посвящена поиску единого решения для практической задачи повышения разрешения разнородных цифровых изображений дистанционного зондирования Земли: панхроматических изображений, цветных изображений, мультиспектральных и гиперспектральных изображений, а также изображений, полученных радаром с синтезированной апертурой (РСА). Для получения такого решения из существующих наборов данных был собран агрегированный, включающий как пары изображений высокого и низкого разрешений, так и отдельные изображения, выступающие как изображения высокого разрешения. Для собранной базы данных и типовой модели искажений было проведено экспериментальное сравнение различных современных нейросетевых моделей повышения разрешения (включая преднастроенные и переобученные варианты), которые в обзорах фигурируют как state-of-the-art: сверточные, генеративно-состязательные и трансформенные (основанные на механизме внимания). Учитывая возможные ограничения моделей на число слоев космических снимков, рассматривались два варианта предварительной обработки изображений. Итоговый результат работы – единая нейросетевая модель повышения разрешения цифровых космических снимков, дополненная адаптерами для различных их типов, которая при обучении превосходит или не уступает современным специализированным state-of-the art решениям.
Цифровые изображения дистанционного зондирования Земли, повышение разрешения изображений, мультиспектральные и гиперспектральные изображения, радарные изображения
Короткий адрес: https://sciup.org/140310421
IDR: 140310421 | DOI: 10.18287/2412-6179-CO-1610
A unified neural network-based single super-resolution method for heterogeneous digital earth remote sensing images
This paper is devoted to finding a unified solution for the practical problem of increasing the resolution of heterogeneous digital images of remote sensing of the Earth: panchromatic images, color images, multispectral and hyperspectral images, as well as images obtained by synthetic aperture radar (SAR). To obtain such a solution, an aggregated dataset was collected from the existing datasets, including both pairs of high- and low-resolution images and individual images acting as high-resolution images. For the collected database and a typical distortion model, an experimental comparison of various modern neural network models of resolution enhancement (including pre-tuned and retrained options) was carried out, which are listed in reviews as state-of-the-art: convolutional, generative adversarial and transform (based on the attention mechanism). Taking into account possible limitations of the models on the number of layers of space images, two options for image preprocessing were considered. The final result of the work is a single neural network model for increasing the resolution of digital space images, supplemented by adapters for their various types, which, when trained, surpasses or is not inferior to modern specialized state-of-the-art solutions.
