Оценка поля прозрачности облачности с использованием оптических и радарных изображений дистанционного зондирования Земли
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 5 т.50, 2026 года.
Бесплатный доступ
В работе предложен метод оценки поля прозрачности облачности с использованием фундаментальной нейросетевой модели TerraMind, использующей в качестве мультимодальных данных территории съемки мультиспектральные изображения и изображения радара с синтезированной апертурой. Исходными данными для обучения модели TerraMind выступал набор SEN12MSCR, содержащий пары изображений спутников Sentinel-1 и Sentinel-2 как с облачностью, так и без нее. Для дообучения фундаментальной модели с целью решения искомой задачи мы использовали аугментацию, синтезируя облачность и соответствующие ей истинные поля прозрачности с использованием Satellite Cloud Generation Toolbox. Численные результаты проведенных экспериментальных исследования показывают высокие качественные показатели предложенного метода оценки, а качественные результаты оценки полей прозрачности на натурных снимках подтверждают работоспособность метода на реальных данных.
Короткий адрес: https://sciup.org/140316977
IDS: 140316977 | DOI: 10.18287/COJ2005
A method for cloud soft segmentation using multimodal remote sensing data
This paper presents a method for estimating cloud transparency fields using the TerraMind foundation neural network model. The TerraMind model utilizes multispectral and synthetic aperture radar images as multimodal data for the survey area. The TerraMind model was trained on the SEN12MSCR dataset, containing pairs of Sentinel-1 and Sentinel-2 satellite images, both with and without cloud cover. To further train the fundamental model to solve the desired problem, we used augmentation, synthesizing cloud cover and the corresponding true transparency fields using the Satellite Cloud Generation Toolbox. Numerical results from the experimental study demonstrate the high quality of the proposed estimation method, and the qualitative results of estimating transparency fields on real-world images confirm the method's effectiveness on real data.
Текст научной статьи Оценка поля прозрачности облачности с использованием оптических и радарных изображений дистанционного зондирования Земли
Большое количество находящихся на орбите космических аппаратов позволяет получать данные дистанционного зондирования Земли (ДЗЗ) различной физической природы. К таким данным в первую очередь относятся широко используемые снимки радара с синтезированной апертурой (РСА) и мультиспектральные изображения. Периодический характер получения этих снимков позволяет оценивать изменения, происходящие на земной поверхности, детектировать и распознавать различные объекты и/или ситуации. Однако зачастую возникают ситуации, когда съемка оказывается либо невозможной в силу технических причин (положение спутника, конфликт между несколькими одновременными съемками и т.п.), либо результат съемки не может быть использован по объективным причинам.
К числу таких причин, мешающих использованию оптических (RGB, мультиспектральных, гиперспектральных) изображений, являются облачность и дымка/туман (англ.: haze). Известным фактом является то, что в любой момент времени порядка 70% территории Земли оказывается покрыто облачностью [1], при этом указанная доля ниже на экваторе и выше к полюсам. В противоположность оптическим снимкам, РСА-снимки, в силу активного характера формирования изображений, свободны не только от проблем с облачностью или дымкой, но позволяют получать снимки даже в темное время суток. Как было ранее показано в работе авторов [2], при наличии одновременно РСА и оптических изображений целые фрагменты последних могут быть реконструированы с использованием мультимодальных нейронных сетей с высоким качеством: исследование проводилось на наборе данных SEN12MSCR [3] для областей реконструкции размером до 30%; триплет показателей качества PSNR, MAE, SSIM для лучших полученных архитектурных решений принимал значения в диапазоне (37.12, 0.0057, 0.9786) – (39.45, 0.0033, 0.9852). Указанный факт делает вроде бы очевидным и способ удаления облачности/дымки на оптическом снимке путем детектирования/сегментации облаков и последующей реконструкции оптического изображения с использованием указанного выше способа с использованием РСА-снимков. Однако задача определения «границ» или «области» облака/дымки на снимке оказывается и формально (математически), и неформально некорректной, поскольку облако/дымка в общем случае не является непрозрачным объектом. То есть в зависимости от «плотности» облака/дымки на оптическим снимке может быть и видна, и интерпретируема (как интерактивно, так и автоматически) территория земной поверхности, которая находится «под облаком» – см. рис. 1. В результате, в зависимости от последующего процесса обработки и используемых инструментов (методов, алгоритмов и т.п.) одни и те же области оптических снимков могут как требовать, так и не требовать реконструкции в зависимости от степени «прозрачности» облачного покрова и/или дымки, присутствующей на снимке. Более того, даже при наличии определенности с допустимой/граничной величиной «прозрачности» существует объективная сложность с оценкой этой величины, поскольку на реальных оптических снимках данные о «прозрачности» нигде не представлены, а одновременное получение оптических снимков с облачностью/дымкой и без нее является абсолютно невозможным. Представленные выше доводы делают задачу оценки поля прозрачности облачности достаточно сложной и актуальной.
Рис. 1. Примеры изображений ДЗЗ. Слева направо: снимок без облачности, два снимка с примерами «прозрачной» облачности (дымкой), снимок с «непрозрачной» облачностью
Способы постановки и решения указанной задачи исторически менялись в зависимости как от доступных данных ДЗЗ, так и доступных математических методов и подходов. Одними из первых подходов к оценке (бинарного) поля прозрачности можно считать визуальное дешифрирование (интерпретацию) снимков экспертом и простейшие пороговые методы. Последние основывались на анализе отсчетов яркости в одном или нескольких каналах и/или отсчетов полей индексов, вычисляемых как отношение видимых (VIS) и инфракрасных (NIR/SWIR) каналов [4, 5], например, индекса снега NDSI (англ.: Normalized Difference Snow Index) [6]. Автоматические подходы впоследствии породили целое направление, обозначаемое в современной научной литературе как обнаружение облачности (англ.: cloud detection) [7 – 10]. Результатом методов этого класса является бинарное или мультиклассовое [11 – 13] поле прозрачности, где один из классов отвечает за видимость (или дискретную степень видимости) земной поверхности, а другой – присутствие облака. По мере улучшения разрешения оптических снимков ДЗЗ, использования низкоорбитальных (в т.ч. атмосферных) спутников и развития средств машинного обучения и искусственного интеллекта задача детектирования с бинарной маской постепенно трансформировалась в более сложные и, вообще говоря, связные задачи устранения облачности (англ.: cloud removal) [14] и устранения дымки (англ.: image dehazing) [15]. Проблема оценки поля прозрачности облачности является для этих задач внутренней и в ряде случаев явно не ставится, особенно при использовании генеративных подходов к синтезу «безоблачного» снимка по его прототипу с «облаком».
В данной работе мы предлагаем явно декомпозировать проблему устранения облачности/дымки на две последовательно решаемые: проблему оценки поля прозрачности облачности и проблему реконструкции оптического изображения в тех частях изображения, где величина прозрачности ниже определенного порога. Причины такого подхода (наличие высококачественного решения реконструкции фрагментов оптических снимков по их совместным данным с РСА-изображениями) мы изложили выше. Для решения проблемы оценки поля прозрачности облачности/дымки мы предлагаем использовать фундаментальную модель TerraMind, настроенную на специально сформированном для нашей задачи наборе данных.
Основным вкладом настоящей работы являются:
-
- впервые фундаментальная нейросетевая модель TerraMind использована для оценки поля прозрачности облачности по данным оптических и РСА-сенсоров;
-
- впервые по совместным данным оптических и РСА-сенсоров получена оценка поля прозрачности облачности;
-
- численно продемонстрировано преимущество по качественным показателям предложенного решения по сравнению с известными решениями;
-
- предложенное решение, используемое совместно с разработанными ранее авторами решениями по реконструкции фрагментов оптических снимков по данным оптических и РСА-сенсоров, позволяет достичь рекордных показателей по качеству реконструируемых изображений с устраненной облачностью.
Работа построена следующим образом. В первом параграфе дан обзор современного состояния исследований по теме работы, включающий как обзор существующих решений по оценке поля прозрачности облачности, так и более общей задачи обнаружения и устранения облачности/дымки. Во втором параграфе вначале кратко представлена общая схема устранения облачности на оптических изображениях с использованием данных РСА и оптического сенсора, использующая разработанное нами ранее решение по реконструкции оптических изображений. И более детально рассмотрена архитектура основного предлагаемого в настоящей работе решения – метода оценки поля прозрачности облачности с использованием фундаментальной нейросетевой модели TerraMind, использующей в качестве мультимодальных данных территории съемки мультиспектральные изображения и изображения РСА. Третий параграф содержит результаты экспериментальных исследований предложенного метода, содержащие как оценки показателей качества на модельных данных, так и качественные результаты на реальных данных.
1. Обзор литературы
Следуя приведенной во введении классификации задач, связанных с облачностью на снимках ДЗЗ, ниже мы представляем краткий обзор подходов, методов и алгоритмов, направленных на решение как непосредственно задачи оценки поля прозрачности облачности, так и более широкого класса задач: обнаружения облачности, устранения облачности и дымки. Дополнительно дан обзор по существующим актуальным наборам данных.
Обнаружение/распознавание облачности
Достаточно подробные обзоры литературы за последние десять-пятнадцать лет представлены в работах [7 – 10]. Типичным является деление существующих подходов на классические методы и методы с обучением, последние дополнительно подразделяются на классические методы с обучением, нейросетевые и методы с глубоким обучением. Также методы обнаружения подразделяются по используемым данным — это могут быть как монотемпоральные, так и мультитемпоральные данные, а также использующие данные одного или нескольких сенсоров, различных по природе. Использование мультитемпоральных данных неизбежно приводит к необходимости учитывать и игнорировать различия в снимках, связанные с сезонностью и другими изменениями, не связанными с облачностью [3], в то время как использование разнородных данных требует специальной обработки данных для объединения признаков из разных модальностей. В некоторых работах по распознаванию облачности также вводится и аналог поля прозрачности – облачность подразделяется на классы по плотности: дымка, полупрозрачные облака, плотные облака [16]. В ряде работ выделяются дополнительные классы как схожие с целевым классом, такие как снег [17], так и непосредственно с ним связанные, такие как тени от облаков [16]. В последнее время фокус смещается на разработку компактных и энергоэффективных решений.
Наряду с очевидными и ожидаемыми выводами о преимуществах методов глубокого обучения в задачах обнаружения/распознавания облачности (наряду с возможностью использования и полностью неспецифических методов детектирвания, таких как yolov8 [18] или SAM [19]), обзоры подчеркивают существующие проблемы в данной области, в частности сложность получения корректно и точно размеченных наборов данных , слабость кросс-модальных методов, а также необходимость переобучать сеть под различные виды сенсоров [7 – 9, 20].
Устранение облачности
Основная задача устранения облачности заключается в восстановлении перекрытых ею участков снимков ДЗЗ без нарушения их пространственной и спектральной целостности. Достаточно подробный разбор различных подходов к решению этой задачи представлен, например, в обзоре [14]. Так же как и в задаче обнаружения облачности, здесь также подходы подразделяются на традиционные, то есть использующие физические модели, и методы, использующие машинное обучение и нейросети. Традиционные подходы опираются на модели атмосферной коррекции и спектрального анализа для выявления и устранения облачного покрова. Наиболее простой из них является следующая модель, принимаемая во многих работах (и в настоящей работе тоже) [14]:
I(x) = J(x)t(x)+A(1 - t(x)). (1)
Здесь x – пространственная координата, t ( x ) – поле прозрачности (карту пропускания) облачности на снимке, A – глобальное атмосферное освещение, J ( x ) и I ( x ) – искомое «безоблачное» и наблюдаемое изображения. Несмотря на эффективность в отношении «тонкой» облачности, традиционные подходы оказываются малоэффективны при работе со сложными облачными формациями и переменчивыми атмосферными условиями, зачастую не обеспечивая качественного восстановления деталей закрытой поверхности.
Более перспективными в настоящее время выглядят методы глубокого обучения, которые извлекают закономерности данных из больших массивов снимков [9, 10, 14, 21 – 22]. Для повышения точности процесса применяются сверточные нейросети (CNN), генеративно-состязательные сети (GAN) и вариационные автокодировщики (VAE). Однако таким моделям часто не хватает гибкости при работе с разными типами облачности, и они плохо обобщают знания на задачи с ограниченным объемом обучающих данных, что снижает их надежность в практическом применении [14].
Мультимодальный подход предполагает совместное использование оптических данных и РСА-снимков, что позволяет задействовать сильные стороны разных типов съемки [3, 14, 22 – 24]. Способность радара проникать сквозь облачность повышает общую эффективность подхода, однако острой проблемой для широкого внедрения таких методов (и подготовки соответствующих наборов обучения) остается необходимость в идеальной синхронизации и геометрической привязке данных.
В последние годы генеративные модели (и, в частности, диффузионные) зарекомендовали себя как мощный инструмент восстановления изображений благодаря своей способности к итеративному уточнению [9, 10, 14, 20 – 22]. Они позволяют постепенно реконструировать скрытые или утраченные фрагменты, используя процесс контролируемого зашумления.
Следует особо отметить, что разработанный авторами высококачественный алгоритм реконструкции фрагментов оптических снимков по их совместным с РСА-изображениями данным также использует мультимодальность и диффузионную нейросетевую модель, то есть отвечает самым современным тенденциям в обсуждаемом научном направлении.
Устранение дымки
Устранение дымки (англ.: image dehazing) [15, 25 – 32] – задача, во многом схожая с задачей устранения «тонкой» облачности, то есть допускающая, что поле прозрачности (карта пропускания) не имеет (или почти не имеет) «непрозрачных» отсчетов. В результате используемые подходы, методы, решения и тенденции во многом коррелируют с указанными в предыдущем подпараграфе «Устранение облачности»: традиционные подходы [27, 32], подходы на основе глубокого обучения [29 – 31], генеративные подходы [28], мультимодальность путем интеграции с РСА-снимками [30, 32]. Для подтверждения этого утверждения на рис. 2 представлена классификация методов устранения дымки, данная в обзорной работе [25], которая содержит очень подробный анализ данного вопроса с таксономией подходов и методов устранения дымки по нескольким критериям.
Рис. 2. Классификация методов устранения дымки (из материалов работы [15])
Среди возможных направлений дальнейших исследований авторы указанного обзора, опубликованного в текущем 2026 году, среди прочих указали следующие:
-
- объединение информации с нескольких датчиков (оптических, РСА и др.), что позволит улучшить эффективность удаления дымки в различных атмосферных условиях;
-
- применение самостоятельного и неконтролируемого обучения , которое позволяет использовать крупномасштабные неаннотированные наборы данных.
Настоящая работа непосредственно связана с указанными направлениями, поскольку:
-
- использует для построения поля прозрачности облачности наряду с оптическими и РСА-снимками, а также - применяет предварительно (само-)обученную на неаннотированных данных фундаментальную модель TerraMind [33] в качестве остова конструируемого решения, который настраивается (англ.: finetuning) на решение искомой задачи.
Наборы данных
Основные наборы данных, используемые для обучения и сравнения методов/алгоритмов решения задач обнаружения и удаления облачности и дымки, представлены в табл. 1. Как можно видеть, существует всего пять открытых наборов, содержащих одновременно РСА и оптические снимки. Так, набор данных cloudSEN12 [16] представляет собой очень большой набор мультимодальных данных, включающий мультиспектральные и РСА-снимки, а также маски сегментации облачности различной точности – как попиксельной, так и «набросочной», небрежной, для 4 классов – плотная облачность, неплотная облачность, тень от облаков, «чистая» область, а также маски, полученные различными классическими методами сегментации облачности, такими как FMask. Этот набор является на данный момент наиболее полным и детально размеченным, а также одним из немногих мультимодальных наборов данных для этой задачи. Однако он не решает проблему с разделением и разметкой различных классов облачности. SEN12MSCR [3] представляет собой набор данных, содержащий мультиспектральные снимки с облачностью, соответствующие им снимки без облачности и радарные снимки. SEN12MSCR-TS [34] добавляет к этому набору данных дополнительные облачные снимки, образуя мультитемпоральный набор данных. Однако эти наборы данных не содержат размеченных масок сегментации облачности. Некоторые наборы данных [35] содержат только данные одной модальности, другие обладают недостаточным для современных методов количеством снимков.
Отдельно следует выделить синтетические наборы данных. Синтезирование реалистичных облаков хорошо исследовано, и они могут быть легко добавлены на изображения, так как находятся выше ландшафта. Синтетические наборы данных могут помочь решить указанные выше недостатки существующих наборов данных. Представленный в таблице набор данных RS-Haze использует данные, полученные из cirrus канала
(показывающего облачность), для синтеза облачных изображений из чистых. Для синтеза облачных изображений «с нуля» существуют специальные инструменты. Например, Satellite Cloud Generation Toolbox [38] предоставляет обширные возможности по генерации облачности, включая дополнительные параметры, такие как смещение облаков друг относительно друга в различных каналах, изменение плотности и вида генерируемых облаков, подстраиваемость под статистические параметры изображения. Синтезированные маски облачности устраняют проблему разметки, поскольку теперь задача может быть смещена из области сегментации в область попиксельной регрессии с присвоением каждому пикселю значения его прозрачности для сенсора. Synthinel1 [39] позволяет синтезировать радарные данные для задачи сегментации.
Табл. 1. Сравнение основных наборов данных (по материалам работы 2026 года [15])
|
Набор данных |
Модальности |
Пиксельное разрешение |
Количество каналов |
Число изображений |
Синтетические данные |
|
RS-Haze [35] |
Мультиспектральный |
512 x 512 |
7 |
52000 |
Только синтетические |
|
SEN12MS [36] |
Мультиспектральный + РСА |
256 x 256 |
13 |
120000 |
нет |
|
SEN12MS-CR [3] |
Мультиспектральный + РСА |
256 x 256 |
13 |
120000 |
нет |
|
SEN12MS-CRTS [34] |
Мультиспектральный + РСА |
256 x 256 |
13 |
120000 |
нет |
|
CloudSEN12 [17] |
Мультиспектральный + РСА |
509 x 509 |
13 |
49400 |
нет |
|
SateHaze1k [28] |
RGB+РСА |
512 x 512 |
3 |
1000 |
Только синтетические |
|
MRSHaze [37] |
RGB+РСА |
512 x 512 |
3 |
8000 |
есть |
В представленном исследовании мы используем как реальные, так и синтетические данные облачности: последние используются для обучения и расчета числовых характеристик показателей качества разрабатываемого решения. А реальные данные с облачностью позволяют качественно верифицировать получаемый результат обработки. Результатом работы модели является явное представление непрерывного поля прозрачности, что отличает наш метод от существующих. Непрерывное поле прозрачности одержит больше информации об облачности по сравнению с бинарной и даже мультиклассовой маской и решает проблему интерпретации понятий дымки и плотной облачности, их разграничения.
2. Предлагаемый метод
В настоящем параграфе мы вначале кратко представим общую схему устранения облачности на оптических изображениях с использованием данных РСА и оптического сенсора, использующую разработанное нами ранее решение по реконструкции оптических изображений [2], после чего детально представим архитектуру основного предлагаемого в настоящей работе решения – метода оценки поля прозрачности облачности.
Общая схема устранения облачности на оптических изображениях
Как было указано во введении и показано в работе авторов [2], при наличии одновременно РСА и оптических изображений целые фрагменты последних могут быть реконструированы с использованием мультимодальных нейронных сетей с высоким качеством: исследование проводилось на наборе данных SEN12MSCR [3] для областей реконструкции размером до 30%; триплет показателей качества PSNR, MAE, SSIM для лучших полученных архитектурных решений принимал значения в диапазоне (37,12, 0,0057, 0,9786) – (39,45, 0,0033, 0,9852). Также следует напомнить тот факт, отмеченный во введении настоящей работы, что в зависимости от «плотности» облака/дымки на оптическом снимке может быть и видна, и интерпретируема (как интерактивно, так и автоматически) территория земной поверхности, которая находится «под облаком». При этом интерпретируемость оказывается напрямую зависимой от последующего процесса обработки и используемых инструментов (методов, алгоритмов и т.п.). Поскольку используемые для последующей интерпретации снимка методы, алгоритмы и решения не входят в круг рассматриваемых в настоящей работе вопросов, мы полагаем, что допустимый для них уровень прозрачности облачности определяется и задается «извне». Таким образом, входными данными общей процедуры устранения облачности являются пара I ( x ), R ( x ) координатносогласованных изображений оптического и РСА-сенсоров, а также пороговое значение threshold для оцененного поля прозрачности облачности. Обозначив ниже разработанную в [2] процедуру реконструкции фрагментов как Restore(…), которая принимает на вход оптическое и РСА-изображения, как M ( x ) – «бинарную» маску облачности и как ETM(…) – разрабатываемый метод оценки поля (изображения) прозрачности T ( x ) облачности, принимающий на вход оптическое и РСА-изображения, общая схема устранения облачности на оптическом изображении в виде псевдокода выглядит следующим образом:
T = ETM( I , R ) // получение поля (изображения) прозрачности T
M = T > threshold // M – маска (изображение) облачности, «1» – облако, «0» – истинное значение J = Restore( I , R , M )
Метод оценки поля прозрачности облачности
Ключевым элементом метода оценки поля прозрачности облачности (выше обозначался как ETM) выcтупает фундаментальная нейросетевая модель TerraMind [33], разработанная в 2025 году рядом крупных компаний и лабораторий, включая IBM Research, European Space Agency и NASA. Это одна из самых современных и мощных фундаментальных моделей, обладающая множеством инструментов и предварительно (само-)обученная на значительном объеме данных практически со всего земного шара и поддерживающая работу с 9 различными модальностями, включая оптические и мультиспектральные изображения, цифровую карту высот, вегетационный индекс, маски сегментации/классификации, текстовые описания и координаты.
Отметим, что ключевой особенностью всех фундаментальных моделей является их способ обучения, который выполняется в два этапа. На этапе предварительного обучения модель самообучается без учителя, исключительно на неразмеченных данных/изображениях, обучаясь реконструировать патчи/токены одной модальности по данным другой(их). На втором этапе предварительно обученная модель может настраиваться на решение определенных задач путем ее (до)обучения (в ряде случаев происходит «надстройка» над исходной моделью). Такой двухэтапный подход позволяет на предварительном этапе крупным разработчикам/организациям обучать фундаментальные модели на таких объемах данных, которые для обычных не доступны по стоимости, аппаратным и временным ресурсам. Тем самым достигается максимум качества работы основной части фундаментальной модели. Процесс же дополнительного обучения и адаптации (англ.: finetuning) фундаментальной модели на втором этапе для решения конкретной задачи оказывается доступен уже для широкого круга исследователей и разработчиков.
В случае модели TerraMind на этапе предварительного обучения ее разработчиками она обучалась реконструировать оптические данные по радарным и наоборот (другие модальности этой модели здесь не рассматриваем) [34]. В результате обученный разработчиками энкодер модели TerraMind [33] выступал в нашей работе как готовый остов предлагаемого решения. А декодер модели (до)обучается нами для решения искомой задачи – оценки поля прозрачности облачности. То есть результатом на выходе декодера выступало изображение с размерами, эквивалентными входному, с вещественными значениями из интервала [0,1], интерпретируемыми как степень прозрачности. Иллюстрация нашего метода в случае его применения (не обучения) представлена на рис. 3 ниже, обучаемый нами декодер выделен жирным.
Рис. 3. Метод оценки поля прозрачности облачности с использованием фундаментальной модели TerraMind
В качестве дополнительного комментария об архитектуре используемой фундаментальной модели TerraMind следует отметить, что она построена по схеме симметричного энкодера-декодера на основе архитектуры трансформер. Это позволяет ей одновременно работать с различными типами данных, включая, например, текст и географические координаты. Для различных типов данных предусмотрены различные энкодеры, работающие с текстом, масками сегментации и изображениями по-разному. Особенностью архитектуры является представление патчей изображений на уровне пикселей и на уровне токенов. Представление на базе токенов используется для обработки в трансформере – для извлечения более высокоуровневого концепта, а пиксельное представление позволяет работать с мелкими деталями, специфичными к данному изображению. Модель использует раннее слияние признаков в энкодере, то есть токенизированные и попиксельные признаки совмещаются на первых, имеющих наиболее высокое разрешение, слоях. Токенизатор для модальностей изображений построен на базе ViT-B энкодера [40], превращающего каждый фрагмент размером 16x16 в его скрытое векторное представление с последующей квантизацией с помощью алгоритма FSQ (англ.: finite-scalarquantization) [41]. Декодирование этих модальностей производится с помощью диффузионной архитектуры. Именно токенизатор обеспечивает возможность межмодального взаимодействия, что особенно важно при интеграции изображений и текста.
Обучение модели для оценки поля прозрачности облачности
Для настройки модели TerraMind для решения нашей задачи мы минимизируем величину разности между требуемым и получаемым изображениями поля прозрачности облачности. А именно, если T ( x ) – оцененное поле прозрачности, а T* ( x ) – истинное поле прозрачности, то критерием обучения выступает следующая величина средней абсолютной разницы (MAE – Mean Absolute Error, N – число изображений в выборке):
МАЕ = ^,1^ (%) - Т‘(%)|. (2)
Конструируемое преобразование, обозначенное выше ETM и реализуемое с использованием фундаментальной модели TerraMind, определяется набором параметров 0 фундаментальной нейронной сети. Таким образом, цель заключается в нахождении оптимального набора параметров 0, обеспечивающего наиболее точное в смысле указанного критерия (2) совпадение оценки поля прозрачности с его истинными значениями.
Поскольку истинных полей прозрачности облачности по реальным данным съемки получить невозможно, мы для безоблачных изображений синтезируем поле прозрачности облачности, накладывая ее с учетом физической модели (1) на реальные оптические снимки. Для этого мы использовали метод синтеза искусственной облачности, описанный в работе [38]. Он позволяет синтезировать и реалистичные поля прозрачности, и соответствующие им изображения облачности, различающиеся как по плотности, так и по ее локализации на снимке.
Подготовка набора обучающих данных
Для решения задачи за основу был взят набор данных SEN12MS-CR [3]. Он содержит мультиспектральные, а следовательно, и оптические изображения с облачностью, и соответствующие им РСА-изображения, а также чистые изображения без облаков. Размеры изображений – 256×256, указанные фрагменты полностью совмещены покоординатно. Изображения обладают различным пространственным разрешением, меняющимся от 60 м/отсчет до 10 м / отсчет, оптические каналы обладают более высоким разрешением. Количество оптических каналов равно 13. Изображения были получены со спутников Sentinel 1 и Sentinel 2 и размещены в открытом доступе. Каналы мультиспектрального изображения можно поделить на оптические, инфракрасные и каналы с информацией о водяном паре (ультрафиолетовые и т.д.), каналы изображения РСА – c поляризацией VV и VH.
Из содержащихся в данном наборе чистых, безоблачных мультиспектральных (оптических) изображений путем синтеза с помощью программы Satellite Cloud Generator были получены изображения с облачностью и соответствующие поля прозрачности (см. рис. 4). Генератор был настроен так, чтобы получать различные варианты изображений с облаками (изображения с локализованной облачностью, с плотной облачностью, дымкой, частичной дымкой и т.д.), а также незначительно модифицировать цвет облачности исходя из оттенков исходного изображения.
В результате были подготовлен синтетически сгенерированный набора данных, состоящий из 120 000 триплетов «облачное изображение» – «изображение РСА» – поле прозрачности облачности. Полученный набор был поделен на тренировочную и тестовую выборку согласно разделению, предложенному в SEN12MS [36].
Метрики оценки результатов работы метода
Для оценки качества полученной оценки поля прозрачности облачности мы использовали критерии MAE, MSE (RMSE), R Squared (R2 Score). Использование таких показателей, как SSIM, LPIPS или PSNR, обычно применяемое для оценки изображений, в данном случае представляется нецелесообразным, поскольку важна величина попиксельного различия с идеальным полем прозрачности. Дадим краткую характеристику используемых показателей качества ниже.
Величина MAE, определенная выше в (2), используется и на этапе обучения как критерий качества и на этапе оценки решения как его метрика. Показатель MSE (англ.: Mean Squared Error) – среднеквадратическая ошибка, характеризующая средний квадрат отклонения истинного и оцененного поля прозрачности, задается выражением:
MSE = ^^(T t (%) — Т * (х))2.
Величина R2 Score позволяет оценить качество модели относительно «наивной» модели, которая предсказывает среднее значение пикселя в каждой точке изображения.
Рис. 4. Примеры обучающих данных. Слева направо: оптическое изображение, оптическое изображение с синтезированной облачностью, изображение РСА, «истинное» поле прозрачности облачности
3. Экспериментальное исследование
В процессе проведения первого эксперимента были (до)обучены две фундаментальные модели типа TerraMind. Одна из них основывается лишь на комбинации RGB-каналов Sentinel 2 и РСА-изображения, другая использует все доступные каналы мультиспектрального снимка, кроме B10 [36].
Обучение производилось в течение 50 эпох c использованием оптимизатора AdamW и скорости обучения 0,00005, в качестве функции потерь использовалась MAE (2). В качестве предобученной модели выступала terramind_base [34]. Обучение производилось с использованием RTX 4090 и процессора Ryzen 5950x. Время обучения составило около 12 часов. По окончании обучения модели вышли на «плато» функции потерь. Таким образом, модель может обучаться в приемлемые сроки на оборудовании потребительского уровня.
Результаты обучения предлагаемого метода при проверке на тестовой выборке по показателям качества представлены в табл. 2. В ней представлены средние значения показателей качества и их среднеквадратические отклонения по всему набору данных.
Табл. 2. Результаты оценки качества предлагаемого метода на тестовой выборке
|
Метрика |
TerraMind S2 + S1 |
TerraMind S2 Multispectral + S1 |
|
MAE |
0,0346±0,0094 |
0,0242±0,0070 |
|
MSE |
0,0034±0,0026 |
0,0016±0,0015 |
|
R2 Score |
0,9549±0,0363 |
0,9785±0,0198 |
Из представленных данных видно, что ошибка оценки поля прозрачности облачности мала для обоих случаев, однако для случая использования дополнительных мультиспектральных каналов качество получаемого решения выше по всем показателям. Эта модель также лучше генерализуется к реальным данным, то есть лучше показывает себя при использовании на реальных облачных изображениях.
Для модели TerraMind RGB + S1 и синтетического датасета облаков получаемые результаты и их качество могут быть оценены визуально по данным рис. 5. На этом рисунке первое изображение представляет собой входное изображение с облачностью, второе изображение – синтезированное «истинное» поле прозрачности, третье – полученная оценка поля прозрачности, четвертый столбец – изображение разности между оцененным и истинным полем прозрачности. Интенсивность зеленого цвета указывает на степень прозрачности облачности, белый цвет означает полностью прозрачные участки, темно-зеленый – непрозрачные.
в)
е)
и)
м)
Рис. 5. Результаты распознавания облачности: (а – в, ж – и) оптическое изображение с синтезированной облачностью, (г – е, к – м) «истинные» поля прозрачности облачности
Для реальных облаков из набора данных SEN12MSCR визуально оценить качество (вторая обученная модель) оценки поля прозрачности облаков можно на рис. 6. Здесь первый и третий столбец представляют собой входные мультиспектральные изображения Sentinel 2 (показаны в псевдоцветах), второй и четвертый столбец -– полученная оценка поля прозрачности. Изображения РСА не показаны на рис. 5 и 6, поскольку облачность не меняет РСА-изображения земной поверхности.
Заключение
В работе предложен новый метод оценки поля прозрачности облачности, используемый в рамках общей технологии по устранению облачности и/или дымки на снимках ДЗЗ. Метод в качестве ключевого элемента впервые для указанной задачи применяет фундаментальную нейросетевую модель TerraMind, использующую в качестве мультимодальных данных территории съемки мультиспектральные изображения и изображения радара с синтезированной апертурой. В качестве исходных данных для обучения был использован набор SEN12MSCR, содержащий пары изображений спутников Sentinel-1 и Sentinel-2, в которых есть как изображения с облачностью, так и без нее. Предварительно обученную фундаментальную модель TerraMind мы обучали посредством аугментации данных, синтезируя облачность и соответствующие ей истинные поля прозрачности с использованием Satellite Cloud Generation Toolbox. Результаты проведенных экспериментальных исследования продемонстрировали высокие качественные показатели предложенного метода оценки, при этом качественные результаты оценки полей прозрачности на натурных снимках подтверждают его работоспособность. Высокое же качество решения общей технологии устранения облачности/дымки, в состав которой входит разработанное в настоящей работе решение, гарантируется предложенным авторами ранее методом реконструкции потерянных частей снимков, продемонстрировавшим наилучшие показатели на том же наборе данных по сравнению с существующими лучшими решениями.
Результаты исследования были получены при финансовой поддержке Российской Федерации в лице Минобрнауки России (Соглашение № 075-15-2024-558).
а) д) б) е)
в) ж) г) з)
Рис. 6. Результаты оценки поля прозрачности облачности по мультиспектральным и РСА-снимкам:
(а – г) входные мультиспектральные изображения (показан RGB-канал), (д – з) детектированная маска облачности