Концептуальные подходы к использованию свёрточных нейронных сетей для выявления изменений состояния лесов по данным дистанционного зондирования Земли из космоса

Ежегодно значительные площади российских лесов подвергаются воздействию вредных организмов и иных негативных факторов. По данным отраслевой отчётности за 2023 г., очаги вредителей и болезней охватили более 1,6 млн га, а повреждения затронули 280 тыс. га насаждений. Масштаб проблемы подчёркивает необходимость оперативной оценки санитарного и лесопатологического состояния лесов. Одним из механизмов определения негативных изменений в лесах на обширных территориях является использование материалов дистанционного зондирования Земли (ДЗЗ) из космоса, которое, при совмещении с технологиями дешифрирования изображений на основе компьютерного зрения и свёрточных нейронных сетей, обеспечивает оперативное выявление и идентификацию динамики состоянии лесов. Анализ научной литературы и практического опыта показывает, что благодаря более точному распознаванию образов и детектированию объектов, а также более глубокой обработке входной информации применение нейросетевых методов способно обеспечивать обработку больших массивов изображений со спутниковых снимков с достаточной для практического использования точностью прогнозирования. По производительности, оперативности и снижению уровня влияния субъективных факторов такие технологии заметно превосходят существующие методы дистанционных наблюдений и обработки их данных [1–6].

Несмотря на рост популярности свёрточных нейронных сетей в лесном мониторинге, потенциал их использования для выявления локальных повреждений лесов изучен недостаточно. На текущий момент подобные технологии применяются лишь фрагментарно, в рамках пилотных проектов в отдельных субъектах Российской Федерации. Опыт использования таких технологий для информационного обеспечения федеральных органов государственной власти, уполномоченных в области лесных отношений, на территории всей страны в настоящее время отсутствует.

С учётом значительных масштабов повреждения лесов, особенно на труднодоступных территориях, крайне важно внедрить технологии автоматизированного дистанционного мониторинга. Постоянное отслеживание динамики состояния насаждений позволит оперативно получать достоверную геопространственную информацию. Это обеспечит принятие обоснованных управленческих решений на всех уровнях власти для эффективной ликвидации последствий лесных повреждений.

Кроме того, следует учитывать, что методические и технологические подходы к выявлению повреждённых и погибших лесных насаждений (далее – целевые объекты), а также определению границ и площади изменений состояния лесов по изображениям ДЗЗ из космоса с использованием свёрточных нейронных сетей во многом отличаются от подходов к распознаванию других объектов на космических снимках. В частности, на данных ДЗЗ из космоса схожими спектральными характеристиками с погибшими и повреждёнными лесными насаждениями могут обладать и другие объекты, прежде всего небольшие по площади: например, вырубки (особенно незаконные), прогалины и пустыри. Другими словами, целевые объекты не являются уникальными, что не позволяет их однозначно идентифицировать. Поэтому перед использованием нейросетевых методов следует принимать во внимание дополнительные источники информации о лесах, что позволит снизить погрешность при выявлении целевых объектов. К таким источникам информации можно отнести лесоустроительную документацию, результаты государственного лесопатологического мониторинга (ГЛПМ), государственного мониторинга воспроизводства лесов (ГМВЛ), мониторинга пожарной опасности в лесах и лесных пожаров (ИСДМ-Рослесхоз) и лесопатологических обследований (ЛПО).

Цель исследования – формирование методических и технологических подходов к использованию свёрточных нейронных сетей для выявления изменений состояния лесов по данным ДЗЗ из космоса.

В рамках исследования решаются следующие задачи:

/ анализ требований к данным ДЗЗ из космоса для оценки состояния лесов;

^ разработка методик обучения и верификации свёрточных нейронных сетей с использованием дополнительных данных;

^ оптимизация технологических подходов к выявлению целевых объектов при использовании свёрточной нейронной сети.

Объект и методы исследования

Объект исследования – информационные ресурсы, включающие научные публикации, специализированные интернет-ресурсы и данные собственных исследований по применению нейросетевых технологий для мониторинга состояния лесов на основе данных дистанционного зондирования Земли. Основной метод исследования – экспертный научный анализ указанных материалов.

Результаты и обсуждение

Требования к данным дистанционного зондирования Земли из космоса для оценки состояния лесов. Данные требования обусловлены необходимостью обеспечения оперативного обследования больших территорий с целью определения границ, площади и пространственного расположения поврёжденных и погибших лесных насаждений. Космические аппараты, применяемые для этих целей, должны соответствовать следующим требованиям:

^ Высокая производительность: большая ширина полосы съёмки для охвата значительных площадей.

^ Оптимальные характеристики съёмки: наличие спектральных диапазонов и пространственного разрешения, достаточных для выявления и идентификации целевых лесных объектов.

^ Высокая периодичность: минимальный период обращения (временное разрешение).

^ Экономическая доступность: низкая стоимость данных или их предоставление на безвозмездной основе.

Сравнительный анализ возможных к применению данных ДЗЗ с учётом вышеизложенных требований показывает, что оптимальным является использование материалов с космических аппаратов серии Sentinel, поскольку их снимки распространяются на безвозмездной основе, имеют широкую полосу съёмки и хорошее временное разрешение (табл. 1). При этом не исключается возможность использования других космических аппаратов, в том числе российской космической группировки, обеспечивающих соответствие предъявляемым требованиям.

Таблица 1. Сравнительный анализ данных ДЗЗ из космоса для выявления изменений состояния лесов при помощи нейронных сетей

Космический аппарат	Платность данных ДЗЗ	Пространственное разрешение, м	Спектральные каналы*	Ширина полосы съёмки, км	Временное разрешение, сут
Канопус-В	Бесплатно для государственных органов	12	R,G,B,NIR	20	5
Ресурс-П	То же	4	R,G,B, NIR, Red-Edge	38	3
Sentinel-2	Бесплатно	10	R,G,B, NIR	290	5
Landsat	То же	30	R,G,B,NIR, SWIR, SWIR-2	185	8

* R (RED) – красный диапазон; G (GREEN) – зеленый; B (BLUE) – голубой; NIR – ближний инфракрасный; Red-Edge – «красный край»; SWIR – коротковолновый инфракрасный; SWIR-2 – второй коротковолновый инфракрасный.

В ранее выполненных исследованиях ФБУ ВНИИЛМ [7] по разработке технологии и методики осуществления ГЛПМ и ГМВЛ дистанционными методами определены некоторые требования к характеристикам данных ДЗЗ из космоса и их тематической обработке, которые можно применить и в отношении нейронных сетей. Для этого рекомендуется проводить мультиспектральную космическую съёмку минимум в четырёх спектральных каналах – красный, зелёный, голубой и ближний инфракрасный (RED-GREEN-BLUE-NIR). Кроме того, для расчёта вегетационных индексов и повышения информативности синтезированных изображений целесообразно использовать дополнительные спектральные каналы, такие как SWIR и Red-Edge.

Оптимальным материалом для обучения нейронных сетей служат космические снимки, полученные в вегетационный период текущего или предыдущего года. В отдельных случаях, например при оценке состояния тёмнохвойных лесов, допустимо использовать данные, полученные вне вегетационного периода.

При проведении космической съёмки допустимый уровень облачности составляет не более 10%. В случае отсутствия снимков вегетационного периода текущего или предыдущего года с указанными параметрами допускается использование материалов с более высокой облачностью. При этом участки, закрытые облаками, должны быть дешифрированы по безоблачным снимкам других периодов.

Для обучения нейронных сетей целесообразно использовать данные ДЗЗ второго уровня стандартной обработки (ГОСТ 59480–2021 [8]). Предварительно данные должны пройти тематическую обработку, включающую нормализацию снимков и формирование информативных синтезированных или индексных изображений. Например, при использовании синтеза каналов NIR-RED-GREEN здоровые древостои отображаются тёмно-красным цветом, а повреждённые или погибшие – оттенками зелёного. В синтезе SWIR-NIR-RED здоровые участки имеют ярко-зелёный цвет, повреждённые и погибшие – коричневые оттенки, а почва – розовато-лиловый (рис. 1).

Наиболее информативными для идентификации гарей являются комбинации каналов NIR-RED-GREEN (здесь участки отображаются в зелёно-голубых тонах) и SWIR-NIR-RED, в котором повреждённые лесные массивы приобретают тёмно-розовый оттенок, характерный и для других типов повреждений (например, поражения насекомыми-вредителями или болезнями), однако отличаются от них большей интенсивностью цвета.

Насаждения, повреждённые ветрами (ветровалы), наиболее чётко определяются при синтезе каналов NIR-RED-GREEN, где они имеют голубоватый оттенок, и синтезе каналов SWIR-NIR-RED (розовый оттенок). При этом следует учитывать,

а)                                                                   б)

Рис. 1. Вид снимков космической съёмки:

а) в комбинации каналов NIR-RED-GREEN; б) в комбинации каналов SWIR-NIR-RED

что ветровалы и вырубки характеризуются схожими спектральными характеристиками. Кроме того, мелкие по площади ветровалы имеют геометрические формы, характерные для незаконных рубок. В связи с этим ключевыми дешифровочными признаками при классификации вырубок и ветровалов выступают геометрия целевых объектов и их пространственная направленность.

Результаты оценки показывают, что применение нейронной сети в вышеприведенных синтезированных спектральных каналах повышает надёжность детекции объектов.

Для выявления целевых объектов по данным дистанционного зондирования Земли также могут использоваться различные вегетационные индексы (например, NDVI – нормализованный относительный вегетационный индекс растительности, характеризующий её состояние; NDSI – нормализованный индекс определения наличия снежного покрова; Wet Index – температурно-вегетационный индекс оценки влажности приповерхностного слоя; LMI – индекс влажности поверхности; TVI – трансформированный вегетационный индекс контроля динамики растительного покрова, оценок его фитомассы, продуктивности и состояния; RVI – относительный вегетационный индекс оценки фитомассы и др.)1 [9, 10]. Однако они имеют избирательное применение и требуют значительных вычислительных мощностей. Кроме того, при обучении свёрточных нейронных сетей необходимо учитывать, что информативность индексных изображений имеет более сильную, по сравнению с использованием синтезированных снимков, зависимость от региональных условий и особенностей целевых объектов [7].

Создание синтезированных изображений для выявления целевых объектов и определения их характеристик летом рекомендуется осуществлять по снимкам, полученным ближе к середине вегетационного периода, осенью – по сентябрьским снимкам и снимкам первой половины октября, зимой – по февральским, весной – по снимкам марта и первой половины апреля.

Одним из важных аспектов российских лесов является большое разнообразие географических и лесорастительных условий. В связи с этим при дешифрировании данных ДЗЗ необходимо учитывать породный состав и фенологические особенности лесных насаждений, произрастающих в разных природно-географических зонах и лесных районах страны. Не исключено, что потребуется обучение нейронной сети с учётом таких аспектов. Другими словами: если точность определения целевых объектов в лесорастительных районах, не представленных в обучающей выборке, окажется низкой (высокие значения функции потерь), потребуется районирование территорий и обучение нейронной сети с учётом принятого [11] или иного лесорастительного районирования, например разработанного С.Ф. Курнаевым [12]. В ходе дальнейшей проработки вопроса целесообразно рассмотреть возможность специального районирования. Такой подход позволит учесть влияние зонально-типологических особенностей целевых объектов на точность нейросетевого прогнозирования.

Использование свёрточных нейронных сетей для решения задач по выявлению изменений состояния насаждений. Разнообразие архитектур свёрточных нейронных сетей стремительно растёт. Однако специализированный инструментарий для идентификации погибших или повреждённых лесных насаждений по данным космической съёмки практически отсутствует. Это диктует необходимость адаптации стандартных библиотек машинного обучения и компьютерного зрения для разработки и верификации моделей, решающих задачи по защите лесов. К числу наиболее эффективных алгоритмов, применяемых для классификации растительности и мониторинга состояния лесов, относятся U-Net, ResNet, SegNet, VGGNet, Fast-RCNN, Mask R-CNN, MaskFormer, SegFormer, En-Conv и др. [6]. Определение наиболее перспективной модели основывается на сравнении эффективности нескольких из них с применением комплекса специальных метрик – Accuracy (общая точность), Precision (точность), Recall (полнота), F1 (прогностическая эффективность), Mean Average Precision – mAP (средняя точность детекции) и др. [13].

Одним из наиболее эффективных инструментов для обработки крупномасштабных космических снимков высокого разрешения [14] является свёрточная нейронная сеть YOLO (You Only Look Once). Согласно результатам исследо-ваний2, эта нейросеть на тестовых данных демонстрирует более высокую точность и меньший уровень потерь по сравнению с традиционными моделями. Преимущества алгоритма YOLO при обнаружении целевых объектов обусловлены особенностями её архитектуры: отсутствием этапа предварительной классификации, упрощённым механизмом анализа классов и способностью обрабатывать изображения с низким разрешением, что существенно снижает вычислительную нагрузку. Унифицированный подход к обучению «от начала до конца» (end-to-end) на больших наборах данных повышает точность детекции объектов в сложных условиях, что критически важно для мониторинга лесов Российской Федерации с их многообразием породного состава и условий произрастания. Кроме того, в современных версиях YOLO для борьбы с дисбалансом классов часто применяется функция потерь Focal Loss (или её модификации), которая минимизирует влияние легкоклассифицируемых примеров на процесс обучения3,4.

Важную роль в обучении нейросети играет разметка данных на космических изображениях, которая может осуществляться ручным, автоматизированным и комбинированным методами. Выбор метода зависит от объёма аннотируемой информации, доступных ресурсов и требуемой точности прогнозирования. На данном этапе освоения технологий использования нейронных сетей для решения задач защиты лесов обычно используется ручной метод разметки (human-in-the-loop) изображений, при котором аннотации к данным добавляют вручную (например, проводят рамку вокруг объекта и указывают его класс). Данный метод обеспечивает высокую точность, но требует времени и ресурсов. Важно исключить «грязную» (пропуск пикселей нужного класса или захват пикселей, не относящихся к нужному классу объектов) и неточную (в одном случае целевой объект размечен, а в другом – нет) разметки, которые снижают качество результатов работы модели. Точность разметки проверяется с помощью таких алгоритмов QA, как алгоритм консенсуса (надёжность данных достигается благодаря созданию согласия об отдельном примере между различными системами и людьми), тест альфы Кронбаха (измерение средней согласованности элементов данных в массиве)5,6.

Методические подходы к использованию дополнительной информации о лесах. Поскольку автоматическая идентификация объектов не всегда даёт однозначный результат, перед запуском нейросети необходимо установить дополнительные источники данных о лесах. Использование сведений о границах лесничеств, таксационных характеристиках насаждений и их состоянии, а также иных данных, позволяющих определить границы объектов работ, нелесные земли и т.п., повышает точность детектирования. В данном подразделе приводится перечень источников такой информации и методические подходы к её использованию, направленные на повышение надёжности идентификации целевых объектов.

Лесоустроительной документацией [15], необходимой для использования при дешифрировании данных ДЗЗ из космоса с помощью нейронных сетей, является:

/ графическое описание местоположения границ лесничеств, участковых лесничеств или лесных кварталов, включающее в себя перечень координат характерных точек их границ в системе координат, установленной для ведения Единого государственного реестра недвижимости (ЕГРН);

^ графическое описание местоположения границ лесных кварталов, содержащее повыдельную сеть в системе координат, установленной для ведения ЕГРН.

Предлагаемая лесоустроительная документация даёт возможность эффективно отслеживать изменения в состоянии лесов на исследуемой территории. Использование этих данных повышает точность дешифрирования снимков: позволяет безошибочно разграничивать лесные и нелесные земли, а также оперативно выявлять изменения в санитарном и лесопатологическом состоянии насаждений с привязкой к конкретным участкам леса («лесохозяйственным адресам»).

К результатам ГЛПМ [16], рекомендуемым для выявления изменений состояния лесов с помощью свёрточных нейронных сетей, можно отнести реестр лесных участков, занятых повреждёнными и погибшими лесными насаждениями, а также векторные границы выявленных изменений санитарного и лесопатологического состояния лесов по данным ДЗЗ (далее – результаты дистанционных наблюдений (ДН) при ГЛПМ).

В реестре ГЛПМ содержатся сведения о местоположении (лесохозяйственном адресе) участков погибших и повреждённых лесных насаждений.

Результаты ДН при ГЛПМ формируются в цифровом векторном виде с атрибутивной базой данных, содержащей сведения о причинах повреждения и гибели лесов, а также о местоположении участков (лесохозяйственные адреса) с изменениями санитарного и лесопатологического состояния. Эти данные могут быть трансформированы в любую систему координат и интегрированы в любое геоинформационное программное обеспечение.

Результаты ГМВЛ [17]. При проведении ГМВЛ для выявления участков леса, требующих воспроизводства, используются технологии ДЗЗ из космоса. К категориям земель фонда лесовосстановления относятся гари, погибшие насаждения, вырубки, прогалины и пустыри. Данные об этих участках формируются в цифровом векторном формате с атрибутивной базой данных, включающей сведения о категории земель и их местоположении (лесохозяйственные адреса). Аналогично результатам ГЛПМ, данные ДН, полученные в рамках ГМВЛ, могут быть трансформированы в любую систему координат и интегрированы в любое геоинформационное программное обеспечение.

Результаты ЛПО [18]. По результатам обследования составляется акт ЛПО, который содержит информацию о санитарном и лесопатологическом состоянии насаждений, а также о пространственном расположении лесопатологических выделов (координаты).

Результаты мониторинга пожарной опасности в лесах и лесных пожаров [19]. Рекомендуемыми к использованию материалами данного мониторинга являются термоточки, полученные из информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз). Они представляют собой векторные границы высокотемпературных аномалий (за исключением постоянных температурных аномалий), установленные по спутниковым данным.

Результаты ГЛПМ, ГМВЛ и ЛПО могут быть использованы в качестве данных для разметки и последующего обучения свёрточных нейронных сетей, а также для верификации и последующей корректировки результатов дешифрирования данных ДЗЗ. Особенно важны с точки зрения максимальной достоверности информации данные ГЛПМ и ГМВЛ, прошедшие наземную верификацию, а также результаты ЛПО, выполненных инструментальным способом.

Следует отметить, что ГМВЛ и ГЛПМ, в отличие от ЛПО, охватывают всю территорию земель лесного фонда и всё многообразие целевых объектов в лесорастительных зонах, а также имеют векторный цифровой вид с необходимой атрибутикой, что даёт возможность использовать их для обучения нейронных сетей и верификации прогнозных результатов дешифрирования материалов ДЗЗ из космоса.

Векторные границы высокотемпературных аномалий (термоточки), полученные из ИСДМ-Рослесхоз, не являются границами гарей и повреждённых пожарами лесных насаждений, но позволяют достаточно объективно устанавливать причины изменения санитарного состояния лесов.

Технологические подходы к выявлению целевых объектов при использовании свёрточной нейронной сети. Для эффективного выявления целевых объектов с использованием нейросетевых моделей необходимо обеспечить выполнение следующего алгоритма действий (табл. 2), который предусматривает: 1) сбор исходных данных, включая материалы ДЗЗ из космоса и результаты мониторингов (ГЛПМ, ГМВЛ, ИСДМ-Рослесхоз) в цифровом векторном виде, а также данные ЛПО; 2) предварительную обработку данных – подготовку данных ДЗЗ, создание новых изображений на основе наиболее информативного синтеза каналов или индексов, нарезку сцен с целевыми объектами и формирование дешифровочной матрицы; 3) обучение нейросетевой модели (классификация объектов детекции по степени и причинам повреждения насаждений, обучение и тестирование нейросети); 4) апробация нейросетевой модели по данным наземных обследований с последующей её оптимизацией; 5) ввод обученной нейронной модели в эксплуатацию.

Для обучения нейросетевых моделей были сформированы тестовые полигоны в каждом федеральном округе, а в качестве источников данных использованы сведения мониторингов

Таблица 2. Алгоритм действий по выявлению целевых объектов с использованием нейросетевых моделей спутниковых снимков

Этап	Содержание работ
Сбор исходных данных	Получение результатов мониторингов (ГЛПМ, ГМВЛ, ИСДМ-Рослесхоз) в цифровом векторном виде, данных ЛПО
	Получение материалов ДЗЗ из космоса
	Загрузка данных в геоинформационное программное обеспечение
Предварительная обработка данных	Подготовка данных ДЗЗ (атмосферная коррекция, формирование синтезов каналов, согласование гистограмм, формирование индексных изображений)
	Выбор наиболее информативного синтеза каналов или индексных изображений для выделения целевых объектов
	Создание набора синтезированных или индексных изображений
	Совмещение данных мониторингов с синтезированными или индексными изображениями в целях определения местоположения целевых объектов, формирование матрицы дешифрирования
	Нарезка сцен с целевыми объектами
Обучение нейросетевой модели	Определение классов детекции по степени и причинам повреждения насаждений, получение размеченных изображений
	Разметка изображений с помощью специализированного программного обеспечения, формирование датасетов данных, разделение их на две выборки – обучающую и тестовую
	Обучение нейросети, проверка её эффективности на тестовых данных путём оценки допустимых потерь
Апробация нейросетевой модели	Оценка (верификация) эффективности нейросетевой модели по данным наземных обследований
	Оптимизация нейронной модели по результатам тестирования и верификации
Результат	Ввод обученной нейронной модели в эксплуатацию

ГЛПМ, ГМВЛ и ИСДМ-Рослесхоз. На основе этих полигонов будут подготовлены датасеты космических снимков с последующей разметкой, необходимой для обучения алгоритмов детектирования состояния лесных насаждений.

Заключение

Сформулированные в статье концептуальные технологические подходы к применению нейросетевых методов при классификации целевых объектов и требования к данным ДЗЗ являются основными и необходимыми условиями для эффективного использования свёрточных нейронных сетей при мониторинге состояния лесов.

В организационном плане отработка технологии должна базироваться на тестовых полигонах, а также данных ГЛПМ, ГМВЛ, ИСДМ-Рослесхоз и ЛПО. При формировании тестовых полигонов необходимо учитывать всё многообразие лесорастительных условий. Такие полигоны должны включать участки лесов с различными причинами (лесные пожары, энтомовредители, болезни леса, дикие животные, антропогенные факторы, погодные условия и почвенно-климатические факторы) и степенью их повреждения (повреждённые, погибшие лесные насаждения в результате пожаров (гари), погибшие лесные насаждения от прочих факторов и т.п.), что позволит сформировать датасеты космических снимков целевых объектов и провести обучение нейросетей с целью обоснования выбора наиболее производительных и результативных с точки зрения точности детектирования состояния насаждений моделей.