Повышение точности распознавания просек для эффективного спутникового мониторинга незаконных вырубок леса

O.I. Sokolkov1, 2, , 1 Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia 2 Yugra State University, Khanty-Mansiysk, Russia

В субъектах Российской Федерации с большой площадью лесного покрова важнейшими направлениями природоохранной деятельности являются систематический мониторинг состояния лесных экосистем и рациональное использование их ресурсов. Особенно актуально усиление мер по защите лесов в Ханты-Мансийском автономном округе – Югре (Тюменская область), обусловленное масштабным освоением территорий, включая разведку, добычу, транспортировку нефти и газа. Реализация ряда инфраструктурных проектов сопряжена с неизбежностью сокращения площади лесных массивов, вследствие чего приобретают актуальность действенные инструменты защиты лесных ресурсов, направленные на предотвращение незаконных вырубок.

Одним из таких инструментов мониторинга лесных территорий является визуальное дешифрирование спутниковых снимков на предмет выявления вырубок, традиционно выполняемое оператором-человеком. Специалист исследует каждую свободную от облаков зону спутникового снимка с целью обнаружить участки с недавно поврежденным лесным покровом. Повышению точности идентификации способствует сравнительный анализ пары разновременных снимков одной и той же местности, что существенно облегчает выявление искомых участков, особенно в сложных ситуациях. При обнаружении поврежденных участков оператор очерчивает границы этого участка с помощью специализированного программного обеспечения, затем сверяет найденный объект с базой данных санкционированных лесных рубок. В случае подтверждения факта незаконного вмешательства оператор уведомляет органы надзора для проведения последующего полевого обследования.

Стоит отметить ограничения традиционного подхода, основным из которых является влияние на результат психофизиологических особенностей человека. Усталость снижает способность оператора фокусироваться, отвлекающие внешние стимулы нарушают концентрацию внимания, что в итоге приводит к пропуску существенной доли нарушений. Несмотря на удовлетворительную точность ручных процедур, производительности даже десяти операторов недостаточно для систематической, качественной и оперативной обработки спутниковых данных по субъекту с территорией, сопоставимой или превосходящей площадь ХМАО-Югры.

Появляется необходимость минимизировать влияние вышеперечисленных ограничений. Сегодня наблюдается активный рост популярности нейросетевых технологий, включая их применение в обработке изображений. Особое внимание уделяется разработке алгоритмов, предназначенных для обнаружения участков с поврежденным лесным покровом, в частности, незаконно вырубленных территорий. В [1–20] исследуются возможности применения нейронных сетей в данном контексте. В большинстве работ [3, 5, 15, 17, 18] высокую результативность демонстрируют сверхточные нейросетевые архитектуры. В работах [19, 20] показано, что более высокую результативность могут показывать трансформерные нейросетевые архитектуры. Результаты этих исследований указывают на то, что современные нейросетевые методы могут быть применены в контексте спутникового мониторинга лесных территорий.

Тем не менее возлагать всю ответственность за мониторинг незаконных лесных рубок исключительно на нейросетевые системы представляется необоснованным. Несмотря на то, что применение нейронных сетей намного ускоряет выявление лесных нарушений, качество обводки целевых объектов уступает человеческому уровню. Как следствие, пригодным практическим решением является использование автоматизированного подхода, в рамках которого нейронные сети определяют возможные зоны рубок, а операторы проверяют и подтверждают эти данные.

При такой результативной комбинации искусственного интеллекта и человеческого контроля в ряде специфичных случаев остаются проблемы следующего вида: избыточное выделение ложных объектов, недостаточно точное определение границ поврежденных участков, пропуски целевых участков. Эти недостатки оказывают непосредственное влияние на работу оператора. Ложные объекты требуют дополнительного времени на проверку и исключение. Неточно очерченные границы означает дополнительные траты времени на редактирование обводки. Полностью пропущенный нейронной сетью объект игнорируется оператором, поскольку его решение основано исключительно на выводах нейросетевого алгоритма, а не на самостоятельном просмотре всего доступного снимка.

Применение нейросетевых моделей сталкивается с рядом специфических трудностей при обнаружении лесных рубок. Возникают случаи, когда условия съемки затрудняют идентификацию (облачность, тени от облаков, туман), что значительно снижает эффективность поиска. Также существуют ситуации, когда за рубку принимается объект иного происхождения (ветровалы, цветения на болотах, выцветание травы, высыхание берегов рек и озер, участки лесной гари с частично восстановленной растительностью). Третий аспект касается пропуска или неполной обводки точечных и линейных рубок, примером которых являются дорожные сооружения и недавно созданные точечные вырубленные участки, которые еще не успели расшириться. Такие пропуски создают условия для беспрепятственного выполнения нарушителями именно таких видов рубок.

Настоящая работа представляет метод, направленный на улучшение качества распознавания линейных рубок (просек) без снижения эффективности распознавания других разновидностей вырубок. Метод способствует повышению продуктивности автоматизированного спутникового мониторинга. В дальнейшем предполагается проверить его действенность применительно к другим вышеописанным проблемным случаям.

Материалы

Исследование проведено на территории Ханты-Мансийского автономного округа – Югры (ХМАО), находящегося в пределах Тюменской области Российской Федерации. Регион расположен в зоне бореальных лесов, включающих светлохвойные, темнохвойные, мелколиственные и смешанные леса. Округ активно развивает инфраструктуру нефтегазового комплекса и энерго- системы, что приводит к появлению сложно определяемых нейросетевым методом спутникового мониторинга лесных просек, отмеченных ранее. Местная территория характеризуется резкой сезонностью климата, проявляющейся в наличии двух отчетливых сезонов лесных рубок: «бесснежного» (июнь – сентябрь) и «снежного» (ноябрь – апрель). Это предполагает обязательный учет обоих сезонов при усовершенствовании нейросетевых технологий природоохранного мониторинга.

Р ас с ма три в аю тс я с п у тни к ов ые с н и мк и мисс и и Sentin e l-2 уровня обработки L1C [21], в рамка х к оторой в ып ол н я етс я с и с т ематическая мультиспектральная съемка пов е рхн ос ти Зе мли с пол ос ой за хв а т а 290 к м. Сп у тни к и -дублеры Sentinel-2A и Sentinel-2B осуществляют повторную съе м к у те рри тори й с и н т е рв а лом 5 д н е й н а э к в а то ре и ка ж д ые 2 –3 дня в средних широтах. Такие х а ра к т е ри с ти к и позв оляю т об еспечить регулярный мониторинг состояния з емной п ов е рхн ос ти. Прои зв е д е н н ы е с н и м к и пре д ос т а в ляю тс я в отк р ыт ый д ос ту п и п редставляют собой 13-канальные и зоб раж е н и я прост ра н с тве н н ог о разрешения от 10 до 60 метров. Каждый сни мок S e n t inel-2 охватывает территорию 100 х 1 00 к ил ом е тров .

Для и с с лед ов а н и я б ы ли отобраны свободные от облачности спутниковые с ни м к и , соответств у ю щие ра с с ма три в ае мо й те рр итории. Путём нарезки и перепроецирован ия ра с тров ых и зоб раж е н и й сформ и р ов а н ы р а зме ченные пары кадров, каждая из которых охват ы в а е т у ча с ток п ло щ адью 5,12 х 5 , 12 к в . к м. К ажд а я пара включает в себя три элемента: «текущий» к а д р ( с оответствует тек уще му м оме н ту в ре ме н и ) , «старый» кадр (соответствует предшествую ще му моме н ту в ре мен и ) и п одгот овл е н н ую опе ра тором б и н а рн ую ма ск у лес н ых ру б ок ( ри с . 1).

a)                                            b)                                           c)

d)                                               e)                                              f)

Рис. 1. Визуализация размеченных пар кадров: a, b, c – «старый» кадр, «текущий» кадр, маска рубок «бесснежного» сезона соответственно; d, e, f – «старый» кадр, «текущий» кадр, маска рубок «снежного» сезона соответственно

Fig. 1. Visualization of annotated frame pairs: a, b, c – “old” frame, “current” frame, and felling mask for the “snowless” season respectively; d, e, f – “old” frame, “current” frame, and felling mask for the “snowy” season respectively

Белый пиксель на маске указывает на нарушение лесного покрова вследствие вырубки на соответствующем участке «текущего» кадра по сравнению со «старым» кадром. Черный цвет означает, что на участке «нового» кадра отсутствуют признаки лесной рубки. Следует отметить, что операторы выделяют чёрным цветом также те участки, где выявлено нарушение лесного покрова, имеющее иную природу происхождения, отличную от рубок (ветровалы, пожары и подтопления, отличимые на снимках Sentinel-2 от участков c вырубками).

Пространственное распределение размеченных пар показано на рис. 2. Зелёным цветом отмечены кадры «бесснежного» сезона, синим – «снежного». Набор данных включает в себя 5522 размеченные пары кадров (2691 пара «бесснежного» сезона и 2831 пара «снежного» сезона). Среди размеченных пар имеются как те, которые охватывают как минимум один вырубленный лесной участок, так и те, на которых рубки полностью отсутствуют. Вследствие неравномерного распределения вырубок по рассматриваемой территории наблюдается группирование размеченных пар в виде отдельных кластеров со случаями частичного пространственного пересечения.

b)

Рис. 2. Распределение размеченных пар кадров по территории ХМАО-Югры: a – пары «бесснежного» сезона; b – пары «снежного» сезона

Fig. 2. Distribution of annotated frame pairs across the territory of Khanty-Mansi Autonomous Okrug – Yugra: a – “snowless” season pairs; b – “snowy” season pairs

Методы

Рассматривается задача бинарной семантической сегментации разновременной пары пространственно согласованных спутниковых изображений. Требуется сформировать маску рубок на основе «текущего» и «старого» кадров, что на практике означает имитацию поведения человека-оператора. Предполагается реализация нейросетевого моделирования, подразумевающая в данном контексте обучение нейронных сетей на тренировочной выборке размеченных пар кадров, систематический мониторинг обучаемых моделей на предмет переобучения путём апробации на валидационной выборке, итоговую оценку качества модели на независимой тестовой выборке.

Предлагаемое в рамках настоящей работы решение основывается на построении ансамбля независимых нейросетевых моделей, каждая из которых формирует собственную маску лесных рубок – и впоследствии их прогнозы отображаются в единый результирующий прогноз от всего ансамбля. Каждая отдельно взятая модель обучается по принципу «мягкой» специализации с «осторожным» выходом за ее пределы. Под «мягкостью» специализации подразумевается наличие у каждой модели ансамбля собственного профиля (ряд заранее известных ситуаций, при возникновении которых от модели ожидается наибольшая результативность), но при этом они также обучаются справляться задачами вне своей специфики, пусть и с меньшей эффективностью. Термином «осторожность» обозначено желаемое поведение модели в процессе вывода решений: если случившаяся ситуация выходит за рамки профиля модели – она должна быть склонной к ложноотрицательным ошибкам (пропускать объекты), а не ложноположительным. Окончательный прогноз получается путем объединения бинарных масок, сформированных отдельными моделями, посредством логического оператора «ИЛИ». Его применение в сочетании с ранее представленным принципом «осторожности» позволяет смягчить проблему накопления ложноположительных ошибок при получении агрегированного вывода.

Для задачи выявления лесных рубок предлагается использовать ансамбль из следующих двух моделей. Первая модель настраивается таким образом, чтобы она была специализированной именно на выявлении «тонких» видов рубок (точечных и линейных), при этом имела тенденцию совершать ложноотрицательные ошибки по всем остальным рубкам (далее именуются «широкими»). Вторая модель настраивается прямо противоположным образом.

Чтобы зафиксировать модель таким образом, чтобы она выделяла исключительно тонкие вырубки, необходимо предварительно определить понятие «тонких» вырубок путем разработки специального алгоритма. Такой алгоритм, основываясь на исходной бинарной маске всех вырубок, позволит формировать новую бинарную маску, содержащую лишь тонкие вырубки и исключающую остальные типы.

Предлагается алгоритм выделения тонких объектов на маске рубок. Его суть состоит в повторяющихся операциях последовательного удаления граничных пикселей каждого объекта с последующим равнозначным числом восстановительных шагов. В ходе каждой итерации восстановления утраченные пиксели возвращаются только из числа ближайших соседей. Подобный метод обеспечивает полное удаление тонких фрагментов после завершения цикла указанных процедур. Чем большее количество итераций эрозии-восстановления выполнить, чем более широкие фрагменты будут оставлены на маске.

Иллюстрация описываемых процедур представлена на рис. 3. После выполнения итераций эрозии 1ер = 1, ...,N производится аналогичное количество итераций восстановления {_вос = 1, ...,N. Итоговая маска представляет собой маску тонких рубок. Зелеными стрелками отражается: при {_вос = х,х Е 1,...,N, используется информация о сохранившихся пикселях, зафиксированная при { ер = ^ — х + 1. По завершении процесса восстановления выполняется логическое исключение («исключающее ИЛИ») между полученной выходной и первоначальной масками. Это формирует предварительную маску тонких вырубок, содержащую незначительные шумы, которые необходимо устранить. Для этого применяется этап фильтрации мелких объектов («Фильтр малых объектов»). Алгоритм эрозии, выполняемый над бинарными масками, представлен в [22].

Входная маска

Выходная маска

Рис. 3. Иллюстрация работы фильтра тонких фрагментов Fig. 3. Illustration of thin fragment filter operation

Для р е а ли з а ц и и в ыш е опи с а нных «мягких» «аккуратных» прогнозов пре д ла гае тс я с лед у ю щи й м етод . Чтобы и зм енить ха р актер ошибок прогнозирования в сторону ложн оп оло жи тельн ы х о ш и б ок, ра с с м а три в а е тс я фу н к ция потерь Tversky Loss [23]. Одна из отличи те л ьн ых е е о с об е нностей - в озможн ос ть п о в ыш а ть пара м е тр а при понижении параметра в, за счет чего есть воз мож ность д о с ти чь э ф фе кта «ос т орожной» модели при обучении. Эффект фо к у с и ров к и д ос тига етс я мод ифи ка ц и е й с хе м ы в ычи с л е н и й п о д с че та TP, FP и FN. Вводится маска приоритетов на р я ду с ма с кой и с ти н н ых п ре д ск а заний. Так, за более приоритетные участки м од е ль б у д е т б о льше штра ф оватьс я за о ш и б к у и боле е в озн агражда тьс я за п ра в и льн ый отв е т.

Пол ожи м, шири н а , в ысот а в ыхо д н ой и ожид а е м ой ма ск и W и Н соответственно. В процессе о б у че н ия п од а е м н а в хо д н е й росети очередное изображение из тренировочной в ыб орк и и п ол у ч а е м е щ е н е б и на ри зи ро в а н н у ю к а рту п рогн оз ов У_{двухмерн}^е [0,1]^{н xW}. Ожидаем от модели истинную бинарную маску У_{двух м}е _р н 6 {0,1}^{н xW}. Имеем маску приоритетов 5_двухм ерн 6 R • Далее для у п рощ ени я п ре дс т а в ле н ия д а лее п реоб ра зу е м У двухмерн , У двухмерн , ^ двухмерн в одномерный вид У, У, 5 так, что: У 6 {0,1}^м,У 6 [0,1]^м,М = Н ■ W. Применяем функцию потерь в виде

МУ,У)= 1-

((ws)

YY+ a((l-Y~)Y)S+ ^(Y(l-Y~)S) •

Ч т о к ас ае тс я ме т ри к оцен и вания, используются как стандартные, так и с пец и а ли зи ров а н н ые мет ри к и , п озв оляю щие о ц е н и т ь эффективность решения конкретно в аспекте точн ос ти ра с п озн а в ани я лес н ых ру б о к . Пред с та в ляе м п ере че н ь п ри м е н яе мых базовых метрик:

Precision(Y, У) = -^^P—, Reca ll(Y, У) = —^TP—,

TP+FP                TP+FN’

F l (Y,Y) =

2 ■ Precision(Y Y) ■ Recall(Y,Y) Precision(Y,Y') + Recall(Y,Y) , где TP - количество пикселей, которые были правильно отнесены к рубкам. FN - количество пикселей, в которых рубка была пропущена. FP - количество пикселей, которые были неправильно отнесены к рубкам.

Не об ход има о ц е н к а к а че ств а распознавания лесных просек («тонких» объе к т ов в ц е ло м) . Д ля этого в расчет TP_тонк, Fp_гонк, FN_{т о нк} берутся лишь те пиксели масок, что входят в окрестности и пре д е лы ма с к и т он к и х р у бок. В и з уа лиза ц ия та к и х о к ре стн ос тей п ре д с тавлена на рис. 4. Г оворим о F_{l тонк} и F_{l проч} (остальная область - с ин я я ма с к а), что вы чи с ляе т с я п о а н а ло ги и TP_II p _Oч, FP_II p _Oч, FN_проч.

a)                                              b)

Рис. 4. Иллюстрация выделения областей для подсчета F j _тонк (зеленый цвет) и F _{r проч} (синий цвет): a – исходная маска; b – соответствующие выделенные области маски

Fig. 4. Illustration of region extraction for calculating F j _тонк (green color) and F j _проч (blue color): a – original mask; b – corresponding extracted regions

Результаты и обсуждение

З а д а чи се гме н т а ц и и с н и м ков для «снежного» и «бесснежного» сезонов решались раздельно, и спол ьзуя отде льн ы е мо д е ли (ансамбли моделей). Процесс обучения вкл ю ча л фи к сированн о е коли че с тв о э п ох, на ка ж дой и з которых сохраняются контрольные точки (чек пои н ты). После з ав ерш е н и я обучен ия сре ди в с е х с охра нё н н ых че к пои н тов в ыб и ра е т с я та версия модели, которая де мон с три рует лу чш и е р е зу льт аты на валидационном датасете. Эта выбран н а я мод е ль с чи та е тся о б у че н ной и да лее п ров е р яе тс я на тестовых данных согласно ранее описанн ы м к ри те ри ям.

Пред в а ри те льна я о б ра бо тк а д а н н ых п ров од и л а с ь од и н ак ов о для всех моделей и включала э тапы н орма ли за ц и и и наре зки изображений. Исходные данные были норма ли зов а н ы ме тодо м Z-н орма л и з аци и , у с траняющ и м влияние исходного масштаба на результат ы мод е ли ров а н и я. З атем и з ображе н и я раз рез ал и с ь н а отд е л ьн ые к ад ры и балансировались. Для «бесснежного» периода об у ча ющ а я в ы б орка сод е р жа л а 40 052 пары изображений, валидационная – 12 500 пар, тестовая – 5 625 п ар. В с лу ча е «с н ежного» периода объемы составляли соответс тв е н н о 49 563, 14 017 и 7 2 20 па р и зображе н и й. Д ля ре ше ния задачи «бесснежного» сезона мы используем лишь следу ю щ и е ка н а л ы: B 2 (голу б ой ), B3 (зеленый), B4 (красный), B5 (VNIR), B11 и B 12 ( S W I R ) . Изобра ж е н и я к а н а л ов с ра зреш е н ием 20 и 60 м с помощью процедуры увеличен и я п рос тра н с тв е н ного разрешения с использованием глу б ок ой н е й ро н н ой с е ти De e pS e n tin e l -2 [24] приводились к разрешению 10 м. Исп ользу е м пакетный градиентный спуск с размером пак е та ( batc h s ize ), р а вным 32.

На ос н ован ии п ред в а ри т ел ьных экспериментов с перебором гиперпара ме т ров для всех последующих эксп е ри м ен т ов была в ыбра н а архи тек ту ра Mobilenetv2-Unet++ [25] с числом параметров 6.8 M. Благодаря дос та точно небольшому размеру модели и возмо жн ос ти п а ра л ле л ьн о й о б ра ботк и т а к и е моде ли могу т эффективно использоваться в контексте нейрос е те в ог о а нс а мбли-рования.

Р ез у льтаты э к с п е ри ме н то в по обоим сезонам приведены в таблице. Об озн аче н и я в та б ли ц е означают следующее:

• –    B a s e l in e : м од е л ь а р хи те к ту ры Mo bi le NetV2_U-Net++, обученная на оригинальном наборе данных;

• –    Augme nt a ti on: та к ой ж е э к с п е ри ме н т, к ак B ase l i ne , н о с добавлением равного количества (50 %) и ск аже н н ы х к ад р ов ( с м ещение, поворот, отзеркаливание, вращение ) : полов и н а ка д р а с у ча стк а ми ле с ных п росе к, п олов и н а – кадры без рубок (для восстановления баланса);

• –    Thi n Thick Ensemble : п ре д лага е м ый п о д ход , р е а ли зо ванный в ансамбле двух моделей MobileNetV2_U-N et++, о б у че н н ых н а ори ги н альн о м н аб оре д а н н ы х;

• –    Thi n T h ic k Ense mble &  Augmentation: обучение вышеописанного анс а м б л я н а а у гме н ти р о-ванном наборе данных.

Пок аз ано, что схе м а T h i n T hi c k Ense mble & Aug me nta tion д а ла результативность на 5,35 % больше п о с р а в н е н и ю с B a se l ine п о метрике F_{± тонк}. При этом не потеряли показатель F_{± проч}, что о з н а чае т с охр а н е н и е к а чес тв а обнаруживать другие виды лесных вырубок, к роме л е с н ых п р ос ек. Пок аз ано та кже, что с х е м а Thin T h ic k Ensemble & Augmentation дала результативность на +6,8 % больше п о с ра в н е н и ю с B a se l ine по «снежному сезону». При этом также не п оте ряли п о к а за т е л ь

F₁ проч . В обоих случаях наблюдается эффект: комбинация подхода аугментации изображения и предложенной схемы «мягкого осторожного» ансамбля дает результативность больше, чем применение этих подходов по отдельности.

Результаты экспериментов по двум сезонам Experimental results for two seasons

Эксперимент	Сезон
	Бесснежный		Снежный
	г 1 тонк	^ 1 проч	г 1 тонк	^ 1 проч
Baseline	0,7971	0,9260	0,7640	0,8969
Augmentation	0,8362	0,9276	0,7803	0,9015
Thin Thick Ensemble	0,8384	0,9292	0,8225	0,8986
Thin Thick Ensemble & Augmentation	0,8506	0,9296	0,8320	0,9011

Приведенные выше результаты показывают, что предложенный метод позволяет значительно повысить точность распознавания лесных рубок в условиях наличия значительной доли их в виде лесных просек по сравнению с традиционными подходами.

Стоит учесть, что рассматриваемые модели не принимают во внимание лесные участки с иными характерными признаками, затрудняющими автоматическое распознавание. Облачный покров представляет собой серьезную проблему при анализе космических снимков [20], поскольку облака и их тени способны полностью или частично скрывать участки земной поверхности, препятствуя достоверному выявлению лесных рубок. Поэтому вопросы учета влияния облачности на эффективность распознавания лесных рубок на спутниковых изображениях требуют дальнейшей научной проработки.

Заключение

Предложен метод повышения эффективности распознавания лесных просек, основанный на модифицированной функции потерь TverskyLoss с использованием нейросетевого ансамблиро-вания. Эффективность метода подтверждена экспериментально на двух наборах данных, соответствующих «снежному» и «бесснежному» сезонам. Благодаря предложенному методу удалось повысить качество распознавания лесных просек по показателю F_{1 тонк} на 5,35 % для «бесснежного сезона» и 6,8 % для «снежного сезона» без потерь в качестве распознавания рубок других категорий. Для дальнейшего повышения точности нейросетевой модели необходимы дополнительные исследования, направленные на расширение и повышение качества тренировочного набора данных посредством включения большего разнообразия примеров лесных вырубок. Представляют научный и прикладной интерес вопросы распознавания рубок на спутниковых снимках в условиях наличия отвлекающих помех, таких как лесные гари и ветровалы. Важным направлением дальнейших исследований является повышение точности обнаружения лесных рубок при влиянии неблагоприятных атмосферных условий, таких как плотная облачность (включая затененность облаками) и туманность.