О классификации космических снимков Sentinel-2 нейронной сетью Resnet-50

Информация о типе земной поверхности нужна для проведения мониторинга состояния окружающей среды, позволяющего отслеживать изменения природных ресурсов. Для автоматизированного картографирования больших территорий в современных исследованиях [1 –3] активно используют классификацию данных дистанционного зондирования Земли (ДЗЗ) с помощью методов машинного обучения. Высокую точность классификации космоснимков показывают сверточные нейронные сети [4], которые позволяют учитывать специфику спектральных характеристик конкретной территории. Методы машинного обучения Random Forest успешно применяют для классификации городских территорий [5] и породного состава лесов [6–7]. В [8] для классификации видов деревьев на территории Швеции по снимкам Sentinel-2 был использован метод последовательного байесовского вывода. Успешные результаты по классификации пород лесов, изложенные в современных научных публикациях, позволяют предполагать, что такого же результата можно достигнуть для исследуемой территории.

Для улучшения результата классификации к каналам спутниковых снимков добавляют спектральные индексы. В работе [9] спектральные индексы NDVI, EVI, DVI, CIg используют при составлении карт мангровых зарослей на этапах формирования маски рас- тительности и в качестве входных переменных для алгоритма машинного обучения. В статье [10] при классификации космоснимков бореальных ландшафтов к стандартным каналам спутника Sentinel-2 были добавлены значения индексов NDVI, MNDWI и NDBI. Авторы [11] исследуют возможности NDVI по различению объектов на гиперспектральных данных.

В работе [12] классификация типов подстилающей поверхности по космоснимкам проводится с помощью сверточных нейронных сетей. При этом методы глубокого обучения показали стабильно хорошие результаты на изображениях с разными характеристиками и на несбалансированных по размеру классах обучающей выборки. В работе [13] исследована классификация временных рядов Sentinel-2 с помощью рекуррентной нейронной сети для выявления изменения параметров землепользования. Влияние различных спектральных и временных характеристик на точность классификации оценивалось с помощью подхода перестановки добавленного шума во временной и в спектральной областях.

Во многих работах часто используется NDVI, который является нормализованной комбинацией значений красного и инфракрасного каналов. NDVI характеризует объем зеленой массы, потому что пигмент хлорофилл максимально поглощает солнечную радиацию в красной части спектра, а в инфракрасной – максимально отражает ее. Это позволяет отделять на космоснимках области с растительностью от участков открытой почвы, воды, антропогенных объектов.

В различных задачах распознавания изображений со сложной текстурой часто используют локальные бинарные шаблоны (LBP) [14] – от анализа фотографий лиц людей [15] и построения описания изображений [16] до классификации гиперспектральных изображений нейронными сетями [17]. Метод позволяет добавить информацию об окружении каждого пикселя, сочетая пространственные и спектральные данные, и не обладает при этом вычислительной сложностью.

Качество классификации зависит от начальных гиперпараметров нейронной сети [18]. Такой параметр, как количество эпох, напрямую влияет на качество обучения – чем больше эпох, тем лучше обучена сеть. Но при слишком большом количестве эпох возникает проблема переобучения, когда нейронная сеть слишком точно настраивается на обучающую выборку, а на тестовых данных потом показывает низкий результат. Также на процесс обучения влияет количество образцов в обучающей выборке, недостаточное их количество не позволяет охватить все возможные вариации спектральных характеристик в конкретном классе.

Ранее в работе [19] нами были исследованы методы классификации мультиспектральных изображений спутника Sentinel-2, позволяющие для каждого пикселя космоснимка определить его класс – растительность, открытая почва, вода, антропогенные объекты и т.д. Сформирована обучающая выборка, содержащая характерные для Байкальской природной территории 12 классов: голая скала, пастбище, вырубки, кустарники, хвойный лес, редколесье, лиственный лес, смешанный лес, облака, пашня, жилая зона, вода.

Построение обучающей выборки проводилось с помощью Web-интерфейса собственной разработки на основе данных Sentinel-2 и полевых исследований. Разметка осуществлялась полигональными объектами с указанием класса, директории космоснимка, даты съемки.

Всего размечены 134 космоснимка Иркутской области и Республики Бурятии, количество полигональных объектов – 2246 шт. на площадь более 5900 кв.км (примерно 230 млн пикселей, одна территория может быть размечена для нескольких снимков). Все снимки летнего периода за 2018–2020 года. Далее эти снимки будем называть базовыми изображениями.

Для классификации использовались методы машинного обучения: случайных лесов RandomForest и сверточная нейронная сеть архитектуры ResNet-50. Результаты оценки точности обоих методов на верификационной выборке показали, что нейронная сеть лучше определяла классы из-за того, что решение принималось по окрестности 64×64 пикселя вместо попиксельного сравнения у RandomForest.

В настоящей работе были исследованы различные приемы повышения точности классификации космоснимков Sentinel-2 на основе нейронной сети ResNet-50.

1.    Методы

Обучение ResNet-50 проводилось на 12 классах по 815 образцов в каждом. На вход нейронной сети подается образец, представленный тензором 64 × 64 пикселя, где каждый пиксель представлен 13 исходными каналами Sentinel-2. На выходе получаем класс центрального пикселя. Соответственно, решение о классе центрального пикселя принимается на основе анализа его окрестности 64 × 64 пикселя, где каждый пиксель имеет пространственное разрешение 10 м, т.е. производится анализ окрестности 640 × 640 метров. Такое представление образцов позволяет обучать классификатор случаям, когда центральный пиксель может находиться на границе классов. Формирование обучающей выборки и классификация проводится в процессе движения скользящим окном размером 64 × 64 пикселя по изображению.

Общее число настраиваемых параметров ResNet50: 23 538 338. Используется алгоритм оптимизации: Adam, betas = (0,9; 0,99), функция потерь: FlattenedLoss. Обучение ResNet-50 проводилось на 20 эпохах в течение 30 минут. Обучение и классификация проводились на компьютере со следующими характеристиками: процессор Intel(R) Core (TM) i9-9900X CPU с тактовой частотой 3.50GHz, объем ОЗУ 125 Гб, две графических карты NVIDIA GeForce RTX 2080SUPER 8ГБ.

При этом ряд классов отделялся недостаточно хорошо. Большое количество неверно классифицированных объектов наблюдалось в классах «Вырубки», «Лиственный лес» и «Переходный лес / кустарники», «Пашни» и «Голая скала». Также низкая точность наблюдалась на границах классов.

Для повышения точности классификации космоснимков нами было принято решение продолжить улучшение работы нейронной сети, исследовав ее работу с разными параметрами. Для этого был проведен ряд экспериментальных исследований:

• •    в обучающую выборку добавлен слой на основе спектральных индексов, призванный улучшить точность отделения разных классов растительности;

• •    в обучающую выборку добавлен слой локальных бинарных шаблонов для добавления информации о текстуре изображения;

• •    увеличено количество образцов в обучающей выборке;

• •    добавлено количество эпох обучения нейронной сети;

• •    классификатор протестирован на территории с другими спектральными характеристиками.

Тестирование классификатора с выбранными лучшими параметрами на другой территории, отличающейся по составу почв от местности, где распо- ложена обучающая выборка, позволило оценить его устойчивость. Исследование устойчивости нейронной сети является одним из способов повысить качество обучения. Этот шаг необходим для принятия решения об использовании полученного результата при классификации спутниковых снимков на обширные территории, охватывающие несколько природных зон. Для оценки классификации рассчитаны матрицы неточностей (confusion matrix) и метрики точность (precision), полнота (recall) и F-мера, представляющая собой гармоническое среднее первых двух метрик.

Precision=

TP TP+FP,

Recall=

TP TP+FN,

„ „ Precision x Recall

F=2

Precision+Recall

.

Такой выбор метрик позволяет довольно полно оценить качество классификации в каждом варианте, ведь точность отражает процент правильно классифицированных объектов из всех, отнесенных сетью к конкретному классу, полнота – процент правильно классифицированных из всех объектов этого класса.

Верификация результатов классификации данных ДЗЗ является критически важным моментом. Существующие программные библиотеки классификации данных автоматически делят разметку на обучающую, тестовую и верификационную выборку. При этом не учитываются условия съемки и пространственное распределение образцов. Это приводит к тому, что образцы с одного изображения и одного полигона разметки часто попадают одновременно в обучающую и верификационную выборку. В результате при итоговой классификации снимка точность значительно отличается от полученной на верификационной выборке. С целью более корректной оценки результатов классификации авторами проведена отдельная разметка изображений, не участвующих в обучающей и тестовой выборке. Далее эти изображения будем называть верификационными. Выделенные полигоны пространственно не пересекаются с полигонами обучающей и тестовой выборки. Классификация одного изображения – достаточно длительный процесс, для ускорения которого могут применяться различные эвристики, например, классификация на более грубом разрешении. Сравнение результатов классификации с верификационной разметкой выполняется сравнением изображений попиксельно, дает более точную оценку.

2.    Результаты и обсуждение

В начале было проведено обучение на выборке, состоящей из 1000 образцов для каждого класса. Каждый образец имеет размерность 64 × 64 пикселя и 13 слоев Sentinel-2. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях местности около Иркутска. Результаты тестирования приводятся в матрице неточностей в табл. 1.

Итоговая средняя точность базового варианта составила 0,54, F-мера = 0,53. В табл. 2 приведено сравнение средней точности всех вариантов расчетов по классам.

• 2.1.    Добавление спектральных индексов

• 2.2.    Добавление локальных бинарных шаблонов

Территория Иркутской области на 80% площади покрыта лесной растительностью. Поэтому в работе было исследовано применение широко используемого спектрального индекса растительности NDVI для улучшения точности классификации космоснимков. Для каждого образца обучающей выборки добавлен слой с NDVI, посчитанный на каналах B4 и B8. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях. Результаты отражены в табл. 3.

Итоговая средняя точность составила 0,54, F-мера = 0,52. По некоторым классам – «Голая скала», «Лиственный лес» – оценки улучшились, по другим – «Редколесье», «Пастбище» – ухудшились.

Спектральные индексы хорошо работают на снимках Landsat. Но изображения со спутников Sentinel-2 имеют больше каналов, важных для распознавания растительности. Это каналы B5-B7 в области красного края с длинами волн 705, 740 и 783 нм и SWIR каналы B11-B12 с длинами 1610 и 2190 нм. Включение в исходные данные каналов красного края дает дополнительную информацию, ведь в этой области находятся дополнительные пики коэффициента отражения хлорофилла, положение и величина которых связаны с возрастом и концентрацией пигмента в растениях [20]. Поэтому добавление слоя NDVI в целом не дало улучшения результатов классификации.

Для учета текстурных характеристик успешно применяют локальные бинарные шаблоны. LBP инвариантны к изменениям яркости, контрастности, к повороту изображения. Применяются обычно для распознавания текстур на изображении. Локальный бинарный шаблон представляет собой функцию оценки пикселя на основе значений яркости его соседей из восьмисвязной окрестности. Функция вычисляется как сумма значений пикселей из окрестности, которые принимают значение 1, если значение пикселя из окрестности больше или равно оцениваемому, в остальных случаях значение равно 0. Для каждого образца обучающей выборки добавлен слой с LBP, посчитанный на канале B2. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях.

Итоговая средняя точность составила 0,52, F-мера = 0,51. Гистограмма (рис. 1) показывает, что добавление слоев NDVI и LBP не дало повышения F- меры почти во всех классах. Вероятно, в процессе обучения нейронная сеть ResNet-50 сама находит нужные сочетания слоев и определяет текстурные признаки. В некоторых классах – «Сельхозкультуры», «Пастбище», «Редколесье», «Смешанный лес» –даже наблюдалось снижение значений F-меры при добавлении слоев NDVI и LBP к обучающей выборке. При этом в классах «Хвойный лес» и «Лиственный лес» добавление NDVI все же повысило F-меру, а слой LBP улучшил показатели класса «Голая скала».

Рис. 1. Гистограмма сравнения базового классификатора с добавлением NDVI и LBP

• 2.3.    Расширение обучающей выборки

  Одиним из методов улучшения результатов классификации спутниковых изображений является увеличение объема обучающей выборки. Была выдвинута гипотеза, что 1000 образцов на класс недостаточно для классификации целого снимка Sentinel-2, разрешение в 10 м у которого соответствует изображению в 10 000 пикселей в каждом измерении. На рис. 2 показана зависимость точности классификации от количества образцов.

• 2.4.    Увеличение количества эпох обучения

Рис. 2. Зависимость точности классификации от количества образцов

Поэтому было проведено увеличение обучающей выборки до 13000 образцов на каждый класс. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях. Итоговая средняя точность составила 0,72, F-мера = 0,65, что заметно лучше начального варианта классификации.

Малое количество эпох обучения может приводить к недообучению нейронной сети, что вызывает снижение точности классификации. Поэтому было проведено тестирование на классификаторах, созданных с разным количеством эпох – 120 и 160. Количество образцов на класс осталось равным 13000. В табл. 4 показаны результаты тестирования: изображения около Иркутска, 120 эпох, 13000 образцов на класс.

Для варианта обучения на 120 эпох итоговая средняя точность составила 0,71, F-мера = 0,66. Значения примерно сходные с вариантом классификации на 80 эпох, небольшое снижение средней точности наблюдается из-за снижения ее у класса «Хвойный лес», у остальных классов отмечен рост значений точности и F-меры.

Для варианта обучения на 160 эпох итоговая средняя точность составила 0,65, F-мера = 0,69, т.е. при увеличении количества эпох наблюдается ухудшение качества классификации.

В результате выявлено, что наилучшее качество при обучении было получено на 120 эпохах, а далее начало падать (возможно, из-за переобучения нейронной сети). Гистограмма сравнения классификаторов с разным количеством эпох (рис. 3) показывает, что на ряде классов значения F-меры были примерно равны при любом количестве эпох («Сельхозкультуры», «Жилая зона», «Вода», «Голая скала», «Облака»).

Рис. 3. Гистограмма сравнения классификаторов с разным количеством эпох

При этом в классах «Пастбище», «Вырубки», «Редколесье» «Лиственный лес» классификатор на 120 эпох показал увеличение значения F-меры по сравнению с 80 эпохами, а на 160 эпохах – уменьшение. Прирост на 160 эпохах относительно 120 показал только класс «Смешанный лес» (рис. 4).

Рис. 4. Гистограмма сравнения классификаторов с разным количеством эпох

На диаграмме размаха (рис. 5) всех 6 использованных классификаторов видно, что медианное значение F-меры выше у классификатора, использовавшего увеличенную выборку 13000 образцов на класс и 120 эпох. У него же выше находится нижняя и верхняя границы, соответствующие нижнему (25 % выборки) и верхнему (75 % выборки) квартилям, что соответствует лучшим показателям значений F-меры.

■ База ] NDVI □ LBP □ 80 эпох □ 120 эпох ■ 160 эпох

Рис. 5. Диаграмма размаха сравнения классификаторов

• 2.5.    Тестирование на другой территории

Расширение обучающей выборки проводилось в основном на территории возле г. Иркутска и южной части озера Байкал. Для исследования поведения классификатора на территории с отличающимися спектральными характеристиками было проведено тестирование на верификационных изображениях возле Ну-кутского района, находящегося на расстоянии 200 км от Иркутска. В данной местности отличается ландшафт территории, преобладают степи и глинистые почвы. Результаты тестирования приводятся в табл. 5.

Оценки классификации в целом ухудшились, что говорит о необходимости расширения обучающей выборки по некоторым классам для территорий с отличающимися спектральными характеристиками. Например, это классы «Вырубки», «Редколесье» и «Голая скала», по которым отмечено самое большое снижение значений F-меры (рис. 6). Также снижение наблюдается для классов «Сельхозкультуры» и «Пастбище». При этом у классов «Вода», «Облака» и «Жилая зона» результат остался стабильно высоким. Это означает, что изменение состава почвы приводит к изменению спектральных характеристик классов растительности, тогда как параметры остальных классов сохраняются.

Заключение

В работе исследовано изменение точности классификации спутниковых изображений при различных комбинациях параметров нейронной сети. Проведено добавление к обучающей выборке новых слоев. Так, добавление NDVI и локальных бинарных шаблонов не улучшило результаты классификации. Вероятно, в процессе обучения сеть ResNet-50 находит нужные сочетания слоев и определяет текстурные признаки.

Выполнено тестирование классификаторов, созданных на разных количествах эпох, с увеличенным количество образцов на класс – 13000. В результате выявлено, что наилучшая точность была получена при обучении на 120 эпохах. При этом максимальная средняя точность выявлена на 80 эпохах, а снижение ее значения на 120 эпохах вызвано снижением точности только у одного класса, тогда как у всех остальных значения выросли. Поэтому лучшим результатом мы считаем обучение на 120 эпохах с увеличенным количеством образцов на класс.

Рис. 6. Гистограмма сравнения классификаторов на разных территориях

Отделение разных классов лесов показывает низкое качество. Мы полагаем, что это связано с близостью их спектральных характеристик. Разделение лесов на более детальные классы требует применения классификаторов, использующих изображения за разные периоды года, учитывающих разные моменты вегетационного периода. В дальнейшем требуется расширение обучающей выборки с целью учета различных природных зон, почв и т.д., что достаточно сложно сделать из-за большой площади Иркутской области.

Результаты классификации представлены на сайте

Работа выполнена в рамках гранта № 075-15-2020787 Министерства науки и высшего образования РФ на выполнение крупного научного проекта по приоритетным направлениям научно-технологического развития (проект «Фундаментальные основы, методы и технологии цифрового мониторинга и прогнозирования экологической обстановки Байкальской природной территории»).