Повышение эффективности классификации гиперспектральных изображений за счет разномасштабной пространственной обработки

Отличительной особенностью гиперспектральных (ГС) изображений, полученных в результате дистанционного зондирования Земли (ДЗЗ), является большое количество каналов в видимом, ближнем и коротковолновом инфракрасных диапазонах [1, 2]. Учитывая то, что спектры поглощения различных веществ уникальны, регистрируемая информация потенциально позволяет определять не только тип наблюдаемых объектов, но и их состояние (например, содержание отдельных пигментов и влаги в растительном покрове). Для этой цели разработаны многочисленные подходы, реализующие анализ тонкой структуры спектров пикселей изображений и их классификацию с использованием базы спектральных характеристик [3] или путем сравнения со спектрами эталонных участков поверхности [4–6].

Так, в [6] исследуется алгоритм распознавания растительных культур на ГС-изображениях, основанный на применении в качестве меры близости показателя сопряжённости с подпространством, образованным сигнатурами заданного класса. Показана возможность распознавания большого количества растительных культур, в т.ч. и наркосодержащих. В [7] исследуется проблема комплексного анализа и мониторинга окружающей среды на основе гиперспектральных изображений и вариант ее решения с созданием необходимого алгоритмического обеспечения для обработки и хранения данных. Предложены методы оценки сходства сигнатуры пикселей ГС-изображений с эталоном, включающие в себя ее простые преобразования. В работе [8] реализована технология решения задачи раннего распознавания ви- дов с / х культур по космическим снимкам полей в разные периоды вегетации в ситуации недостаточности исходных космических и наземных данных для формирования полноценной обучающей выборки. Метод основан на комбинации данных экспериментальных исследований, полученных в текущем и в предыдущих годах. В публикации [9] предложена методика тематической обработки гиперспектральных данных в задаче оценки различных загрязнений акваторий портов, в том числе нефтью.

Но проблема заключается в том, что при анализе ГС-изображений слабо различимых типов подстилающей поверхности классические попиксельные методы демонстрируют недостаточно большую точность. Повышение достоверности их классификации может быть достигнуто путем одновременного анализа характеристик каждого пикселя и характеристик пикселей его ближайшей окрестности, т.е. за счет совместного анализа спектральных и пространственных признаков.

В целом методы спектрально-пространственной классификации ГС-изображений могут быть разделены на две категории [10]. Первая использует пространственную зависимость на этапе предварительной обработки для того, чтобы уточнить значения пикселей в исходных данных путем применения различных пространственных фильтров. Это могут быть как обычные сглаживающие фильтры, так и 2D-фильтры Габора [11, 12], морфологические профили [13, 14], энтропия [15], эмпирические моды [16, 17]. При этом в качестве анализируемой окрестности используется либо прямоугольное окно, либо сегменты, сформированные из наиболее близких по параметрам пикселей. Исторически первым алгоритмом, реализующим последний подход, является алгоритм ECHO (Extraction and Classification of Homogeneous Objects – выделение и классификация однородных объектов) [18]. В дальнейшем такой подход получил широкое развитие и в научной литературе называется объектно-ориентированным подходом [например, 19]. Он показал свою эффективность при обработке изображений высокого пространственного разрешения и активно используется при решении практических задач для обработки как гиперсперктральных, так и мультиспектральных данных [20, 21].

Вторая осуществляет учет пространственной зависимости на этапе постобработки для уточнения классов пикселей путем анализа картосхем (classification map) и / или карт вероятности классификации (probabilistic classification map), сформированных алгоритмами попиксельной спектральной классификации. К данной категории относятся метод мажоритарной обработки [22], заключающийся в выборе для каждой окрестности наиболее часто встречающегося класса, и его различные модификации, осуществляющие учёт вероятности отнесения пикселей окрестности к каждому классу [23]. Кроме того, в последнее десятилетие активно развиваются методы, независимо с попиксельной классификацией осуществляющие предварительную сегментацию изображения [24, 25]. После этого класс каждого сегмента определяется на основе количества пикселей каждого класса в границах сегмента в картосхеме [26]. Последний подход считается одним из наиболее перспективных для анализа данных ГС-съёмки [2].

В работах [27–29] выполнено экспериментальное сравнение эффективности ряда методов спектральной и спектрально-пространственной классификации типов растительности. Показано, что лучшие результаты достигаются с применением методов опорных векторов (SVM) [30] и максимального правдоподобия [31], а для анализа целесообразно использовать небольшое количество спектральных признаков (10– 20), выделенных методом главных компонент с нормализацией шума каналов (метод MNF – Minimum Noise Fraction Transform) [32]. Продемонстрировано, что одновременный анализ спектральных и пространственных признаков позволяет снизить раздробленность результирующих картосхем, при этом учет пространственной информации целесообразно осуществлять на этапе предварительной обработки изображений. В качестве предварительной обработки предложено использовать равно взвешенное сглаживание по прямоугольному окну. Экспериментальным путем подобран конкретный размер такого окна (для тестового фрагмента изображения размером 145×145 он оказался равен 7 пикселям). Очевидно, что в общем случае оптимальный размер окна сглаживания зависит от размеров однородных зон и также является некоторым параметром, характеризующим анализируемые изображения.

В данной работе предлагается оценить эффективность различных сочетаний процедур предварительной и апостериорной обработки, уделив особое внимание подбору размера ядра (окна) пространственного преобразования в каждом случае, а также исследовать эффективность применения на предварительном этапе многомасштабной обработки (формировать несколько изображений с различной степенью сглаживания) с кратным (количеству масштабов) увеличением количества признаков для последующей классификации. Подобный прием активно используется в работах, посвященных многоградационной морфологической фильтрации изображений, где формируемый набор признаков, рассчитанных при различных масштабах, называют морфологическим профилем изображения.

Классификация изображений с подбором масштабов предварительной и апостериорной пространственной обработки

Исследование эффективности выполнения различных методов предварительной и апостериорной обработки выполнено на примере обработки фрагмента изображения Indian Pine, полученного в июне

1992 в рамках проекта AVIRIS (Airborne Visible Infrared Imaging Spectrometer). Фрагмент имеет размер 145×145 пикселей, 220 спектральных каналов в диапазоне 0,4–2,5 мкм, его пространственное разрешение ≈ 20 метров на пиксель (рис. 1). Для этого фрагмента имеется карта классов, составленная по результатам наземных наблюдений.

б)

Рис. 1. Один из каналов тестового фрагмента (а) и карта

классов по наземным данным (б)

На изображении представлены: магистраль, железная дорога, с / х культуры, лес, жилые постройки. Всего 16 классов поверхности, в т.ч. 3 класса кукурузы и 3 сои, отличающиеся методиками возделывания почвы: no-till – вспашка не производится, min-till – вспашка с применением малоразрушающих технологий, clear – обычная вспашка. Дополнительная сложность данного изображения состоит в том, что всходы с / х культур из-за ранней даты регистрации изображения (12 июня) составляют только малый процент покрытия и спектральные характеристики в большой степени определяются отражением от голых почв и остатков прошлогодней растительности.

Для уменьшения влияния шума изображения на результаты классификации к ГС-изображению был предварительно применен метод MNF с выделением 20 наиболее информативных компонент. С полученным набором данных осуществлялись дальнейшие преобразования и классификация методом SVM с ядром радиальной базовой функции (RBF), чаще всего используемым в классификации SVM [30]. Обучающие выборки формировались путем случайного выбора из каждого класса 50 пикселей (для трех классов объемом менее 50 использовалось 15 пикселей), тестовые выборки включали все остальные пиксели. В качестве критерия эффективности использовалась средняя точность классификации по 10 реализациям обучающих выборок, которая оценивалась путем сравнения получаемых картосхем классов с наземными данными и определялась как выраженное в процентах соотношение количества верно классифицированных пикселей к их общему количеству в тестовой выборке.

Рассмотрены следующие способы повышения точности классификации изображения за счет учета пикселей окрестности:

• 1.    Уточнение значений пикселей исходного изображения путём учёта окрестности. Учёт окрестности осуществляется путём пространственной обработки

• 2.    Уточнение класса пикселей путём мажоритарной обработки картосхем (MJR). Для каждого пикселя в картосхеме, сформированной после выполнения процедуры классификации, определяется наиболее часто встречающийся в его окрестности класс, который затем присваивается этому пикселю. Обработка выполняется скользящим окном заданного размера.

• 3.    Уточнение класса пикселей с низким уровнем достоверности (ниже определённого порога) по классам пикселей его окрестности (B_MJR). Для уточнения результатов процедуры классификации используется информация о том, с какой вероятностью каждый пиксель относится к тому классу, который присвоен ему в картосхеме. Данный способ состоит в том, что всем пикселям, у которых эта вероятность ниже определённой, ставится класс «не определено», а затем уточняется класс с помощью мажоритарной обработки, учитывающей только те пиксели, для которых класс определён. После этого для всех пикселей полученной картосхемы с целью уменьшения ее раздробленности проводится обычная мажоритарная обработка.

• 4.    Уточнение класса пикселей путём мажоритарной обработки картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу (W_MJR). Как и в способе 3, каждый пиксель в картосхеме отнесён к присвоенному ему классу с определённой вероятностью. Можно считать, что таким образом пиксель голосует за этот класс, а вес этого голоса равен этой вероятности. Способ заключается в том, чтобы в окрестности обрабатываемого пикселя для каждого класса посчитать суммарный вес голосов за этот класс, а затем присвоить этому пикселю класс, имеющий наибольший суммарный вес голосов. Обработка выполняется скользящим окном заданного размера.

• 5.    Уточнение вероятности отнесения пикселя к каждому классу путём учёта количества пикселей в его окрестности, отнесённых к этому классу (R_MJR). На картосхеме классов в окрестности обрабатываемого пикселя производится подсчёт пикселей, отнесённых к каждому классу, после чего полученные 16 значений умножаются на определённый коэффициент и добавляются к вероятности его отнесения к соответствующему классу. Обработка выполняется скользящим окном заданного размера. Далее уже по уточнённым значениям определяется наиболее вероятный класс каждого пикселя и строится новая картосхема классификации. Отметим, что при реализации способов 3–5 осуществляется совместный анализ картосхемы и массивов вероятностей принадлежности со-

• ответствующих пикселей к каждому из классов, полученных в результате процедуры спектральной классификации.

исходного изображения скользящим окном заданного размера. Рассмотрены равно взвешенное сглаживание (LP), сглаживание по Гауссу (GLP), а также медианная фильтрация (MED) – среди значений отсчётов внутри окна определяется медиана, которая присваивается обрабатываемому пикселю.

Для каждого из перечисленных способов необходимо задать ряд параметров, важнейшим из которых является размер окна пространственной обработки, определяющий ее масштаб. Их выбор осуществлялся путем перебора возможных значений в некотором диапазоне, с последующим использованием тех из них, для которых результирующая точность классификации изображения оказывалась максимальной.

В табл. 1 приведен пример подбора размеров окон предварительной LP и апостериорной MJR обработки и их комбинации.

Выделены значения результирующей точности классификации изображения без пространственной обработки (80,7) и лучшие значения, достигнутые с предварительным равно взвешенным сглаживанием (94,1 при размере окна 7 пикселей), с мажоритарной апостериорной обработкой картосхем (89,6 при размере окна 7 пикселей) и с сочетанием равно взвешенного сглаживания и мажоритарной обработки (95,2 при размерах окон предварительной обработки 5 и постобработки 7).

Табл. 1. Подбор масштаба предварительной и апостериорной обработки

Размер окна MJR	Размер окна LP
	1	3	5	7	9
1	80,7	90,5	93,6	94,1	93,1
3	87,2	91,2	93,9	93,9	92,9
5	89,6	92,5	94,2	94,2	93,4
7	89,6	92,8	95,2	94,4	93,5
9	89,6	92,7	94,7	94,6	93,3
11	89,0	92,4	94,5	94,5	93,0

В табл. 2 приведены средний процент точности классификации и его стандартное отклонение по 10 различным реализациям обучающих выборок для всех сравниваемых алгоритмов.

Табл. 2. Точность классификации при различных алгоритмах спектрально-пространственной обработки

Характеристика	Без пространственной обработки	С предварительной пространственной обработкой			С постобработкой картосхем спектральной классификации
		MED	LP	GLP	MJR	B_MJR	W_MJR	R_MJR
Средняя точность (%)	80,7	93,1	94,1	94,5	89,6	88,8	89,2	89,9
СКО точности (%)	1,23	0,95	0,78	0,65	1,32	1,41	1,23	1,31

Таким образом показано, что включение в анализ окрестностей пикселей на любом этапе повышает точность классификации, однако наибольшую эффективность демонстрируют методы предварительной обработки исходных данных.

Наряду с этим, проведены исследования эффективности алгоритмов спектрально-пространственной классификации, основанных на совместном применении процедур предварительной и апостериорной обработки. В табл. 3 приведены экспериментальные данные для тестового фрагмента, из которой видно, что алгоритмы, использующие пространственную обработку на нескольких этапах, позволяют дополнительно увеличить точность на 1,0– 1,5 %. Эффективность их близка, а наибольшая результирующая точность достигнута при применении алгоритма, сочетающего предварительное сглаживание исходных данных усредняющим фильтром Гаусса размера 15×15 элементов со стандартным отклонением σ = 15 /8 и мажоритарную обработку картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу.

Табл. 3. Точность классификации при совместном применении процедур предварительной и апостериорной пространственной обработки

Характеристика	LP + MJR	GLP + MJR	GLP + B_MJR	GLP + W_MJR	LP + R_MJR	GLP + R_MJR
Средняя точность (%)	95,2	95,4	94,9	95,8	95,3	95,5
СКО точности (%)	0,84	0,66	0,66	0,69	0,68	0,70

Классификация изображений с предварительным многомасштабным сглаживанием

Одной из основных проблем спектральнопространственных методов классификации сельскохозяйственной растительности по ГС-данным ДЗЗ является правильный выбор размера окна предварительной пространственной обработки. Причем для различных участков одного и того же изображения предпочтительно применять различную степень сглаживания, причиной чего являются локальные особенности. Для уменьшения этого эффекта предлагается формировать и включать в процесс классификации несколько реализаций предварительно обработанного изображения с различной степенью сглаживания.

Исследование точности классификации с применением предварительной многомасштабной обработки тестового фрагмента выполнено путем объединения изображений с разной степенью сглаживания. Для каждого масштаба (до 8) использовано 20 спектральных признаков, выделенных методом MNF. Таким образом, общее количество признаков увеличи- лось до 160. В качестве метода классификации, как и ранее, применялся метод SVM с RBF-ядром.

При проведении исследований использована одна из реализаций обучающей выборки, сформированная в предыдущем параграфе работы. Результаты оценки точности классификации при различном количестве объединяемых масштабов представлены в табл. 4.

Табл. 4. Классификация фрагмента изображения после разномасштабной предварительной обработки

Количество масштабов	Размер окна LP
	1	3	5	7	9	11	13	15
1	79,9	89,7	92,3	92,6	93,6	93,9	93,6	92,6
4					94,2
4				94,5
4			94,3
4		94,0
4	92,6
6			94,7
6		94,9
6	94,6
8	95,3

Видно, что оптимальный размер окна предварительного сглаживания в данном случае равен 11 пикселям, а совместное использование сразу 8 масштабов позволило увеличить точность выполняемой классификации на 1,5 процента, т.е. до уровня значений, достигнутых в предыдущем параграфе при совместном применении предварительной и апостериорной обработки.

Рис. 2. Один из каналов крупноформатного ГС-изображения (а) и карта классов по наземным данным (б)

б)

Исследование точности классификации с применением предварительного разномасштабного сглаживания изображений выполнено также на примере об- работки крупноформатного изображения, полученного в рамках проекта AVIRIS (выше был использован его фрагмент). Размер изображения – 614×2677 пикс., разрешение – 20 м / пикс., число каналов – 220 в диапазоне 0,4–2,5 мкм, по результатам наземных (подспутниковых) наблюдений оно разбито на 58 классов. Среди них с / х культуры (в т.ч. 15 классов кукурузы и 18 сои, отличающиеся методиками возделывания почвы), а также магистраль, железная дорога, лес, жилые постройки (рис. 2).

Использовано 5 спектральных признаков, выделенных методом MNF, для каждого масштаба сглаживания. Таким образом, при учете девяти масштабов общее количество признаков составило 45. Обучающая выборка сформирована путем случайного выбора из каждого класса 25 % пикселей, тестовая выборка включала все остальные пиксели.

Оценка эффективности классификации крупноформатного ГС-изображения выполнена путём сопоставления сформированных картосхем классов и карт подспутниковых наблюдений:

• –    по всем 58 классам;

• –    по основным 27 классам (с объединением подклассов кукурузы и сои в классы кукуруза и соя в результирующей картосхеме).

Результаты оценки точности классификации при различных разменах окна предварительного сглаживания и при различных комбинациях применяемых масштабов приведены в табл. 5 и табл. 6.

Табл. 5. Классификация крупноформатного изображения по 58 классам

Количество масштабов	Размер окна LP
	1	3	5	7	9	11	13	15	17
1	45,3	49,0	50,0	50,6	51,0	51,3	51,4	51,3	51,0
6	52,2
4			52,4
5			53,0
5				53,6
5					54,1
9	54,2

Табл. 6. Классификация крупноформатного изображения по 27 классам (с объединением подклассов кукурузы и сои)

Количество масштабов	Размер окна LP
	1	3	5	7	9	11	13	15	17
1	66,9	69,2	69,6	69,7	69,8	69,8	69,7	69,2	68,7
6	71,5
4			71,3
5			71,8
5				72,0
5					72,1
9	73,0

Видно, что оптимальный размер окна предварительного сглаживания для данного изображения равен 11 пикселям, а совместное использование сразу 9 масштабов позволяет еще на 3 % увеличить точность выполняемой классификации.

Следует отметить, что после классификации с применением многомасштабного предварительного сглаживания дополнительная мажоритарная обработка сформированных картосхем не позволила существенно увеличить точность классификации. Результаты данных исследований приведены в табл. 7.

Табл. 7. Эффективность применения дополнительной мажоритарной обработки

Количество классов	Размер окна MJR
	1	5	7	9	11
Точность по 58 классам	54,2	54,5	54,7	54,6	54,4
Точность по 27 классам	73,0	73,1	73,1	73,2	72,8

Заключение

Проведён анализ методов повышения точности классификации ГС-изображений за счёт использования пространственных признаков. Рассмотрены методы, основанные на уточнении значений пикселей в исходных данных путём предварительного анализа их окрестностей и уточнении класса пикселей путём мажоритарной апостериорной обработки картосхем, в т. ч. с анализом массивов вероятностей принадлежности соответствующих пикселей к каждому из классов. Проведено экспериментальное исследование эффективности указанных способов обработки, а также их совместного применения на тестовом ГС-изображении.

Установлено, что наиболее эффективным методом повышения точности классификации слабо различимых типов растительности по гиперспектральным изображениям является совместное применение пространственной обработки исходных изображений и полученных картосхем. Показано, что лучшие значения достигнуты с помощью алгоритма, основанного на предварительном сглаживании изображения фильтром Гаусса размера 15×15 элементов со стандартным отклонением σ = 15 /8 и мажоритарной обработке картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу. Отмечено, что эффективность подобных алгоритмов близка для всех использованных процедур предварительной и апостериорной обработки.

Показана перспективность многомасштабного сглаживания исходных изображений. Использование сразу 9 масштабов позволило увеличить точность классификации крупноформатного изображения на 3 % по сравнению с результатом, достигнутым при оптимальном размере ядра предварительной обработки. Однако это, с одной стороны, приводит к повышению трудоемкости вычислений за счет кратного числу масштабов увеличения количества признаков и не позволяет при этом добиться эффективности большей, чем при совместном применении предварительной и апостериорной обработки. С другой стороны, бесспорным преимуществом многомасштабного сглаживания является то, что оно позволяет исключить весьма трудоемкую процедуру подбора масштаба предварительной пространственной обработки.

Работа выполнена при поддержке Министерства науки и высшего образования в рамках выполнения работ по Государственному заданию №АААА-А17-117052410034-6 в ИАиЭ СО РАН.