Классификация изображений ДЗЗ с использованием алгоритма комплексирования данных различных сенсоров
Автор: Белов Александр Михайлович, Денисова Анна Юрьевна
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 4 т.44, 2020 года.
Бесплатный доступ
Комплексирование данных дистанционного зондирования Земли предназначено для получения изображений более высокого качества, чем исходные изображения. Однако вопрос о влиянии комплексирования данных на дальнейшую тематическую обработку часто остаётся за рамками исследований, и методы комплексирования используются в большинстве своём для улучшения визуального представления данных. В настоящей статье рассматривается вопрос о влиянии комплексирования с повышением пространственного и спектрального разрешения данных на тематическую классификацию изображений с использованием различных классификаторов и методов извлечения признаков, популярных в задачах обработки данных дистанционного зондирования Земли. В качестве алгоритма комплексирования в работе используется авторский алгоритм, позволяющий выполнять комплексирование данных по множеству кадров из различных источников оптических систем дистанционного зондирования Земли, обладающих различным пространственным и спектральным разрешением. В качестве алгоритмов классификации рассматриваются метод опорных векторов и Random Forest, в качестве признаков - спектральные каналы, а также расширенные атрибутивные профили и локальные признаки атрибутивных профилей. Экспериментальное исследование было произведено с использованием модельных изображений четырёх изображающих систем. Результирующее изображение имело пространственное разрешение в 2, 3, 4 и 5 раз выше, чем для исходных изображений соответственно. В результате исследований было выявлено, что для метода опорных векторов не имеет смысла выполнять комплексирование, так как излишняя пространственная детализация на классификацию данным алгоритмом влияет отрицательно. Для алгоритма Random Forest, напротив, результаты классификации в 90 % случаев имели большую точность, чем для исходных изображений низкого разрешения. Например, для изображений с наименьшим отличием в пространственном разрешении (в 2 раза) от результата комплексирования точность классификации комплексированного изображения была в среднем на 4 % выше. Кроме того, результаты, полученные для алгоритма Random Forest с комплексированием, оказались лучше результатов для метода опорных векторов без комплексирования. Дополнительно было показано, что точность классификации комплексированного изображения методом Random Forest может быть повышена в среднем на 9 % за счёт использования расширенных атрибутивных профилей в качестве признаков. Таким образом, при использовании комплексирования данных лучше применять классификатор Random Forest, а использование комплексирования с методом опорных векторов нецелесообразно.
Классификация изображений, комплексирование данных, повышение разрешения
Короткий адрес: https://sciup.org/140250031
IDR: 140250031 | DOI: 10.18287/2412-6179-CO-735
Текст научной статьи Классификация изображений ДЗЗ с использованием алгоритма комплексирования данных различных сенсоров
Комплексирование данных дистанционного зондирования Земли (ДЗЗ) направлено на повышение качества изображений по сравнению с исходными данными. В части данных ДЗЗ наибольшее распространение получили методы комплексирования с повышением разрешения, позволяющие получить более детальное представление снимаемой сцены по используемым входным данным низкого разрешения (НР). По параметру данных, используемому для повышения разрешения, можно выделить группы методов повышения разрешения, такие как пространственные, спектральные, пространственно-временные и спектрально-пространственные. Среди всех этих групп методы спектрально-пространственного повышения разрешения выглядят наиболее привлекательными, так как позволяют получить более точное в смысле спектрального представления изображение одновременно с повышением его пространственной детализации. Несмотря на очевидное улучшение визуального качества изображений в процессе комплексирования с повышением спектрально-пространственного разрешения, вопрос о влиянии данного вида обработки данных на последующую тематическую классификацию остаётся открытым. В связи с чем целью настоящей работы являлось исследование влияния спектрально-пространственного комплексирования данных ДЗЗ на результаты тематической классификации данных ДЗЗ с помощью хорошо зарекомендовавших себя методов классификации и методов извлечения признаков.
Настоящее исследование было проведено с помощью авторского алгоритма повышения спектральнопространственного разрешения по множеству изображений ДЗЗ, сформированных системами съёмки с различными параметрами спектральной и пространственной дискретизации [1]. Данный алгоритм формирует из набора изображений НР оценку идеального изображения снимаемой территории с заданным пространственным разрешением и составом спектральных каналов. В качестве алгоритмов классификации были рассмотрены метод опорных векторов ( Support Vector Machines – SVM) и метод Random Forest (RF). На основе анализа источников [2–7] было выявлено, что данные классификаторы являются одними из наиболее эффективных и часто применяемых для обработки данных ДЗЗ, в особенности в случае использования малых обучающих выборок. В качестве признаков для классификации были рассмотрены яркость по спектральным каналам изображения, как наиболее часто применяемый признак, и два метода формирования признаков, признанных эффективными для классификации данных ДЗЗ в ряде работ [8–11]: расширенные атрибутивные профили ( Extended Attribute Profiles – EAP) и локальные признаки атрибутивных профилей ( Local Feature Attribute Profiles – LFAP).
Экспериментальное исследование проводилось с целью выявления влияния комплексирования данных на результат их последующей тематической классификации. Исследование было проведено на модельных изображениях, сформированных из участков гиперспектральных сцен с параметрами четырёх различных систем ДЗЗ. В результате комплексирования строится оценка идеального изображения с заданными параметрами спектрального и пространственного разрешения с использованием в качестве исходных данных изображений для всех четырёх систем. В итоге эксперимента оценивалось качество классификации по всем системам в отдельности и с использованием ком-плексирования для случая яркостных признаков. Дополнительно оценивалось качество классификации комплексируемого изображения с применением различных методов извлечения признаков.
В статье приведено краткое описание алгоритма комплексирования и описание экспериментальных исследований по оценке влияния комплексирования на результаты тематической классификации изображений.
Алгоритм комплексирования
Рассматриваемый алгоритм комплексирования данных ДЗЗ был предложен в работе [1] и является развитием идей работ Farsiu и др. [12, 13] по восстановлению цветных изображений с повышением пространственного разрешения. В отличие от работ [12, 13] предлагаемый подход позволяет выполнить восстановление не только с повышением пространственного разрешения, но и с повышением спектрального разрешения, которое понимается как увеличение числа спектральных каналов с уменьшением их средней ширины относительно аналогичных параметров исходных изображений.
Алгоритм предполагает, что исходные данные описываются следующей спектрально-пространственной моделью наблюдений:
Y kрi = D k F kр H k ( ^ ^ =1 W ki ( X ) X x ) + V рi
k = 1,...,K, l = 1,...,Lk, P = 1,...,Pk где Xx - X- й спектральный канал идеального изображения высокого разрешения (ВР), Ykрl - l- й спектральный канал наблюдаемого изображения НР с номером р, полученного k- й системой съёмки, wk^(X) -коэффициенты спектрального преобразования из L - канального спектрального представления идеального изображения в Lk - канальное представление для k - й системы. Оператор Hk определяет размытие, связанное с действием оптической системы датчика k - й системы съёмки. Оператор Fk^ отвечает за геометрическое преобразование кадра изображения в связи с остаточной погрешностью геопривязки и определяется относительно некоторого эталонного положения кадра, соответствующего изображению Xх. Оператор Dk определяет равномерную дискретизацию с усреднением по области наземного шага дискретизации k - й системы, т.е. в пределах площадки Tk × Tk. Операторы Hk, Fkр и Dk предполагаются линейными и ограниченными. Vk^i - Гауссов белый шум в l- м спектральном канале изображения Ykр. Предполагается, что шаг дискретизации изображения ВР равен T < Tk, k = 1, ..., K, а количество спектральных каналов L > max(Lk).
Алгоритм повышения разрешения состоит в решении оптимизационной задачи (2) и минимизирует отклонение между наблюдаемыми изображениями, преобразованными к системе координат изображения ВР, и результатом моделирования.
I K L k
X = argmin ^ EE
X I k =1 l =1
1 S k L
—E F I k E W ki (X) D k H k F ks X x - Z ki
4 k S=1 X=1
p P
+в ££ аи+ и| х - S i S 2XA 1,1 -
1 i =- pj =- p
1 5 k
Z ki ; E F - I k ( Y k S I ) - k = !-...- K , l = !-...- L k'
S k S=1
где Z kl – l - й канал объединённого изображения Z k для k - й изображающей системы, I k – оператор интерполяции по пространственным координатам с шагом T / Tk, F k- - оператор обратной геометрической трансформации S - го наблюдаемого изображения k- й изображающей системы низкого разрешения, приводящие наблюдаемое интерполированное изображение к параметрам кадра восстанавливаемого изображения ВР. Операторы Ik и F k- полагаются линейными. Параметры p, а, в задают веса регуляризирующего члена в оптимизируемом функционале.
Оптимизационная задача (2) решается методом градиентного спуска. Заметим, что в задаче (2) для улучшения свойств решения используется B-TV -регуляризация [12, 13]. В результате получается оценка требуемого изображения ВР X ˆ с параметрами дискретизации T , L .
Моделирование исходных данных для эксперимента
Целью экспериментального исследования являлась оценка влияния комплексирования данных на результат их последующей классификации. Для этого был сформирован набор модельных изображений НР для четырёх систем ДЗЗ с различными параметрами дискретизации. Моделирование производилось для 10 фрагментов гиперспектральных сцен с частично известной разметкой изображений на классы. Фрагменты формировались из изображений набора Hyperspec-tral scenes [14]. Описание использованных фрагментов гиперспектральных сцен представлено в табл. 1.
Полученные фрагменты гиперспектральных изображений служили для моделирования эталонного мультиспектрального изображения сцены X и наблюдаемых изображений Yk-, k =1,...,4, S =1,..., S k в соответствии с моделью наблюдений (1).
Спектральные каналы моделируемых изображений задавались с помощью Гауссовой функции спектрального отклика W l ( u ) с параметром полуширины на уровне половинной амплитуды (FWHM) и центральной длины волны ul 0 , где l – номер спектрального канала:
Wt ( и ) = 5 -1 ( 2 л ) -1/2 exp { - 0,5 ( u - и ^ ) 2 /б 2 } , (4)
FWHM = 2^2ln ( 2 ) 8 l .
При этом предполагалось, что шаг пространственной дискретизации изображения ВР совпадает с шагом дискретизации исходного гиперспектрального изображения и равен T = 1, а количество спектраль- ных каналов равно L = 15 для всех фрагментов, кроме Pavia и PaviaU, для которых L = 11. Параметры спектральных каналов эталонного мультиспектрального изображения приведены в табл. 2.
Табл. 1. Характеристики фрагментов изображений, использованных для моделирования
Название |
Размер сцены |
Количество классов |
Спектральный диапазон, нм |
Botswana-1 |
240×240 |
6 |
447,17 – 1057,68 |
Botswana-2 |
240×240 |
5 |
447,17 – 1057,68 |
Pavia-1 |
420×420 |
8 |
430 – 808,75 |
Pavia-2 |
420×420 |
6 |
430 – 808,75 |
Pavia-3 |
420×420 |
5 |
430 – 808,75 |
PaviaU-1 |
240×240 |
6 |
430 – 812,5 |
PaviaU-2 |
240×240 |
8 |
430 – 812,5 |
PaviaU-3 |
240×240 |
8 |
430 – 812,5 |
Salinas-1 |
180×180 |
8 |
365,93 – 1262,96 |
Salinas-2 |
180×180 |
8 |
365,93 – 1262,96 |
Для моделируемых систем ДЗЗ шаг дискретизации T k составлял 2, 3, 4 и 5 соответственно. Наборы спектральных каналов для рассматриваемых систем были выбраны в соответствии со спектральными характеристиками каналов реальных съёмочных систем: Геотон (Ресурс-П), Spot-7, Канопус-В и Sentinel-2A. Параметры спектральных каналов моделируемых систем приведены в табл. 3.
Поскольку изображения Pavia и PaviaU имеют более узкий спектральный диапазон, для них моделирование осуществлялось без использования каналов, отмеченных в табл. 2 и 3 курсивом.
При моделировании предполагалось, что в качестве идеального изображения сцены и для эталонного мультиспектрального изображения ВР, и для наблюдаемых изображений НР используется исходный гиперспектральный фрагмент. Для формирования эталонного изображения ВР применялась только спектральная дискретизация.
Для наблюдаемых изображений использовалась модель наблюдения (1). Коэффициенты спектрального преобразования для k - й съёмочной системы определялись в соответствии с Гауссовыми функциями спектрального отклика (4) и имели вид:
Z 2 ( X ) /+ „
W ill ( x ) = j W ki ( и ) d u / J W ki ( и ) d и , (5) ^ 1 ( X ) / 7
где X - номер канала эталонного спектрального представления, а l – номер канала k - й системы,
Z i ( X ) = uQ kl — 2^2ln ( 2 )5H , Z 2 ( X ) = u k + 2^2ln ( 2 )8H .
Табл. 2. Параметры спектральных каналов эталонного мультиспектрального изображения
№ |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
u l |
463 |
492 |
521 |
550 |
580 |
609 |
638 |
665 |
694 |
724 |
753 |
782 |
812 |
841 |
870 |
FWHM |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
29 |
30 |
30 |
30 |
Табл. 3. Параметры спектральных каналов моделируемых систем ДЗЗ
№ |
k =1 |
k =2 |
k =3 |
k =4 |
||||
u 0 |
FWHM |
u 0 |
FWHM |
u 0 |
FWHM |
u 0 |
FWHM |
|
1 |
485 |
70 |
490 |
70 |
490 |
30 |
490 |
65 |
2 |
560 |
80 |
560 |
60 |
555 |
45 |
560 |
35 |
3 |
645 |
70 |
660 |
70 |
660 |
30 |
665 |
30 |
4 |
685 |
30 |
825 |
130 |
795 |
45 |
705 |
15 |
5 |
715 |
30 |
– |
– |
– |
– |
740 |
15 |
6 |
750 |
100 |
– |
– |
– |
– |
783 |
20 |
7 |
– |
– |
– |
– |
– |
– |
842 |
115 |
8 |
– |
– |
– |
– |
– |
– |
865 |
20 |
Оператор Fk t задавался как сдвиг относительно эталонного положения кадра на x ti и X t2 пикселей по горизонтали и вертикали соответственно:
X F ( n i ,n 2 , l ) = F k t ( X W ( n i , n 2 , l ) ) = = X W ( n i + X ti , n 2 +X t2 , l ) .
Оператор H k искажений, вызванных действием оптической системы датчика, имеет вид:
XH (ni,n2,l) = Hk (XF (ni,n2,l)) = ak ak (7)
= Z Z h (T i , T 2 ) X F ( n i -T i ,n 2 — T 2 , l ) ,
Ti =—Ak T2 =—Ak где h (t1, t2 ) = A exp (-0, 5g—2 (т2 + T2)) - импульсная характеристика Гауссова фильтра, определяющего размытие с радиусом gk для k- й изображающей системы.
Оператор D k определяется как композиция операторов D 1 усреднения по площадке T k × T k и D 2 прореживания в T k раз.
XD (ni,n2,l) = Dk 1 (XH (ni,n2,l)) = г Tk /2^ Г Tk /21
= Z Z X Ht ( n i -T 1 , n 2 — T 2 , l ) , T i =-r T k /2 1 T 2 =—Г Tk! 21 (8)
X D ( m i ,m 2 , l ) = Dk 2 ( X Dt ( n i , n 2 , l ) ) =
= X D ( n i , n 2 , l )| n i = m i T k .
n 2 = m 2 Tk
В табл. 4 приведены значения параметров пространственных искажений для всех систем в пикселях изображения ВР.
Примеры эталонных мультиспектральных изображений для некоторых фрагментов приведены на рис. 1.
Табл. 4. Параметры пространственных искажений моделируемых съёмочных систем
Параметр |
k =1 |
k =2 |
k =3 |
k =4 |
x ti , X t2 |
[–2, 2] |
[–3, 3] |
[–4, 4] |
[–5, 5] |
G k |
1 |
1,5 |
2 |
2,5 |
T k |
2 |
3 |
4 |
5 |
a)


Рис. 1. Примеры идеальных мультиспектральных
изображений, используемых в экспериментах: PaviaU-1 (a), Salinas-1 (б)
Параметры комплексирования
Комплексирование изображений производилось с использованием рассмотренного алгоритма со следующими параметрами регуляризации a = 0,1, p = 2 и P = 0,5. Выполнялось 280 итераций методом градиентного спуска с шагом 20. Для комплексирования использовались изображения всех четырёх систем съёмки. Количество наблюдаемых изображений для каждой из съёмочных систем составляло 4, 9, 16, 25 соответственно и выбиралось из условия оптимального восстановления для многокадровых алгоритмов повышения пространственного разрешения [13]. Примеры результата комплексирования и исходных изображений для каждой из съёмочных систем приведены на рис. 2.
а)

б)



д)

Рис. 2. Пример результата комплексирования и данных четырёх моделируемых систем ДЗЗ:
результат комплексирования (a), система-1 (б), система-2 (в), система-3 (г), система-4 (д)
Классификация
Для обеспечения сопоставимости результатов классификации в случаях с использованием комплек-сирования и без была произведена предварительная обработка изображений результата комплексирова-ния и наблюдаемых изображений НР. Маски классов были заданы в системе координат изображения ВР. Наблюдаемые изображения НР для каждой из K систем были переведены в сопоставимое представление Z k по формуле (3) с помощью операторов интерполяции по ближайшему соседу и обратного сдвига кадра с дополнением отсутствующих значений пикселей нулями с последующим усреднением по всем изображениям для каждой системы. Из-за использования дополнения нулями полученные изображения Z k содержали рамку значений заведомо заниженных, поэтому непосредственно перед классификацией ком-плексированное изображение и средние изображения по каждой из систем обрезались по границе некорректных значений для изображения системы 4, обладающего самой широкой рамкой. Таким образом, некорректные отсчеты изображений из-за сдвига кадров при приведении к единой системе пространственных координат в классификации не учитывались. Обучающие и контрольные выборки формировались случайным образом из доступных размеченных отсчетов маски классов, заданной в пространственных координатах эталонного изображения ВР, в соотношении 7:3 с ограничением на максимальное количество данных, используемых для обучения в виде 15 пикселей на класс. Примеры масок классов для ряда изображений приведены на рис. 3.
а)


Рис. 3. Примеры масок классов для изображений: PaviaU-1 (а), Salinas-1 (б). Чёрный цвет определяет
неразмеченную область на изображении
Классификация алгоритмами SVM, RF и расчёт признаков методами EAP и LFAP производились в программной среде MATLAB 2017 с использованием пакета программ, разработанного в исследованиях [15–16]. Для настройки алгоритма SVM использовалась кроссвалидация. Алгоритм RF применялся с количеством деревьев, равным 200.
Полученные результаты классификации сравнивались по критерию общей точности классификации, равному отношению количества верно классифицированных образцов контрольной выборки к общему объему контрольной выборки. Далее при описании результатов имеется в виду средняя общая точность классификации по 5 запускам алгоритма классификации.
Результаты оценки влияния комплексирования на качество классификации
Для оценки влияния комплексирования на качество классификации рассматривались результаты классификации яркости изображения результата ком-плексирования, эталонного изображения ВР и усредненных интерполированных изображений для каждой из систем Z k . Результаты эксперимента для алгоритмов SVM и RF представлены в табл. 5 и 6 соответственно.
Из табл. 5 видно, что для алгоритма SVM не имеет смысла выполнять комплексирование, так как средняя точность классификации в этом случае составила 76,16, тогда как для изображений системы 1 и системы 2 средняя точность классификации оказалась выше и была равна 78 и 76,56 соответственно. Снижение производительности SVM связано с высокой чувствительностью данного метода к шуму в данных, который возрастает в результате усиления высокочастной составляющей изображения при повышении разрешения.
Из табл. 6 видно, что для алгоритма RF средняя точность классификации комплексированного изображения для 9 из 10 изображений выше, чем для изображений любой из рассмотренных съёмочных систем. Поскольку система 1 имела наименьшее отличие в пространственном разрешении от комплекси-рованного изображения (в 2 раза), то для нее результаты классификации наиболее близки к комплексиро-ванному изображению, чем для остальных систем. Тем не менее, точность классификации комплексиро-ванного изображения по сравнению с изображением для системы 1 была на 4% выше, т.е. при использовании классификатора RF желательно использовать ком-плексирование данных с повышением разрешения.
Табл. 5. Общая точность классификации методом SVM
Изображение |
Результат комплексирования |
Система 1 |
Система 2 |
Система 3 |
Система 4 |
Эталон |
Botswana-1 |
89,84 |
89 , 87 |
77,11 |
78,98 |
79,33 |
87,18 |
Botswana-2 |
75,51 |
73,25 |
82 , 75 |
75,71 |
73,22 |
87,68 |
Pavia-1 |
71,74 |
76,43 |
76 , 93 |
69,84 |
60,90 |
82,44 |
Pavia-2 |
63,44 |
70,08 |
76 , 62 |
70,05 |
65,68 |
77,30 |
Pavia-3 |
77,44 |
85,19 |
85 , 33 |
77,93 |
53,10 |
78,54 |
PaviaU-1 |
79,71 |
78,83 |
81 , 58 |
75,48 |
63,54 |
74,88 |
PaviaU-2 |
63,61 |
66,67 |
57,02 |
67 , 58 |
62,82 |
69,00 |
PaviaU-3 |
70 , 25 |
66,55 |
59,24 |
65,16 |
65,79 |
70,59 |
Salinas-1 |
80,16 |
83 , 26 |
75,16 |
81,34 |
78,56 |
83,14 |
Salinas-2 |
89,92 |
89,84 |
93 , 83 |
92,83 |
91,75 |
90,90 |
Среднее |
76 , 16 |
78 , 00 |
76 , 56 |
75 , 49 |
69 , 47 |
80 , 17 |
Табл. 6. Общая точность классификации методом RF
Изображение |
Результат комплексирования |
Система 1 |
Система 2 |
Система 3 |
Система 4 |
Эталон |
Botswana-1 |
85 , 85 |
79,08 |
71,46 |
74,40 |
68,45 |
83,97 |
Botswana-2 |
86 , 43 |
81,64 |
86,44 |
82,74 |
86,17 |
81,82 |
Pavia-1 |
81 , 35 |
79,02 |
77,95 |
80,76 |
78,85 |
79,47 |
Pavia-2 |
82 , 27 |
74,72 |
79,53 |
77,16 |
74,35 |
84,17 |
Pavia-3 |
86 , 37 |
83,35 |
78,63 |
81,63 |
75,13 |
85,08 |
PaviaU-1 |
81,84 |
85 , 01 |
78,91 |
79,39 |
74,87 |
90,42 |
PaviaU-2 |
64 , 25 |
61,95 |
48,46 |
56,17 |
53,24 |
64,09 |
PaviaU-3 |
72 , 80 |
68,94 |
54,04 |
60,87 |
59,02 |
70,72 |
Salinas-1 |
83 , 41 |
81,58 |
80,13 |
77,24 |
77,92 |
85,17 |
Salinas-2 |
88 , 41 |
87,63 |
83,54 |
85,48 |
85,09 |
88,89 |
Среднее |
81 , 30 |
78 , 29 |
73 , 91 |
75 , 58 |
73 , 31 |
81 , 38 |
Следует отметить, что результаты, полученные для алгоритма RF, лучше, чем для SVM: в среднем по всем комплексированным изображениям общая точность классификации алгоритмом RF составила 81,3 по сравнению с наилучшей средней точностью классификации, достигнутой для системы 1, методом SVM и равной 78.
Оценка влияния алгоритмов извлечения признаков на качество классификации комплексированного изображения
В связи с тем, что результаты комплексирования эффективнее использовать вместе с методом классификации RF, дальнейшее экспериментальное исследование влияния методов извлечения признаков на результат классификации производилось только для алгоритма RF. В результате были рассмотрены следующие методы формирования признаков:
-
1) спектральные яркости по каналам,
-
2) расширенные атрибутивные профили (EAP) [10],
-
3) локальные признаки атрибутивных профилей (LFAP) [8].
EAP представляют собой признаки, рассчитанные с помощью различных атрибутивных фильтров от каждого канала изображения и объединенные в единый вектор признаков. Атрибутивные фильтры являются обобщением морфологических фильтров, полагая, что фильтруемые компоненты связности должны удовлетворять определенному критерию. Пороговые значения критерия задают множество атрибутивных фильтров. Например, для атрибутивного фильтра по площади с заданным порогом в результате фильтрации останутся только компоненты связности изображения, для которых площадь, например, больше заданной пороговой величины.
LFAP образуются из EAP путем введения дополнительной локальной фильтрации EAP несколькими фильтрами. Согласно работе [8] оба метода извлечения признаков являются весьма эффективными средствами анализа гиперспектральных изображений ДЗЗ. При этом для их наилучшего применения в [8] рассматривались варианты с использованием методов снижения размерности. Так как в настоящей работе классификации подвергались только мультиспек-тральные изображения, то EAP и LFAP рассчитывались непосредственно по яркости во всех спектральных каналах каждого изображения без использования методов снижения размерности.
В качестве EAP использовались признаки, предложенные в работе [8] для классификации гиперспектрального изображения PaviaUniversity, входящего в состав набора HyperspectralScenes [14]. Описание признаков дано в табл. 7.
В качестве LFAP были применены такие фильтры, как: локальное среднее и диапазон в окне 7 × 7 от атрибутивных профилей с описанной выше конфигурацией. Более подробно об алгоритмах расчёта EAP и LFAP можно найти информацию в [8– 10].
Табл. 7. Параметры расширенного атрибутивного профиля, используемого в качестве признаков
Атрибут |
Порог |
Площадь |
100, 500, 1000, 5000 |
Стандартное отклонение |
20, 30, 40, 50 |
Момент инерции |
0,2; 0,3; 0,4; 0,5 |
Длина диагонали |
10, 25, 50, 100 |
Результаты классификации комплексированного изображения методом RF с использованием различных методов извлечения признаков отражены в табл. 8.
Табл. 8. Общая точность классификации методом RF для различных методов извлечения признаков
Названия строк |
EAP |
Яркость |
LFAP |
Botswana-1 |
82,04 |
83 , 55 |
78,07 |
Botswana-2 |
95 , 11 |
86,49 |
85,48 |
Pavia-1 |
84 , 11 |
80,33 |
80,21 |
Pavia-2 |
90 , 03 |
84,31 |
77,24 |
Pavia-3 |
96 , 46 |
77,23 |
81,43 |
PaviaU-1 |
91 , 51 |
86,63 |
80,94 |
PaviaU-2 |
68 , 50 |
63,11 |
60,53 |
PaviaU-3 |
79 , 88 |
68,01 |
74,76 |
Salinas-1 |
92 , 84 |
83,23 |
82,25 |
Salinas-2 |
94 , 41 |
90,94 |
88,26 |
Среднее |
87 , 49 |
80 , 38 |
78 , 92 |
Можно видеть, что для алгоритма RF наилучшим выбором из рассмотренных методов формирования признаков являются EAP, которые позволяют получить точность классификации по комплексированно-му изображению от 70 до 95 % и в среднем выше, чем без использования EAP на 9%, тогда как использование LFAP не приводит к улучшению качества классификации.
Таким образом, можно заключить, что метод RF эффективнее применять для классификации комплек-сированного изображения с расширенными атрибутивными профилями в качестве признаков.
Примеры результатов классификации с использованием комплексирования и без для алгоритма RF и яркостных признаков приведены на рис. 4 и 5.

б)

в)

г)

Рис. 4. Маска классов (а) и примеры изображений результатов классификации изображения PaviaU-1 классификатором RF для результата комплексирования (б), системы 1 (в), системы 3 (г)




Рис. 5. Маска классов (а) и примеры изображений результатов классификации изображения Salinas-1
классификатором RF для результата комплексирования (б), системы 1 (в), системы 3 (г)
Можно сделать вывод, что использование ком-плексирования увеличивает качество классификации при использовании классификатора RF. Использование комплексирования с алгоритмом SVM нецелесообразно, так как, несмотря на близкие по качеству результаты, предпочтительно использовать более гладкие интерполированные и усредненные изображения по каждой системе.
Заключение
В статье рассмотрен вопрос о влиянии спектральнопространственного комплексирования данных на результаты тематической классификации изображений ДЗЗ. Экспериментальное исследование производилось на модельных изображениях четырёх систем ДЗЗ с шагами пространственной дискретизации в 2, 3, 4 и 5 раз больше, чем у результата комплексирования. Спектральное представление результата комплексирования включало от 11 до 15 каналов (в зависимости от изображения) со средней шириной 29 нм. Спектральное представление изображений моделируемых систем содержало от 3 до 8 спектральных каналов со средней шириной от 37 нм до 83 нм. В результате исследований было выявлено, что для алгоритма SVM не имеет смысла выполнять комплексирование, так как средняя точность классификации по комплексированному изображению оказалась ниже, чем по интерполированным и усредненным изображениям НР, пространственное разрешение которых было в 2 и 3 раза хуже, чем у комплекси-рованного изображения. Излишняя пространственная детализация на классификацию алгоритмом SVM влияет отрицательно. Для алгоритма RF, напротив, результаты классификации в 90% случаев имели большую точность, чем для исходных изображений. Например, для изображений с наименьшим отличием в пространственном разрешении (в 2 раза) от результата комплексиро-вания точность классификации комплексированного изображения была в среднем на 4% выше. Следует отметить, что результаты, полученные для RF с комплек-сированием, оказались лучше результатов для SVM без комплексирования, в частности, средняя точность классификации составила 81,3 и 78 соответственно. Дополнительный эксперимент по использованию классификатора RF с различными методами формирования признаков показал, что расширенные атрибутивные профили позволяют повысить точность классификации в среднем на 9% по сравнению с использованием яркости пикселя по каналам в качестве признаков.
Можно заключить, что при использовании спектрально-пространственного комплексирования данных лучше использовать классификатор RF, а использование комплексирования с алгоритмом SVM нецелесообразно.
Настоящая работа была выполнена при поддержке гранта РФФИ № 18-07-00748 а.
Список литературы Классификация изображений ДЗЗ с использованием алгоритма комплексирования данных различных сенсоров
- Белов, А.М. Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 855-863. - DOI: 10.18287/2412-6179-2018-42-5-855-863
- Tuia, D. Automatic feature learning for spatio-spectral image classification with sparse SVM / D. Tuia, M. Volpi, M. Dalla Mura, A. Rakotomamonjy, R. Flamary // IEEE Transactions on Geoscience and Remote Sensing. - 2014. - Vol. 52, Issue 10. - P. 6062-6074.
- Belgiu, M. Random forest in remote sensing: A review of applications and future directions / M. Belgiu, L. Drăguţ // ISPRS Journal of Photogrammetry and Remote Sensing. - 2016. - Vol. 114. - P. 24-31.
- Li, M. A systematic comparison of different object-based classification techniques using high spatial resolution imagery in agricultural environments / M. Li, L. Ma, T. Blaschke, L. Cheng, D. Tiede // International Journal of Applied Earth Observation and Geoinformation. - 2016. - Vol. 49. - P. 87-98.
- Khatami, R. A meta-analysis of remote sensing research on supervised pixel-based land-cover image classification processes: General guidelines for practitioners and future research / R. Khatami, G. Mountrakis, S.V. Stehman // Remote Sensing of Environment. - 2016. - Vol. 177. - P. 89-100.
- García, M.A. Using hidden markov models for land surface phenology: An evaluation across a range of land cover types in southeast spain / M.A. García, H. Moutahir, G.M. Casady, S. Bautista, F. Rodríguez // Remote Sensing. - 2019. - Vol. 11, Issue 5. - 507.
- Liao, W. Fusion of spectral and spatial information for classification of hyperspectral remote-sensed imagery by local graph / W. Liao, M. Dalla Mura, J. Chanussot, A. Pižurica // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2015. - Vol. 9, Issue 2. - P. 583-594.
- Pham, M.T. Local feature-based attribute profiles for optical remote sensing image classification / M.T. Pham, S. Lefèvre, E. Aptoula // IEEE Transactions on Geoscience and Remote Sensing. - 2017. - Vol. 56, Issue 2. - P. 1199-1212.
- Pham, M.T. Classification of remote sensing images using attribute profiles and feature profiles from different trees: a comparative study / M.T. Pham, E. Aptoula, S. Lefèvre // IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. - 2018. - P. 4511-4514.
- Pham, M.-T. Recent developments from attribute profiles for remote sensing image classification [Electronical Resource] / M.-T. Pham, S. Lefèvre, E. Aptoula, L. Bruzzone // arXiv preprint. - 2018. - URL: https://arxiv.org/abs/1803.10036 (request date 10.04.2020).
- Hong, D. Invariant attribute profiles: A spatial-frequency joint feature extractor for hyperspectral image classification / D. Hong, X. Wu, P. Ghamisi, J. Chanussot, N. Yokoya, X.X. Zhu // IEEE Transactions on Geoscience and Remote Sensing. - 2019. - 18 p. -
- DOI: 10.1109/TGRS.2019.2957251
- Farsiu, S. Fast and robust multiframe super resolution / S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar // IEEE Transactions on Image Processing. - 2004. - Vol. 13, Issue 10. - P. 1327-1344. -
- DOI: 10.1109/TIP.2004.834669
- Farsiu, S. Fast and robust super-resolution / S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar // Proceedings of the 2003 International Conference on Image Processing. - 2003. - Vol. 3. - P. 291-294. -
- DOI: 10.1109/ICIP.2003.1246674
- Hyperspectral remote sensing scenes [Electronical Resource]. - URL: http://www.ehu.eus/ccwintco/index.php? title=Hyperspectral_Remote_Sensing_Scenes (request date 18.03.2020).
- Marpu, P.R. Automatic generation of standard deviation attribute profiles for spectral-spatial classification of remote sensing data / P.R. Marpu, M. Pedergnana, M. Dalla Mura, J.A. Benediktsson, L. Bruzzone // Geoscience and Remote Sensing Letters. - 2013. - Vol. 10, Issue 2. - P. 293-297.
- Li, J. Multiple feature learning for hyperspectral image classification / J. Li, X. Huang, P. Gamba, J.M. Bioucas-Dias, L. Zhang, J.A. Benediktsson, A. Plaza // IEEE Transactions on Geoscience and Remote Sensing. - 2015. - Vol. 53, Issue 3. - P. 1592-1606.