Иерархическая компрессия в задаче хранения гиперспектральных изображений

Основной спецификой гиперспектральных [1] изображений является большое количество каналов, которое часто достигает нескольких сотен. Например, результаты съёмки гиперспектрометрами SpecTIR [2] и AVIRIS [3] содержат 360 и 224 16-битных канала (компонент) соответственно. Следствием этого является нетривиальность задачи хранения таких изображений: чрезвычайно большой объём накопленных данных влечёт за собой непомерные требования к ёмкости запоминающих устройств и неприемлемо низкую скорость доступа к этим данным. Поэтому при решении задачи хранения гиперспектральных изображений невозможно обойтись без использования компрессии.

В работе [4] для компрессии гиперспектральных изображений было предложено использовать метод на основе иерархической сеточной [5–7] интерполяции ( hierarchical grid interpolation , HGI), приведены результаты вычислительных экспериментов, демонстрирующих преимущества HGI над методом JPEG [8] в этой ситуации.

Однако предложенный в указанной работе вариант реализации метода HGI недостаточно эффективен для решения задачи хранения гиперспектральных изображений, т.к. не обеспечивает возможности доступа к отдельным компонентам без декомпрессии значительной части сжатого изображения. Кроме того, в указанной работе при проведении вычислительных экспериментов разрядность гиперспектральных данных с целью корректного сравнения с известными методами компрессии была редуцирована до 8 бит, в результате нельзя считать достаточными проведённые исследования по применимости и эффективности метода HGI для компрессии гиперспектральных данных.

В данной работе предлагается модификация метода HGI, которая может успешно применяться для решения задачи хранения гиперспектральных изображений за счёт новых алгоритмов аппроксимации спектральных компонент, позволяющих сократить время доступа к отдельным компонентам. Кроме того, в данной работе приводятся результаты вычисли- тельных экспериментов по исследованию эффективности предложенных алгоритмов на реальных 16битных гиперспектральных изображениях.

1.    Показатели качества

В качестве меры погрешности при оценке эффективности методов компрессии в данной работе использовалась максимальная emax = max xs (m, n) - xs(m, n)

( m , n , s )

и квадратичная e = ё17 ^ (xs (m, n) — xs (m, n) )2

SVH m,n,s погрешности [9], где xs (m, n), xs(m,n) – отсчёты компоненты номер s исходного и декомпрессированного изображений соответственно, S – количество спектральных компонент, V × H – пиксельный размер компонент изображений.

2.    Анализ гиперспектральных изображений

Анализ особенностей гиперспектральных изображений производился на примере следующих находящихся в открытом доступе данных:

• •    пяти фрагментов изображений гиперспектрометра

SpecTIR [2] (от 356 до 360 16-битных каналов размером 320×600 пикселов);

• •    пяти фрагментов изображений гиперспектрометра AVIRIS [3] (224 16-битных канала размером 614×1086 пикселов).

На рис. 1–2 показаны примеры компонент указанных изображений. Как будет показано далее, количество сильно зашумлённых компонент невелико, но на рисунках специально приведены сильно отличающиеся друг от друга, в том числе сильно зашумлённые компоненты.

Для анализа особенностей гиперспектральных изображений были вычислены оценки внутрикомпонентных и межкомпонентных характеристик этих изображений. Некоторые результаты показаны на рис. 3–5. Анализ этих результатов позволил сделать следующие выводы:

• •    разница между максимум и минимумом градаций яркости достигает тысяч и десятков тысяч. Такие изображения нельзя преобразовать в «байтовые»;

• •    компоненты очень сильно зависимы, т.к. межкомпонентная корреляция чрезвычайно высока (выше 0,95 для 85,2 % пар соседних компонент);

• •    большинство компонент имеют высокую внутри-компонентную корреляцию (выше 0,85 для 87,4 % компонент). Можно ожидать, что использование компрессии даст заметный эффект.

3.    Требования к методу компрессии гиперспектральных изображений

Рис. 1. Компоненты №27, №269 изображения “Urban and Mixed Environment” спектрометра SpecTIR

Рис. 2. Компоненты №26, №102 изображения “Cuprite-1” спектрометра AVIRIS

Сделанные в предыдущем разделе выводы, в свою очередь, порождают следующие требования к методу сжатия гиперспектральных изображений:

• 1)    возможность компрессии многокомпонентных изображений;

• 2)    быстрый доступ к фрагментам сжатых изображений в различных масштабах;

• 3)    низкая вычислительная сложность декомпрессии;

• 4)    строгий контроль погрешности;

• 5)    высокая эффективность в режиме «без погрешно-

• сти» и при малых погрешностях;

• 6)    использование межкомпонентных зависимостей;

• 7)    быстрый доступ к заданным компонентам сжатых изображений в различных масштабах;

• 8)    компресия 16-битных изображений.

4.    Компрессия на основе HGI

Рис. 3. Внутрикомпонентная разница ∆ X между максимумом и минимумом в зависимости от номера компоненты s для изображений

“Urban and Mixed Environment” (SpecTIR) и “Cuprite-1” (AVIRIS)

Рис. 4. Оценки внутрикомпонентных среднего E, дисперсии D и коэффициента корреляции ρ в зависимости от номера компоненты s для изображения «Low Altitude» спектрометра AVIRIS

В работе [4] предлагается для компрессии гиперспектральных изображений использовать метод HGI [4–7]. Метод основан на использовании «сильно» прореженных наборов отсчётов изображения для интерполяции «сла- бо» прореженных наборов отсчётов с последующим кодированием постинтерполяционных остатков.

Метод удовлетворяет требованиям 1 –5 предыдущего раздела, в частности, обеспечивает [5] контроль максимальной погрешности и независимость скорости доступа к фрагменту изображения от масштаба за счёт блочно-иерархического [6–7] формата сжатых данных. Этот формат подразумевает разбиение изображения на независимо обрабатываемые блоки при компрессии. В архиве сжатые данные блоков и сжатые данные масштабных уровней внутри блока лежат отдельно. В результате этого для декомпрессии фрагмента изображения достаточно декомпрессировать только необходимые блоки в необходимом масштабе, что позволяет добиться независимости времени доступа к сжатым данным от масштаба.

Рис. 5. Оценка коэффициента корреляции p j между соседними компонентами (компонентами номер s и номер s+1) в зависимости от номера компоненты s для изображения «Low Altitude» спектрометра AVIRIS

5.    Компрессия на основе«скользящей аппроксимации компонент»

Для использования межкомпонентных зависимостей (требование 6 предыдущего раздела) в работе [3] предложено использовать зависимость между спектральными компонентами за счёт предсказания компонент. Собственно предсказание предлагается осуществлять как аппроксимацию компоненты на основе уже прошедших компрессию и восстановление других компонент. Высокая межкомпонентная корреляция должна обеспечить хорошую точность предсказания, а сжатие разности между исходной и предсказанной спектральной компонентами вместо сжатия исходной спектральной компоненты должно существенно повысить коэффициент сжатия. Опишем алгоритм формально.

Пусть { X^s , 0 <  s <  S } - S -компонентное гиперспектральное изображение, состоящее из двумерных спектральных компонент – однокомпонентных изображений X ^s . Указанные компоненты будем сжимать последовательно, от меньших номеров к большим. При сжатии каждой компоненты X^s сначала будем вычислять её предсказанное (аппроксимирующее) значение:

N - 1         _ , - 1

X^s = £ k . X s. ,0 <  s <  S , i = 0

где X , i > 0 - уже прошедшие компрессию и восстановление предыдущие компоненты, на основе которых производится аппроксимация, X , i < 0 - заполненные нулями матрицы, введённые для упрощения запи- си формул, N – количество предыдущих восстановленных спектральных компонент, используемых для аппроксимации (параметр алгоритма), {ki ,0 < i < N} -коэффициенты аппроксимации, которые, исходя из метода наименьших квадратов, являются решением системы линейных уравнений:

Rk = B , где k = {ki ,0 < i < N} - искомый вектор коэффициентов аппроксимации, R = {R,,j ,0 < i, j < N} - матрица коэффициентов корреляции между декомпрес-s—i — 1                 s—j—1

сированными компонентами X и X , B ={ b. ,0 < i < N} - вектор коэффициентов корреляции между текущей предсказываемой компонентой s                                                      —s _ i-1

X ^s и декомпрессированной компонентой X

.

Собственно компрессии методом HGI (c заданной максимальной погрешностью) будем подвергать не компоненту X s, а разность между X s и предсказанной (аппроксимирующей) компонентой Xˆ s . После описанной процедуры компрессии компоненты X s необходимо сразу же осуществить её декомпрессию. Это необходимо для обратной связи: восстановленная компонента X s будет использована при аппрокси- мации последующих спектральных компонент.

Таким образом, набор опорных компонент для каждой текущей предсказываемой компоненты представляет собой расположенное в спектральной плоскости «скользящее окно», поэтому описанный алгоритм компрессии далее будем называть «алгоритм на базе скользящей аппроксимации компонент».

Описанный подход предназначен для увеличения коэффициента сжатия за счёт использования межкомпонентных зависимостей при сохранении контроля максимальной погрешности.

6.    Компрессия на основе «независимых порций компонент»

Предложенный в [4] алгоритм компрессии на основе «скользящей аппроксимации компонент» (описание см. выше) непригоден для использования в задаче хранения гиперспектральных изображений. Причина заключается в последовательном сжатии спектральных компонент, при котором «предыдущие» спектральные компоненты используются для аппроксимации «последующих». В результате для декомпрессии произвольной спектральной компоненты придётся декомпрессировать все предыдущие компоненты (их могут быть сотни), что является серьёзным недостатком при организации быстрого доступа к хранимым гиперспектральным изображениям (не выполняется требование 7 раздела 3).

Естественно, при хранении гиперспектральных изображений в базе данных хотелось бы, чтобы декомпрессия произвольной спектральной компоненты влекла за собой декомпрессию как можно меньшего числа других (возможно, ненужных) компонент. Для обеспечения этой возможности в данной работе предлагается ис- пользовать подход, основанный на аппроксимации компонент внутри «независимых порций компонент».

При сжатии набор спектральных компонент разделяется на независимые «спектральные порции» (по N компонент в каждой, рис. 6), а внутри каждой порции используется упомянутый алгоритм «скользящей» аппроксимации спектральных компонент. Тогда для декомпрессии произвольной компоненты необходимо декомпрессировать не все предыдущие компоненты изображения, а только предыдущие компоненты соответствующей спектральной порции.

7.    Компрессия на основе «общих опорных компонент»

Коэффициент сжатия алгоритма на основе «независимых порций компонент» неизбежно будет меньше, чем коэффициент сжатия алгоритма на основе «скользящей аппроксимации компонент». Причиной этого является то, что для аппроксимации каждой спектральной компоненты в алгоритме «независимых порций» будет использоваться гораздо меньшее (в среднем) число базовых компонент. Особенно велик проигрыш будет при компрессии первой компоненты каждой порции, т.к. для неё вообще нет опорных компонент, и она не будет аппроксимирована. Для уменьшения описанных эффектов в данной работе предлагается алгоритм аппроксимации на основе «общих опорных компонент» (рис. 7).

Из изображения с некоторым шагом N выбираются «общие опорные» спектральные компоненты. Также задаётся целочисленный параметр C . Общие опорные компоненты сжимаются алгоритмом на основе «скользящей аппроксимации компонент». При этом для аппроксимации каждой из «общих опорных компонент» используются ( N + C –2) предыдущие опорные компоненты, уже прошедшие компрессию.

Затем, после сжатия «общих опорных компонент», независимо друг от друга сжимаются порции компонент, расположенных между «общими опорными». Для сжатия этих порций используется аппроксимационный алгоритм компрессии, аналогичный алгоритму на основе «скользящей аппроксимации компонент». Компоненты каждой порции сжимаются последовательно , с использованием аппроксимации на основе компонент, уже прошедших компрессию. Этими аппроксимирующими компонентами являются предыдущие компоненты той же самой порции, дополненные ближайшими «общими опорными компонентами» таким образом, чтобы общее количество аппроксимирующих компонент также равнялось ( N + C –2). Таким образом, параметр С равен минимальному количеству «общих опорных компонент», используемых для аппроксимации «остальных» компонент.

Можно ожидать, что алгоритм на основе «общих опорных компонент» будет иметь коэффициент сжатия лучше, чем алгоритм на основе «независимых порций компонент». «Расплатой» за это будет являться некоторое уменьшение скорости, т.к. для декомпрессии произвольной компоненты нужно декомпрессировать не только предыдущие компоненты той же самой порции, но и необходимые «общие опорные» компоненты. Не- гативный эффект от такого замедления будет тем меньше, чем больше компонент изображения нужно декомпрессировать, т.к. «общие опорные» компоненты распаковываются однократно при декомпрессии первой необходимой компоненты, а затем используются при декомпрессии всех последующих компонент.

Спектральная порция №1

Спектральная порция №2

Гиперспектральное изображение

Рис. 6. Алгоритм аппроксимации компонент на основе «независимых порций компонент» (N = 4)

Рис. 7. Алгоритм аппроксимации компонент на основе «общих опорных» компонент (N = 3, C = 1)

8.    Реализация алгоритмов компрессии

Проведена реализация следующих алгоритмов HGI-компрессии гиперспектральных изображений: алгоритма с независимой обработкой спектральных компонент, алгоритма со «скользящей аппроксимацией» компонент, алгоритма с аппроксимацией на основе «независимых порций компонент», алгоритма с аппроксимацией на основе «общих опорных компонент».

Общие параметры алгоритмов : допустимая максимальная погрешность ε max ; размер V b × H b независимо обрабатываемых блоков; количество L масштабных уровней [4]; количество N спектральных компонент, используемых для аппроксимации текущей компоненты. Кроме того , алгоритм «общих опорных» компонент имеет ещё параметр C – количество опорных компонент, которые используются для аппроксимации «неопорных» компонент (смотри описание алгоритма выше).

Все реализованные алгоритмы работают с 16-битными изображениями (требование 8 раздела 3).

9.    Исследование влияния параметров на эффективность компрессии

Для того, чтобы сформулировать рекомендации по выбору наилучших значений для параметров алгоритмов, были проведены вычислительные эксперименты на описанных 16-битных изображениях. Некоторые результаты для изображений спектрометра AVIRIS показаны на рис. 8– 11.

Полученные результаты позволяют дать следующие рекомендации по выбору параметров.

8   9 10 N

• •    Результаты улучшаются при увеличении размера блоков. Скорее всего, причина заключается в уменьшении доли служебной информации блоков. Для блоков размером больше, чем 100×100, отставание от наилучших значений является незначительным. Можно выбирать любые размеры блока больше, чем 100×100, т.к. для них отставание от наилучших значений является незначительным.

  

  Рис. 8. Зависимость коэффициента сжатия K от количества N опорных компонент при аппроксимации для изображения «Cuprite-2»

  (L = 5, С = 4, Vb xHb = 112 X614, Emax = 0)

  
  
  

  Рис. 9. Зависимость коэффициента сжатия K от минимального количества C «общих опорных компонент», используемых для аппроксимации «остальных» компонент для изображения «Cuprite-1» (L = 5, N = 7, VbXHb = 112x614, Emax = 0)

  
  

• •    Наилучшие значения количества уровней: 4, 5, 6. Однако почти без потери эффективности для количества иерархических уровней можно брать любое значение больше трёх. При этом, исходя из соображений скорости доступа к сжатым данным в различных масштабах, количество уровней рекомендуется рассчитывать исходя из размера сжимаемых изображений: L = 1 + [log₂min(V,H)], где [..] - знак выделения целой части.

• •    Количество опорных компонент N слабо влияет на коэффициент сжатия алгоритмов скользящей аппроксимации и общих опорных компонент, поэтому следует исходить из увеличения скорости доступа и использовать значения больше 9.

  

  Рис. 10. Зависимость коэффициента сжатия K от горизонтального размера блока H_b (каждая кривая соответствует своему вертикальному размеру блока V_b) для изображения «Low Altitude» при скользящей аппроксимации компонент (L = 5, N = 7, E_max = 0)

  
  

• •    Уменьшение количества опорных компонент N для алгоритма «независимых порций» заметно ухудшает его коэффициент сжатия. При использовании этого алгоритма необходимо выбирать количество компонент, обеспечивающее компромисс между коэффициентом сжатия и скоростью доступа. Предположительно, наилучшими значениями будут значения N между 7 и 10, т.к. после их превышения рост эффективности замедляется.

• •    Параметр С слабо влияет на коэффициент компрессии разработанных аппроксимационных алгоритмов. Его значение можно выбирать от 1 до 4, т.к. после превышения этих значений происходит замедление роста эффективности.

10.    Оценка эффективности HGI-компрессии при хранении изображений

Для оценки эффективности компрессии были построены зависимости коэффициента компрессии от максимальной и квадратичной погрешностей для всех разработанных алгоритмов (рис. 12) на реальных 16-битных изображениях гиперспектрометров SpecTIR и AVIRIS.

Рис. 11. Зависимость коэффициента сжатия K от количества иерархических уровней L для изображения «Cuprite-1» (N = 7, С = 4, V b XH b = 128X128, E max = 0)

Поученные результаты позволяют сделать следующие выводы:

• а)    все алгоритмы показывают достаточно высокий коэффициент сжатия, чтобы рекомендовать их использование в системах хранения гиперспектральных изображений;

• б)    использование любой аппроксимации компонент позволяет существенно улучшить коэффициент сжатия; аппроксимационные алгоритмы можно рекомендовать к использованию;

• в)    алгоритмы в порядке убывания коэффициента сжатия: алгоритм общих опорных компонент, алгоритм скользящей аппроксимации, алгоритм не-

• зависимых порций, алгоритм независимой обработки компонент – выбор алгоритма должен производиться исходя из допустимых потерь в скорости декомпрессии;

• г)    выигрыш от использования аппроксимации компонент растёт с увеличением коэффициента сжатия;

• д)    при нулевой и малой погрешностях алгоритмы «скользящей аппроксимации» и «общих опорных компонент» показывают лучшие результаты. Так как эти результаты примерно одинаковы и при этом алгоритм «общих опорных компонент» позволяет уменьшить время доступа, то он является более предпочтительным из двух указанных алгоритмов (при малых погрешностях).

Рис. 12. Усреднённый по пяти изображениям SpecTIR коэффициент сжатия K в зависимости от максимальной погрешности ε _max и от квадратичной погрешности ε² (L = 5, N = 7, С = 4, V b ×H b = 112×614)

Заключение

Разработаны новые алгоритмы аппроксимации спектральных компонент, хорошо приспособленные для использования HGI-компрессии при решении задачи хранения гиперспектральных изображений. Проведена оценка эффективности, а также сравнение между собой указанных и ранее разработанных алгоритмов HGI-компрессии на реальных 16-битных изображениях гиперспектрометров. Показана перспективность использования HGI-компрессии для решения задачи хранения гиперспектральных изображений.

Работа выполнена при государственной поддержке:

• •    Министерства образования и науки РФ в рамках реализации мероприятий Программы повышения конкурентоспособности СГАУ среди ведущих мировых научно-образовательных центров на 2013-2020 годы;

• •    грантов РФФИ (проекты 13-01-12080-офи_м, 13-07-97006-р_поволжье_а, 12-07-00751-а);

• •    Министерства образования и науки Российской Федерации (в рамках постановления Правительства Российской Федерации от 09.04.2010 г. № 218: договор № 02.Г36.31.0001 от 12.02.2013).