Оптимизация алгоритма сжатия изображений JPEG2000 для космических систем наблюдения сканирующего типа

В настоящее время особую актуальность приобретают вопросы сжатия цифровых видеоизображений для космических аппаратов наблюдения. Это является следствием общемировой тенденции получения изображений с высоким и сверхвысоким геометрическим разрешением (<0,5 м). В свою очередь, улучшение геометрического разрешения аппаратуры космических оптико-электронных систем (КОЭС) дистанционного зондирования Земли (ДЗЗ) сказывается на увеличении потока цифровой видеоинформации, который необходимо хранить на борту и передавать на наземные комплексы по радиоканалу с ограниченной пропускной способностью.

На сегодняшний день типовое значение пропускной способности спутниковой радиолинии целевой информации составляет 700–800 Мбит/с (космические аппараты (КА) WorldView -2, GeoEye -1), наилучшее — 2 000 Мбит/с (КА WorldView -3).

Информационный поток от полезной нагрузки КОЭС при этом примерно в 10 раз выше пропускной способности каналов связи: 15 Гбит/с для КА WorldView -3; 6,8 Гбит/с для КА WorldView -2; 8 Гбит/с для КА GeoEye -1. Это означает, что на борту КА необходимо производить сжатие с коэффициентом сжатия ~10 крат.

В современных КА ДЗЗ для сжатия цифрового изображения применяют способы, использующие известные функции преобразования [1–4]:

• •    адаптивная дискретно-импульсная кодовая модуляция (АДИКМ) (КА SPOT -1 – SPOT -4, Ресурс-ДК);

• •    дискретное косинусное преобразование стандарта JPEG (КА ALOS );

• •    гибридные алгоритмы JPEG /АДИКМ (КА SPOT -5);

• •    сжатие с использованием вейвлет-преобразования, аналогично международному стандарту JPEG2000 (КА Worldwiev -2, RapidEye , SPOT -6, Pleiades-HR ).

Способ аппаратного сжатия цифрового изображения, используемый в съемочной аппаратуре КА Pleiades - HR [4], основан на функции вейвлет-преобразования и описан в международном стандарте JPEG2000 [5], который по сущности наиболее близок к представленному в данной статье алгоритму сжатия.

В этом способе сжатия цифрового изображения задают значение требуемого числа бит при сжатии S0, значения весовых коэффициентов для различных частотных диапазонов и сохраняют их в буфере; построчно накапливают в буфере кадры изображения Y и поочередно передают полные кадры изображения на вход модуля сжатия; преобразовывают цифровой сигнал кадра посредством многократного поочередного применения одномерного дискретного вейвлет-преобразования. На первом уровне за первый проход одновременно преобразовывают все строки кадра с получением двух частотных областей (высокочастотная Н и низкочастотная L) коэффициентов вейвлет-преобразования, за второй проход одновременно преобразовывают все столбцы кадра с получением двух частотных областей (высокочастотная Н и низкочастотная L) коэффициентов вейвлет-преобразования (преобразование Мал-лата), результаты сохраняют в памяти аппаратуры. На втором уровне вейвлет-преобразованию поочередно подвергаются строки и столбцы низкочастотных областей L кадра, результаты сохраняют в памяти аппаратуры. В частности, для выполнения четырехуровневого вейвлет-преобразования необходимо совершить восемь проходов с промежуточным сохранением результатов каждого прохода в блоке памяти и в результате получить 13 наборов вейвлет-коэф-фициентов при разной частоте (рис. 1).

LLII

LH

LLLL

LLLH

б)

Рис. 1. Четырехуровневые дискретные вейвлет-преобра-зования: а — Маллата; б — пакетное

а)

После вейвлет-преобразования осуществляют скалярное квантование полученных коэффициентов вейвлет-преобразо-вания w ( Y ), используя разные значения коэффициентов квантования k _i для разных частотных диапазонов с получением квантованных коэффициентов вейвлет-преобра-зования q ( w ). Коэффициенты квантования k _i определяются заданными значениями требуемого числа бит при сжатии S ₀ и значениями весовых коэффициентов γ _b для различных частотных диапазонов. Для всех кадров информации значения коэффициентов квантования k _i постоянны.

Далее квантованные вейвлет-коэффици-енты q ( w ) подвергают бит-ориентированному арифметическому кодированию и получают сжатое изображение в виде битового потока. При этом частотные диапазоны квантованных коэффициентов разбиваются на кодовые блоки, каждый из которых кодируется независимо. Каждому квантованному коэффициенту в блоке ставится в соответствие бит, а распределению коэффициентов по разрядам соответствуют определенные битовые плоскости (положение бита в плоскости соответствует положению коэффициента в блоке), по которым и осуществляется кодирование. Сначала кодируется плоскость, соответствующая старшему разряду коэффициентов, затем следующая по убыванию, и т. д. После кодирования получают сжатое изображение в виде битового потока, который передают на выход модуля.

Данный способ позволяет производить сжатие потока цифровой информации со скоростью 25 Мпикс/с [4] и сжимать изображения разрядности 11–12 бит с коэффициентами сжатия 2–20 — с потерями и ~2 — без потерь, с удовлетворительным качеством декодированного изображения.

Недостатками известного аппаратного способа сжатия цифрового изображения является низкая скорость сжатия цифрового изображения, необходимость промежуточного сохранения большого объема обрабатываемых данных, требующая больших ресурсов памяти аппаратуры.

алгоритм сжатия JPEG2000 DWT

Задача, рассматриваемая в данной статье, состоит в снижении требований к ресурсам памяти аппаратуры, в увеличении скорости сжатия цифрового изображения при сохранении высоких значений коэффициента сжатия и качества декодированного изображения.

Для решения поставленной задачи предложен способ аппаратного сжатия цифрового изображения в съемочной аппаратуре сканирующего типа JPEG2000 DWT , который заключается в выполнении следующих операций:

• •    задают значение требуемого числа бит при сжатии S ₀, значения весовых коэффициентов γ _b для различных частотных диапазонов и значение коэффициента потерь Q ₀ для обработки первого кадра изображения и сохраняют все в буфере;

• •    построчно накапливают в буфере кадры изображения Y ;

• •    поочередно передают полные кадры изображения на вход модуля сжатия (рис. 2).

В модуле сжатия цифровой сигнал кадра изображения преобразовывают до уровня, соответствующего требуемому числу бит при сжатии S ₀, посредством многократного применения одномерного дискретного вейвлет-преобразования в два прохода.

Согласно рис. 3, на первом уровне первого прохода одновременно преобразовывают все строки кадра с получением двух частотных областей (высокочастотная Н и низкочастотная L ) коэффициентов вейвлет-пре-образования. На втором уровне первого прохода одновременно преобразовывают все строки кадра в низкочастотной области L с получением двух частотных областей (высокочастотная LН и низкочастотная LL ) коэффициентов вейвлет-преобразования. На третьем уровне первого прохода одновременно преобразовывают все строки кадра в низкочастотной области LL с получением двух частотных областей (высокочастотная LLН и низкочастотная LLL ) коэффициентов вейвлет-преобразо-вания. На четвертом уровне первого прохода одновременно преобразовывают все строки кадра в низкочастотной области LLL с получением двух частотных областей (высокочастотная LLLН и низкочастотная LLLL ) коэффициентов вейвлет-преобразования.

Рис. 2. Блок-схема способа аппаратного пакетного сжатия

Рис. 3. Схема первого прохода четырехуровневого пакетного дискретного вейвлет-преобразования над одной строкой изображения с использованием одномерного дискретного вейвлет-преобразования

За второй проход производят все аналогичные уровни преобразования по столбцам кадра изображения. В частности, для выполнения четырехуровневого пакетного вейвлет-преобразования необходимо совершить всего два прохода с одним промежуточным сохранением результатов в блоке памяти и в результате получить 25 наборов вейвлет-коэффициентов при разной частоте (см. рис. 1, б ).

Далее осуществляют скалярное квантование полученных коэффициентов вейвлет-преобразования w ( Y ) с учетом коэффициентов квантования, определяемых из соотношения k _i = γ _b Q _{i –1}, где γ _b — весовые коэффициенты для различных частотных диапазонов; Q _i — коэффициент потерь i -го кадра; i = 1… n — порядковый номер кадра. В таблице представлены фиксированные значения весовых коэффициентов γ _b для разных частотных диапазонов.

Квантование каждого пиксела изображения А ( x, y ) производится по закону:

A _кв( x, y ) = [ А ( x, y ) Q _i γ _b ].

Далее путем побитового арифметического кодирования квантованных вейвлет-коэффициентов (по аналогии с прототипом) получают сжатое изображение в виде битового потока, подсчитывают число бит S _i в сжатом цифровом изображении кадра, рассчитывают коэффициент потерь Q _i текущего кадра

Qi = Qi – 1

к - где Qi–1 — значение коэффициента потерь для предыдущего кадра; Si — число бит, полученное после сжатия текущего кадра информации; S0 — требуемое число бит при сжатии кадра информации.

Рассчитанное значение Qi передают для скалярного квантования следующего кадра изображения, а битовый поток подают на выход модуля сжатия.

Восстановление изображения после сжатия производят в обратном порядке.

апробация разработанногоалгоритма сжатия

В ОАО «Пеленг» проведена опытноконструкторская работа «Программные средства сжатия информации космических систем дистанционного зондирования Земли и стендовое оборудование» (шифр «Поток»), в результате которой разработан и изготовлен макетный образец блока сжатия целевой информации (БСЦИ), а также комплекс стендового оборудования, позволяющий производить моделирование, проверку и испытания алгоритмов сжатия видеоинформации [6].

Для апробации была разработана аппаратная реализация алгоритма JPEG2000 DWT для макетного образца БСЦИ.

Допустимый суммарный поток входной видеоинформации БСЦИ до 5 Гбит/с для данных разрядностью 8…12 бит, потребляемая мощность 80 Вт, масса 13,5 кг.

Для сравнения использовалась аппаратная реализация алгоритма сжатия АДИКМ, а также программные реализации алгоритма сжатия JPEG2000 , согласно ISO/IEC JTC1/SC29 WG1 , JPEG2000 (стандарт), а также программные аналоги алгоритма JPEG2000 DWT и АДИКМ.

В целях исследования сформирована библиотека реалистичных и искусственных тестовых изображений размером 16 000 × 16 000 пикс с разрядностью 11 бит на базе изображений земной поверхности различного разрешения (на рис. 4 приведен фрагмент тестового изображения Plains разрешения 20 см, полученный с использованием аэрофотосъемки).

весовые коэффициенты γ _b для разных частотных диапазонов

γ b		Диапазон по столбцам
		LLLL	LLLH	LLH	LH	H
со 8	LLLL	1	0,5039	0,3504	0,239	0,1753
	LLLH	0,5039	0,2539152	0,1765666	0,1204321	0,0883337
	LLH	0,3504	0,1765666	0,1227802	0,0837456	0,0614251
	LH	0,239	0,1204321	0,0837456	0,057121	0,0418967
	H	0,1753	0,0883337	0,0614251	0,0418967	0,0307301

Рис. 4. Фрагмент тестового изображения Plains: разрешение 20 см, разрядность 11 бит

С использованием библиотеки тестовых изображений проведены испытания аппаратных и программных алгоритмов сжатия.

По результатам испытаний БСЦИ с аппаратными реализациями алгоритмов JPEG2000 DWT и АДИКМ способен обрабатывать поток данных до 5 Гбит/с.

Алгоритм АДИКМ не способен сжимать 11-битные данные более чем в 5,5 раза. Качество изображений, восстановленных после сжатия алгоритмом JPEG2000 DWT , превосходит качество этих же изображений, восстановленных после сжатия алгоритмом АДИКМ по всем использованным объективным метрикам сравнения изображений и экспертным оценкам. Пример результатов оценки PSNR для тестового изображения Plains приведен на рис. 5.

Рис. 5. Зависимость пикового отношения сигнал/шум от коэффициента сжатия для тестового изображения Plains: - ♦ - — JPEG-2000 (Стандарт); - ■ - — программное сжатие JPEG-2000 DWT; - ▲ - — аппаратное сжатие JPEG-2000 DWT; – – — аппаратное сжатие АДИКМ; – – — программное сжатие АДИКМ

Аппаратная реализация JPEG2000 DWT уступает программной реализации алгоритма JPEG2000 (стандарт), что обусловлено упрощением алгоритма с целью уменьшения его ресурсоемкости. Пропускная способность одного модуля сжатия составила 110 Мпикс/с, что более чем в четыре раза превосходит пропускную способность аналога.

оценка качества изображения, сжатого алгоритмом JPEG2000 DWT с потерями

Величиной, определяющей информативность изображений, полученных с КОЭС ДЗЗ, является предельно разрешимая пространственная частота, которая может быть пересчитана в линейное разрешение на местности (ЛРМ) [7].

Для расчета предельно-разрешаемой пространственной частоты на цифровом изображении, формируемом КОЭС ДЗЗ, используется частотно-энергетическое уравнение [7]:

• — ⁷ " Т (и) = F ( Р ),        (1)

П             i          пор зад^/,

^N 0 ¹ = ¹

где F _пор( P _зад) — пороговая частотно-энергетическая характеристика (ПЧЭХ); S / N ₀ — аппаратное отношение сигнала к шуму на нулевой пространственной частоте;

n

П T (U) — сквозная частотно-контрастная i - 1

характеристика (ЧКХ) оптико-электронного тракта (ОЭТ).

n

• S / N ₀ и £ П T.( u ) являются характеристи- i - 1

ками любой КОЭС ДЗЗ без учета сжатия с потерями.

Пороговая частотно-энергетическая характеристика F _пор( P _зад) может быть аппроксимирована полиномом второй степени [8]:

F _пор(υ) = 16,515υ ² + 3,1227υ + 0,2817.

Каждая область вейвлет-преобразования изображения согласно алгоритму сжатия JPEG2000 DWT квантуется с фиксированным коэффициентом квантования. При этом коэффициенты квантования передаются в битовом потоке вместе со сжатыми данными. Зная коэффициенты квантования, применяемые для каждой области вейвлет-преобразованного изображения, можно определить минимальные уровни сигналов, которые не будут потеряны в результате квантования для каждой частотной полосы.

В результате исследований аппаратного алгоритма сжатия JPEG2000 DWT были получены коэффициенты квантования всех областей вейвлет-преобразования для базы тестовых изображений при различных коэффициентах сжатия. Минимальный сохраняемый контраст для 11-битных изображений определяется как уровень квантования ∆, деленный на диапазон значений пиксела 2 ¹¹ . Зависимость минимального сохраняемого контраста от коэффициента сжатия наглядно представлена на рис. 6.

Рис. 6. Зависимость минимального сохраняемого кон- траста от коэффициента сжатия для различных пространственных частот

Сквозная ЧКХ ОЭТ (левая часть уравнения (1)) — результат произведения ЧКХ звеньев сквозного ОЭТ. Основным математическим аппаратом, применяемым для анализа ЧКХ сквозного ОЭТ, является теория линейной фильтрации. В рамках этой теории предполагается независимость параметров описываемых звеньев от сигнала. Рассматриваемый алгоритм сжатия JPEG2000 DWT не может быть представлен как линейное звено, т. е. его параметры зависят от сигнала.

Преобразуем уравнение (1), умножив обе его части на среднеквадратичное отклонение шума в изображении σш:

n

— 5 Т (и) = о F (и ), (2)

П 1 г ш пор ш где S — уровень сигнала; σш — уровень шума ОЭТ без сжатия.

Таким образом, левая часть уравнения (2) фиксирована для отдельно взятого ОЭТ и не зависит от применяемого алгоритма сжатия.

Сжатие с потерями возможно представить как внесение дополнительного шума в изображение. Под эквивалентным уровнем шума будем понимать среднеквадратичное отклонение белого гауссово-го шума, который, будучи внесенным в изображение, ухудшает ЛРМ эквивалентно сжатию алгоритмом JPEG2000 DWT. В результате исследований аппаратного алгоритма сжатия JPEG2000 DWT были получены эквивалентные сжатию уровни шума для базы тестовых изображений при коэффициентах сжатия 2, 6 и 10, которые составили 2,2; 12,5 и 17,8, соответственно.

Так как шумы ОЭТ и сжатия в общем случае не коррелированы, то при учете сжатия через эквивалентный сжатию уровень шума уравнение (2) принимает вид:

n

• — 5   Т (и) = Vо -о² F (и ).      ⁽³⁾

i                      ш сж п о р ш

π i = 1

С другой стороны, необходимо учесть удаление пространственных частот на изображении при сжатии с потерями. Это можно сделать, заменив правую часть уравнения (2) на предельный сохраняемый контраст

4 ⁿ

— 5   Т (и) = 5 (и ),         (4)

π          i          пред сохр i = 1

где S _пред(υ_сохр) — предельный сохраняемый контраст в изображении, определяемый уровнем квантования для определенной пространственной частоты.

Таким образом, в ОЭТ с использованием сжатия с потерями предельно разрешаемая пространственная частота на изображении определяется как минимум из предельной разрешаемой частоты для объекта в шумах υш (3) и предельной сохраняемой частоты υсохр (4):

υсж = min(υш, υсохр).              (5)

Таким образом, сжатие изображения алгоритмом JPEG2000 DWT с потерями можно рассматривать сразу как источник шума и как цифровой квантователь сигнала.

Например, для некоторого оптико-электронного тракта с S/N ₀ = 20 и σ_ш = 4 ед. АЦП графическое представление решения уравнения (5) с ПЧЭХ, соответствующей средним коэффициентам квантования для коэффициентов сжатия 2, 6 и 10, может иметь вид, представленный на рис. 7.

Из рис. 7 видно, что при коэффициенте сжатия 2 предельная разрешаемая частота будет определяться суммарным шумом ОЭТ и эквивалентным шумом сжатия (υсж = υш). При коэффициентах сжатия 6 и 10 предельная разрешаемая частота будет определяться предельным сохраняемым контрастом в изображении (υсж = υсохр).

Рис. 7. Графическая иллюстрация решения сквозного частотно-энергетического уравнения с учетом пороговой частотно-энергетической характеристики (ПЧЭХ), соответствующей средним коэффициентам квантования для коэффициентов сжатия 2, 6 и 10

заключение

Представленный алгоритм сжатия JPEG2000 DWT оптимизирован для реализации в бортовой аппаратуре и имеет низкую вычислительную сложность реализации, что позволило достичь пропускной способности модуля сжатия 110 Мпикс/с и создать на его основе бортовую аппаратуру сжатия с пропускной способностью 5 Гбит/с и более при умеренных массогабаритных параметрах блока сжатия.

Приведены данные сравнения аппаратной реализации с программными реализациями с использованием программноаппаратного стенда исследования алгоритмов сжатия.

Предложен способ оценки влияния сжатия с потерями по алгоритму JPEG2000 DWT на предельно разрешаемую пространственную частоту на изображении с использованием предельных уровней потерь и эквивалентного сжатию уровня шума на изображении. При этом алгоритм сжатия рассматривается сразу как источник шума и как цифровой квантователь сигнала. Предложенный способ оценки предельно разрешаемой пространственной частоты возможно использовать на этапе эксплуатации космического аппарата для оперативной оценки качества полученных изображений и для расчета целевых характеристик КОЭС ДЗЗ на этапе проектирования с целью оптимизации ее параметров и подтверждения заложенных в изделие конструкторских решений.