Метод предварительного кодирования изображений в корреляционно-экстремальных системах

Корреляционно-экстремальные системы находят применение в различных областях техники. Преимуществами корреляционного анализа является то, что данная технология уже отработана, имеются быстрые алгоритмы вычисления корреляции и существуют аппаратно реализованные решения. На сегодняшний день большой интерес представляют простые и дешёвые корреляционные зрительные системы, реализованные в виде спецпроцессоров.

В данной статье мы поставили задачу использовать корреляционный метод сравнения изображений, но в сложных условиях, а именно при сопоставлении разнородных изображений, зарегистрированных различными датчиками.

Для решения проблем сопоставления нескольких изображений сцены, полученных в разных условиях или даже различающихся по типу представления, в работе предложен теоретико-информационный метод предварительного кодирования изображений. На различных примерах продемонстрирована его эффективность при использовании совместно с корреляционно-экстремальным алгоритмом.

также геометрические искажения и искажения яркости каждого изображения [1 –3].

Методы сравнения изображений можно разбить на две группы: экстремальные методы и методы, в которых сравниваются характерные элементы изображений [4].

При сравнении однотипных изображений (чаще всего это серия снимков) применение методов выде- ления и анализа характерных элементов является предпочтительным из-за их меньшей вычислительной сложности. Для сравнения же разнородных изображений применение методов данной группы нецелесообразно, т.к. на изображениях одной и той же сцены выделяются различные характерные элементы.

Экстремальный способ взаимной привязки (совмещения) пары функций состоит в том, что форми- руется величина, измеряющая корреляцию между этими функциями, и находится положение максимума функции корреляции.

Нормированная взаимная корреляционная функция (НВКФ) R_XY двух случайных полей X и Y рассчитывается по формуле:

R ( i , j ; m , n ) =

E [ X i , j - EX i , j ] ⋅ [ Y m , n - EY m , n ] DX i , j ^⋅ DY m , n

Здесь E – обозначение математического ожидания, D – обозначение дисперсии.

Рассмотрим случай, в котором два изображения, I и I' , сдвинуты относительно друг друга по вертикали и горизонтали (см. рис. 1).

Нормированная взаимная корреляционная функция R(I, I') приведена на рис. 2. Смещение максимума НВКФ относительно центра определяет смещение изображений относительно друг друга.

В данном случае I и I' являются частями одного изображения, на практике же возникают задачи, ко- гда необходимо сравнивать либо различные изображения, полученные от одного источника, но в разное время, либо изображения от разных источников.

Рис. 1. Пример смещённых изображений

Рис. 2. НВКФ изображений, имеющих сдвиг

Приведём пример. Допустим, нам необходимо со- поставить аэрофотоснимок топографической карте той же местности (рис. 3, источник изображений – «Яндекс.Карты»).

Рис.3. Изображения: а) карта; б) снимок

На рис. 4 приведена взаимная корреляционная функция данных изображений.

Из рисунка видно, что функция не имеет максимума, указывающего на сдвиг изображений (в данном случае сдвиг нулевой). Данный пример показывает, что корреляционно-экстремальный метод имеет ограничения по типам сравниваемых изображений.

Поэтому представляет значительный практический интерес задача адаптации корреляционно-экстремального метода для использования при сравнении разнородных изображений. В своём исследовании мы предлагаем для решения данной задачи метод предобработки изображений, основанный на энтропийном кодировании, в частности, замене изображения картой его локальной энтропии, которая, как мы покажем ни-

Рис. 4. НВКФ изображений, приведённых на рис. 3

2.    Метод предобработки изображений на основе энтропийного кодирования

Решение проблемы достигается применением метода предобработки изображений на основе учёта имеющихся в изображении внутренних статистических связей между его элементами. Данное решение основано на предположении, что статистически связанные между собой элементы в изменяющихся условиях получения изображения остаются статистически связанными. Изображение рассматривается как реализация случайного процесса [7, 8].

Для выявления внутренних статистических связей в данных любой природы используются теоретикоинформационные методы. В применении к решению поставленной задачи предлагается осуществить энтропийное кодирование изображений, а именно вычислить карту локальной энтропии для каждого из исходных изображений.

Локальная энтропия ( H_n ) характеризует степень неожиданности наступления n -го события: чем меньше его априорная вероятность, тем выше его локальная энтропия.

Определим, что будет пониматься в данном случае под «событием» и как вычислить локальную энтропию:

• -    для каждого отсчёта изображения рассматривается его окрестность – фрагмент размером m×n ;

• -    вычисляется энтропия каждого фрагмента [9]:

mn

H ( z) =~ XX p ( e, j ) log( p ( e, j ));                (2)

= 1 j = 1

• -    событием (e _, j ) считается конкретное значение яркости пиксела, вероятность его (p(e _, j )) оценивается подсчётом количества вхождений этого значения по всему фрагменту размером m×n и делением на количество пикселов во фрагменте.

Выходное изображение формируется путём замены каждого отсчёта величиной, вычисляемой по формуле локальной энтропии (то есть строится карта локальной энтропии).

На рис. 5 приведены карты локальной энтропии изображений, приведённых на рис. 3.

б)

Рис. 5. Карты локальной энтропии: а) карты (изображение приведено в негативе по просьбе типографии); б) снимка

Вид корреляционной функции (КФ) карт локальной энтропии приведён на рис. 6. Из рисунка видно, что корреляционная функция имеет ярко выраженный максимум, соответствующий нулевому сдвигу.

Рис. 6. НВКФ карт локальной энтропии изображений

3.    Тестирование метода

Аналогичные результаты были получены при использовании других тестовых изображений (карты и аэрофотоснимки, снимки в зимнее и летнее время, оптические и инфракрасные снимки).

Пример 1

В первом примере, так же как и в предыдущем, в качестве тестовых изображений использовались топографическая карта и аэрофотоснимок одной и той же местности (рис. 7 а и 7 б, источник изображений -«Яндекс.Карты»).

Была вычислена взаимная корреляция двух исходных изображений, вид НВКФ приведён на рис. 7 в . Из рисунка видно, что корреляционная функция имеет множество локальных максимумов.

б)

д)

Рис. 7. Пример 1: а) карта, б) снимок, в) НВКФ (а) и (б), г) карта локальной энтропии топографической карты (изображение приведено в негативе по просьбе типографии), д) карта локальной энтропии снимка, е) НВКФ (г) и (д)

Поиск максимума такой «негладкой» функции возможен методом прямого перебора либо методами итерационного приближения с малым шагом при- ближения, что ведёт к большим вычислительным затратам. На рис. 7г, д приведены карты локальной энтропии изображений, а на рис. 7e - их КФ.

Пример 2

Пример 3

В данном примере рассмотрим изображения одной и той же местности, снятые в разное время года (рис. 8, источники – «Яндекс.Карты» и «Google Maps»).

В третьем примере мы сравнивали изображения одной и той же сцены, снятой с помощью обычной и тепловизионной камер (рис. 9).

д) L

-7 7 21 35 49

Рис. 8. Пример 2: а) снимок летом, б) снимок зимой, в) НВКФ (а) и (б), г) карта локальной энтропии летнего снимка, д) карта локальной энтропии зимнего снимка, е) НВКФ (г) и (д)

-0,47

-0,49

-0,51

-0,53

-0,55

-0,57

24 0

д)

-12

-24

-24

Рис. 9. Пример 3: а) кадр с видеокамеры, б) кадр с тепловизора, в) НВКФ (а) и (б), г) карта локальной энтропии кадра с видеокамеры, д) карта локальной энтропии кадра с тепловизора, е) НВКФ (г) и (д)

4.    Обсуждение результатов

На данных примерах мы убедились, что изображения после предобработки демонстрируют более высокий коэффициент корреляции (см. таблицу) и более гладкую НВКФ, чем исходные изображения. Также из примера 3 видно, что метод предобработки на основе локальной энтропии инвариантен к инверсии яркости изображений (в данном примере – фрагментов изображений).

Табл. Значения максимумов НВКФ

	Изображения без предобработки	Карты локальной энтропии изображений
Пример 1	0,18	0,35
Пример 2	0,63	0,83
Пример 3	-0,51	0,67

Таким образом, энтропийная предобработка изображений может быть рекомендована для использования при сопоставлении изображений корреляционно-экстремальным методом по двум причинам:

• -    она приводит к повышению корреляции между разнородными изображениями;

• -    корреляционная функция карт локальной энтропии более гладкая, чем корреляционная функция исходных изображений, за счёт чего можно значительно уменьшить объём вычислений по поиску экстремума.

Можно предположить, что данные свойства связаны с тем, что карта локальной энтропии не содержит мелких деталей, имеющихся на изображении, и попробовать добиться того же эффекта, предварительно убрав мелкие детали на исходных изображениях при помощи фильтра верхних частот (как правило, данный вид предварительной обработки и применяется для сопоставления снимков корреляционным методом). Для сравнения приведём «разрез» КФ по оси ОХ и оси ОY для трёх примеров, рассмотренных выше (рис. 10– 12). Серой сплошной линией обозначена КФ исходных изображений, чёрным пунктиром – КФ сглаженных изображений, чёрной сплошной линией – КФ карт локальной энтропии изображений.

Как видно из рис. 9 в, е (пример 3), на заданном интервале смещений по x и по y НВКФ исходных изображений отрицательна, а НВКФ карт локальных энтропий положительна. Поэтому для более наглядного отображения корреляционные функции на рис. 12 приведены на отдельных графиках.

Рис. 10. Пример 1: а) «разрез» по оси OX, б) «разрез» по оси OY (серый сплошной – исходные изображения, чёрный пунктир – сглаженные изображения, чёрный сплошной – карты локальной энтропии изображений)

Сгладив исходные изображения, удалось несколько увеличить модуль коэффициента корреляции, а также «сгладить» КФ, но не в такой степени, как этого позволяет добиваться энтропийная предобработка. Из вышеприведённых рисунков видно, что без предварительного кодирования решение задачи совмещения изображений было некорректным (пример 3,

рис. 12) либо точность решения не изменилась после кодирования, зато увеличился коэффициент корреляции (примеры 1 и 2, рис. 10 и 11).

Рис. 11. Пример 2: а) «разрез» по оси OX, б) «разрез» по оси OY (серый сплошной – исходные изображения, чёрный пунктир – сглаженные изображения, чёрный сплошной – энтропии изображений)

Рис. 12. Пример 3: а) «разрез» по оси OX (исходные и сглаженные изображения), б) «разрез» по оси OХ (энтропии), в) «разрез» по оси OX (исходные и сглаженные изображения), г) «разрез» по оси OY (энтропии) (серый сплошной – исходные изображения, чёрный пунктир – сглаженные изображения, чёрный сплошной – энтропии изображений)

Заключение

В статье была поставлена задача использовать корреляционный метод сравнения изображений при сопоставлении разнородных изображений. Проведённые исследования метода предварительной обработки на основе локальной энтропии показали, что изображения одной и той же сцены, полученные в различных условиях, после предобработки демонстрируют более высокий и стабильный коэффициент корреляции, чем исходные. Разработанный метод препроцессинга позволил эффективно решать задачи автоматического совмещения изображений следующих типов:

• -    аэрофотоснимков, снятых в различное время;

• -    аэрофотоснимков и топографических карт;

• -    оптических и инфракрасных снимков.

Таким образом, применение разработанного метода позволит существенно расширить область приме- нения корреляционно-экстремального метода сопоставления изображений.