Применение масштабированной карты глубины для первой итерации вычисления цен сопоставления HMI

Одним из важнейших аспектов работы любого алгоритма стереосопоставления является способ вычисления степени взаимного соответствия пикселей исходных изображений. Среди множества способов вычисления цен взаимного соответствия между пикселями, описанных в [1, 2], стоит выделить величину Биршфилда и Томаси [3] как нечувствительную к явлению сэмплинга (особой форме дискретизации изображения), а также цену взаимного сопоставления, основывающуюся на взаимной информации [2, 3], нечувствительную к изменениям освещенности и условиям записи. Свойства цены взаимной информации неоценимы при работе с реальными изображениями, например, при работе с видеопотоками со стереопары или с веб-камер, где уровень освещенности одного изображения колеблется относительно уровня освещенности другого изображения.

Методы вычисления взаимной информации

Величина, определяющая взаимную информацию двух изображений, вычисляется на основе величин энтропии каждого изображения в отдельности за вычетом их общей энтропии [4].

MI I ₁, I ₂ =H I ₁ +H I ₂ - H I _1, I ₂ .                                 (1)

Для пары качественно снятых стереоизображений одной сцены величина взаимной энтропии мала, поскольку одно изображение может быть в значительной мере предсказано его стереопарой, что, в свою очередь, повышает значение взаимной информации для двух изображений. Значение взаимной информации для левого и правого изображений будет максимальным, если выполнить сдвиг пикселей одного из двух стереоизображений с помощью карты диспаратностей, поскольку в результате данного действия пиксели левого и правого изображений будут находиться по одним индексам по вертикали и горизонтали [5]. Максимальное значение взаимной информации для двух стереоизображений является доказательством того факта, что найдена максимально верная карта диспаратностей для данной пары стереоизображений.

Однако выражение (1) применимо лишь к изображению в целом и не может быть использовано как величина взаимного сопоставления пикселей, не говоря уже о том, что требует для вычисления уже предопределенной карты глубины (что подразумевает решение задачи более высокого уровня).

Применение взаимной информации в качестве цены сопоставления

Ким и др. в [6] преобразовал вычисление взаимной энтропии H _{I , I} к виду суммы термов, используя ряд Тейлора. Каждый терм суммы зависит от соответствующих интенсивностей на стереоизображениях и вычисляется независимо для каждого пикселя p [7].

H11,12 = S hl1,12 (11P ,I2P ) .(2)

p

Терм h_{I , I} вычисляется на основе взаимного распределения вероятностей P _{I , I} , соответствующих значений интенсивности.

hIi, 12 (i,k ) = - 1lOg(PI 1.12 ^ ) ° g ^ ))O g ^ ) .

Величина взаимного распределения вероятности определяется оператором T, равным 1, если аргумент является истинным и 0, если аргумент является ложным.

Pl, -2«,k ) - ,S T [(i,k ) - ( 11p,-2p )]

^,             n_p

Расчет энтропии левого и правого изображений производится аналогично, учитывая, что распределения вероятностей интенсивностей левого и правого изображения могут быть рассчитаны на основе взаимного распределения вероятностей P _{I , I} :

P-,( i) = S P.-,(i,k )•(5)

k

Hl - S h- (Ip ). h1, (i) = - ^logP-! (i ) ° g(i ))° g(i ).

p

Таким образом, можно выразить

Ml,l- Sh-, (i) + h-, (k)-h, ^.k) .(7)

• i1,I2      p 1           2

Величина MI (7) является мерой взаимной информации, сосредоточенной в двух стерео- 1, , 2

изображениях, а каждый терм под знаком суммы является искомой величиной цены сопоставления двух пикселей. Таким образом:

C Ml ⁽ P.d ) ^{- -} \ -11 1 [ ^-base ⁽ P ) ] ^{+ h}-2 ^{[ —}matching ⁽ q ) ] ^-L 1 2 ^{[ -}base ^{( p} ) . ^-matching ( q ) ]) .          (8)

1, 2

где q^{- [} P x ^- d.p y ] .

Особенности алгоритма

Необходимость в карте глубины a priori на данном этапе остается не решенной проблемой. В работе Кима и др. [6] предлагается использовать итеративный подход, на первой итерации которого карта глубины имеет случайные значения. Далее результирующие цены сопоставления используются для поиска карты глубины, используемой в следующей итерации. Количество итераций весьма мало (в частности, 3). Это объясняется тем, что даже ошибочные значения глубин позволяют получить значения взаимного распределения вероятностей, близкие к реальным.

В работе Hirshmuller [7] описывается развитие этой идеи, где предлагается использовать карту глубины, полученную при расчете уменьшенного изображения, растянутую до размеров требуемой карты глубины. Расчеты показывают, что если трижды провести подобную операцию над изображением, уменьшенным в 16 раз, а затем итеративно подавать на вход алгоритма 1/8, затем 1/4, 1/2 и исходного размера, то количество операций, необходимое для выполнения данного алгоритма, возрастет лишь в 1,14 относительно количества операций, необходимых для расчета последней итерации над изображением исходного размера, что увеличивает производительность в 2,6 раза по сравнению с тремя итерациями алгоритма над изображениями исходного размера.

Однако если реализовать метод, описанный выше, результирующая карта глубины будет содержать артефакты, свидетельствующие об ошибках в работе алгоритма (см. рис. 1). Ниже приведен анализ причин этого явления.

А.В. Аргутин

Рис. 1. Исходное изображение (слева) и карта диспаратностей, рассчитанная на основе цен сопоставления, описываемых взаимной информацией

Пр и выч исл ени и т ер мов h _{I , I} по формуле (3 ), о писанной в [7 ], во з м о ж ным р езу льтат о м я вля ет ся з на ч ени е беско неч но ст и со знако м пл юс. Тако й рез уль т ат по луч ае т ся п р и р асч ет е т ер м а энтр о пии для н уле во г о знач ен ия вз а им но г о распр едел ения вер оятн о ст ей (см . р ис. 2 ) пикс ел ей л ево г о и пр а в ого изображений.

С алго ритм и ч е с к о й то ч ки зрени я д а нное з н ачен и е, бу дуч и м а темат иче с ки ве рн ым , не явля е тся уд об ным в исп ол ьз о ван ии : причин а то м у за к люча ется в то м, чт о зн ачен ие б ес к о н е ч н ости, к а к ц ен а с опо став лен ия, п р и сумм и ро в ан ии с др у г и м и зн ачен ия ми в с л уча е агр е гиро в а ния ц е н с оп остав лен ия смазы в а е т к арт и ну – суммарн а я ц ен а с о п остав лен и я в с е гда бу де т ра вняться бесконечности.

Рис. 2. Карта взаимного распределения вероятностей для интенсивностей пикселей левого и сдвинутого правого изображений

Заключение

Пол ученн ы й ре зул ьта т п о казывает, что в таком случае невозможно оц е н и ть, к ак ой и з д в у х у ча стк ов с б е с к он е чн ой агре гированной ценой сопоставления соответствует и с ход н ому уча стку с больше й точн ос тью . Подоб н ое явление можно наблюдать в виде артефак т ов че рн ого ц в е та н а ка рте д и с п а р а тн ос те й н а ри с . 1. Э то озн а ча е т, что д ля с те р е о-алгоритма, использующего агрегирование цен стерео-соп ос та в ле н и я, в с е п и к с ели -кандидаты на сопоставление с базовым пиксел е м, в ра сс ма три в а е мой об ла сти которых лежит пиксель с нулевым значени е м P _{I , I} ( i , k ) , являютс я ра в н оце н н о н е в е р оя тн ы м и. Негативным последствием этого является тот фак т, что п ри отсутстви и други х к ан д и д атов б у д е т в ыб ра н п е рв ый пиксель среди рассматриваемых, и это означает, что а лг ори тм н е вы п ол няет ан а ли за д ля п и к се л е й та к о го ро д а .