Автоматический контроль и цифровая коррекция масштаба и взаимного поворота изображений стереопары

Сегодня стереотехнологии активно развиваются и получают повсеместное распространение. Являясь перспективной областью, стереотехнологии требуют повышенного внимания к качеству создаваемого стереоконтента.

Для того чтобы обеспечить высокое качество стереоизображений, необходимо контролировать, а в некоторых случаях и корректировать параметры стереопары. Контроль и коррекция должны выполняться на всех этапах производства стереоконтента: как при стереосъёмке, так и при монтаже. При этом желательно, чтобы методы контроля и коррекции параметров стереопары были автоматизированными, универсальными и высокопроизводительными.

В стереокино изображение, построенное на плоскости экрана, воспринимается зрителем объёмным благодаря горизонтальному параллаксу и специальным устройствам сепарации, обеспечивающим раздельное наблюдение изображений стереопары левым и правым глазом. Параллакс – взаимное смещение сопряжённых точек в изображениях стереопары. Значение горизонтального параллакса определяет пространственное расположение объектов в передаваемой сцене. Так, например, объекты с нулевым параллаксом будут восприниматься зрителем в плоскости экрана, а объекты с положительным и отрицательным параллаксами будут наблюдаться за экраном и перед экраном соответственно.

Одним из главных условий формирования стереоизображения, комфортного для восприятия зрителями, является отсутствие вертикальных параллаксов. Следует отметить, что съёмка в стереокино ведётся в основном только на параллельных оптических осях. При этом появление вертикальных параллаксов может быть вызвано как взаимным сдвигом съёмочных камер по высоте, так и рассогласованием изображений стереопары по параметрам взаимного поворота и масштаба.

Взаимный поворот и/или сдвиг изображений стереопары могут возникнуть, например, при съёмке с использованием стереорига, когда камеры разнесены в пространстве и при этом не имеют общей базовой поверхности. Разномасштабность изображений стереопары происходит в случаях, если при стереосъёмке одна их камер расположена дальше другой от снимаемого объекта или у камер не согласованы фокусные расстояния объективов.

Установить съёмочные камеры так, чтобы отсутствовал вертикальный параллакс, достаточно сложно, зачастую в изображениях стереопары может возникнуть геометрическое рассогласование. Исправить данное рассогласование позволяют методы цифровой обработки изображений.

Обзор существующих методов и программ

Различные методы контроля и коррекции геометрического несоответствия пары изображений рассмотрены в работах [1–7]. Так, некоторые из них основаны на использовании ректификации изображений [1–5]. (Ректификация – преобразование, при котором формируются строки соответственных точек на изображениях. При этом правое и левое изображения проецируются на плоскость, параллельную базовой линии, соединяющей оптические центры камер.) Другие методы контроля и коррекции геометрического несоответствия пары изображений основаны на применении метода фазовой корреляции в логарифмических полярных координатах модулей спектров изображений [6], а также на использовании корреляционного подхода с использованием множества шаблонов [7]. Корреляционные методы используют базу данных изображений искомого объекта при различных значениях коэффициента масштабирования и / или угла взаимного поворота (так называемые шаблоны). И при этом с увеличением числа шаблонов существенно возрастает время, необходимое для выполнения коррекции рассогласования изображений, а также объём памяти для хранения набора шаблонов [8].

В большинстве имеющихся на сегодняшний день программ по обработке стереоизображений: как фотографий (“Anaglyph Maker”, “Roxio Central”,

“3DMasterKit”), так и видеопоследовательностей (“Adobe Premier Pro”, “Sony Vegas Pro”, “Final Cut Pro”) – коррекция разномасштабности и поворота одного изображения относительно другого осуществляется «вручную», и при этом точность коррекции во многом зависит от зрения человека, формирующего стереопару, а автоматическая коррекция не предусмотрена. Исключение составляют программы “StereoPhoto Maker”, “StereoMovie Maker” и “Zoner 3D Photo Maker”, в которых имеется возможность автоматической коррекции геометрического рассогласования изображений. Однако во многих случаях результат данной коррекции неидеален, и в изображениях стереопары остаётся вертикальный параллакс.

При этом следует отметить, что наличие вертикального параллакса в изображении стереопары является одной из главных причин утомляемости зрителей при просмотре стереоизображений.

Описываемый в статье метод контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопары основан на обнаружении сопряжённых ключевых точек.

В настоящее время существуют методы коррекции геометрического рассогласования изображений, использующие поиск ключевых точек [9, 10] и определённое по их координатам пространственное преобразование (проективное или др.), однако применять данные методы к изображениям стереопары можно не всегда. Связано это с тем, что точки на изображении одновременно могут быть обнаружены на различных объектах съёмки, в том числе на тех, которые расположены на разных дистанциях (а значит, имеют разный горизонтальный параллакс). Кроме того, как раз-номасштабность, так и взаимный поворот изображений приводят к изменению и вертикального, и горизонтального параллаксов, что вызывает трудности их дифференцирования друг от друга. Это может стать причиной ошибки при коррекции изображений стереопары при помощи общего пространственного преобразования. Если выполнить коррекцию изображений с помощью локального пространственного преобразования, то ключевые точки одного кадра стереопары совпадут с соответствующими точками другого. И, таким образом, исчезнет не только геометрическое рассогласование изображений, но и горизонтальный параллакс объектов, на которых были обнаружены ключевые точки, что приведёт к потере стереоэффекта.

В разработанном нами методе контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопа ры при определении геометрического преобразования учитывается наличие различного горизонтального пара ллакса, что позволяет со хранить ис ходное пр остранственное расположение объектов.

Описание разработанного метода

Предлагаемый метод состоит из трёх алгоритмов, последовательно выполняющи х:

– автоматический контроль и коррекцию разно-масштабности изображений стереопары (при этом более крупное изображение уменьшается до изображения с меньшим масштабом, что позволяет сохранить максимальное количество объектов композиции по краям кадра при дальнейшей коррекции поворота);

– автоматический контроль и коррекцию взаимного поворота изображений стереопары (при этом необходимо указать, какое из двух изображений не требует коррекции, так как в разработанном методе одно из изображений корректируется относительно другого. В случае использования при съёмке стереорига [11] данным изображением по умолчанию является кадр, полученный камерой, снимающей на просвет, а, соответственно, кадр, полученный камерой, снимающей в отражённых луча х, корректируется);

– цифровую конвергенцию (совмещение) изображений стереопары [12, 13].

В разработанном методе автоматического контроля и коррекции геометрического рассогласования изображений стереопары в качестве детекторов точечных особенностей используется дескриптор SURF [14, 15], который в отличие от других детекторов (например, Harris-Stephens [16], MSER [17], FAST [18]) инвариантен к изменению масштаба и поворота.

Как было сказано выше, для получения точного результата коррекции следует ограничивать область поиска ключевых точек и выбирать их только для объектов, находящихся в одной плоскости дистанций. Чтобы реализовать это в автоматическом режиме и исключить нежелательные посторонние точки, обнаруженные детекторами точечных особенностей, применяется метод оценки параметров модели на основе случайных выборок RANSAC [19, 20], и согласно выражениям (1) и (2) определяются значения горизонтальных параллаксов обнаруженных точек ( Р^Г ( n )) и их медианное значение ( P _М ^Г ) соответственно.

P ⁽ n ) = X П ⁽ n ) ^- X Л ⁽ n ) , (1)

P M = med [ P ^Г ( n ) ] , (2)

где Х П и Х Л – координаты по горизонтали ключевых точек на правом и левом изображениях стереопары, выраженные в пикселах и/или в субпикселах;

n – номер ключевой точки на правом и левом изобра- жениях стереопары.

Для расчёта коэффициента рассогласования масштабов М отбираются две точки, горизонтальный параллакс которых наиболее близок к медианному значению. Сам коэффициент рассогласования масштабов находится как отношение расстояний между данными точками на левом и правом кадрах стереопары [15].

В соответствии с полученным значением коэффициента рассогласования масштабов корректируется размер одного из изобр ажений стереопар ы при помощи аффинного пространственного преобразо- вания:

fx'}

( x )

У' = ^t m x y

,

11 J

1 1 J

(x '

л

где

y '

– матрица-столбец, задающая координаты каждого пиксела преобразованного изображения, дополненная единицей ;

/

x

y

матрица-столбец, задающая координаты каждого пиксела исходного изображения, дополнен -ная единицей;

ТМ – аффинная матрица преобразования. Так как коррекция рассогласования масштабов производится путём уменьшения размера изображения с более крупным масштабом, то матрица преобразования определяется следующим выражением :

( 1/ M 0

T M = 0   1/ M

< 0      0

Использование аффинной модели преобразования связано с тем, что разработанный метод применяется для случая, когда при съёмке изображений оптические оси камер параллельны друг другу.

Далее происходят контроль и цифровая коррекция взаимного поворота изображений стереопары. Рассмотрим алгоритм выполнения данных операций на примере стереопары, показанной на рис. 1, 2.

Для того чтобы коррекция взаимного поворота изображений стереопары была выполнена с высокой точностью, вначале осуществляется её автоматическое совмещение по точке, расположенной в центральной части изображений. Для этого автоматически выделяются центральные области кадров, которые затем преобразуются в полутоновые изображения. При помощи детектора точечных особенностей на полутоновых изображениях обнаруживаются соответствующие друг другу ключевые точки (рис. 3), по координатам которых определяются значения их горизонтальных и вертикальных параллаксов. Применением стати стической обработки данных находится точка, горизонтальный и вертикальный параллаксы которой являются медианными значениями. Данная точка становится точкой совмещения стереопары. Необходимый сдвиг одного изображения стереопары относительно другого по горизонтали S X и вертикали S Y , выраженный в пикселах, определяется по формулам:

S_X = x _П – x _Л , (5)

S_Y = y _П – y _Л , (6) где x П , y П и x Л , y Л – координаты точки совмещения кадров стереопары на правом и левом изображениях стереопары соответственно, выраженные в пикселах.

Далее происходит наращивание левого и правого кадров стереопары пикселами с нулевым значением яркости так, чтобы точка совмещения стала центром (точка O на рис. 4). Относительно данной точки в дальнейшем и будет происходить поворот изображения, требующего коррекции.

а)

Рис. 1. Исходная стереопара, кадры которой имеют взаимный поворот: а) левый кадр; б) правый кадр

б)

Рис. 2. Анаглифное изображение, образованное объединением левого и правого кадров стереопары

Одно из изображений стереопары условно разделяется на так называемые четыре квадранта, и для каждого из них определяются сопряжённые ключевые точки.

На рис. 5 и 6 приведён пример определения угла поворота для одного из квадрантов. На основании координат точки на неискажённом кадре стереопары (точка А) и сопряжённой с ней точки на искажённом кадре стереопары (точка B) определяются координаты т очки С, п ол ожени е кот орой соответствует точке В после коррекции поворота. При этом CO = BO. Так как необходимо учитывать

наличие гориз онтальн ого параллакса, положение точки С должно быть на одной горизонтальной линии, что и т очка А .

будет отрицательным, и наоборот, если точка A расположена ниже точки B , поворот на угол α будет осуществляться по часовой стрелке.

а)                      б)

Рис. 3. Обнаруженные ключевые точки при помощи детектора точечных особенностей SURF на полутоновых изображениях центральных областей кадров стереопары

Рис. 4. Анаглифное изображение стереопары, центр которого является точкой совмещения (изображение показано инвертированным)

Рис. 6. Схема, поясняющая определение необходимого угла поворота изображения (а) на примере одного из квадрантов

(б) (изображение показано инвертированным)

Горизонтальный параллакс стереопары после коррекции поворота показан на рис. 6 а в виде отрезка СА . Из треугольника BOC (рис. 6) определяется необходимый угол поворота α одного изображения стереопары относительно другого:

BO ² + CO ² - BC²

2 BOCO

Для каждого из четырёх квадрантов определяется свой угол поворота, и из полученных значений вычисляется медианное значение – угол α, на который в итоге будет повёрнуто всё изображение целиком .

Аффинная матрица преобразования T П , предназначенная для коррекции поворота изображения на угол α, записывается следующим образом :

cos a =

а)                                         б)

Рис. 5. Сопряжённые точки полутоновых изображений одного из квадрантов стереопары, обнаруженные при помощи детектора точечных особенностей изображений SURF на левом (а) и правом (б) кадрах (изображения показаны инвертированными)

( cos a

Tn =

- sin a

I 0

sin a

cos a

0 )

.

1J

В случае, если точка A расположена выше точки B , т.е. координата точки A по оси y меньше координаты точки B , коррекция изображений на угол α будет происходить против часовой стрелки, а знак угла α

Для вычисления яркости выходных пикселов преобразованного изображения по умолчанию применяется билинейная интерполяция [11]. Однако в данном алгоритме имеется возможность выбрать другой метод интерполяции, если это необходимо.

Для того чтобы итоговые кадры стереопары после коррекции поворота имели одинаковый размер, изображения обрезаются по краям .

На рис. 7 показана итоговая стереопара после цифровой коррекции поворота изображений, представленных на рис. 1. Она предназначена для просмотра в анаглифных красно-голубых очках. Можно заметить, насколько точно выполнена коррекция поворота. Угол, необходимый для коррекции, составил 7°54'.

Совмещение стереопары, показанной на рис. 7, было выполнено автоматически по объекту, расположенному в центре (ваза).

б)

Рис. 7. Анаглифное изображение стереопары после цифровой коррекции поворота разработанным алгоритмом (а) и его фрагмент (б)

Если необходимо, чтобы пространственная ком -позиция стереоизображения воспринималась только в предэкранном пространстве, стереопара автоматически совмещается по дальнему объекту, имеющему максимальное положительное значение горизонтального параллакса, а если необходимо, чтобы пространственная композиция воспринималась только за экраном , стереопара будет автоматически совмещаться по ближнему объекту, который имеет максимальный отрицательный горизонтальный параллакс.

Совмещение стереопары можно выполнить и по любому другому объекту пространственной композиции . Разработанный нами метод контроля и коррекции разномасштабности изображений для случая совмещения стереопары по выделенному объекту описан в статье [13].

Тест ирование разработ анного метода

Для анализа эффективности разработанного метода контроля и цифровой коррекции геометрических параметров изображений стереопары совместим с помощью данного метода кадры, полученные съёмкой камерами, имеющими несогласованные фокусные расстояния и взаимный поворот относительно друг друга (рис. 8).

Вначале совместим данные изображения в програм -мах “Zoner 3D Photo Maker” и “StereoPhoto Maker”. На рис. 9 а показано анаглифное изображение исходной стереопары, а на рис. 9 б и рис. 10 – её анаглифное изображение после совмещения в программах “Zoner 3D Photo Maker” и “StereoPhoto Maker” соответственно.

На представленных рисунках видно, что в автоматическом режиме совмещения кадров программы “Zoner 3D Photo Maker” коррекция геометрического рассогласования изображений не произошла (рис. 9б). В автоматическом режиме программы “StereoPhoto Maker” (рис. 10) коррекция осуществилась, однако в изображении сформированной стереопары сохранился вертикальный параллакс (в центре – от 1 до 2 пикселов, по краям – от 1 до 4 пикселов) и размер стереопары уменьшился, вследствие чего некоторые объекты на изображении обрезались. Это совершенно недопустимо для стереокадров, поскольку при демонстрации изображения с обрезанными деталями объектов возникает эффект «отжимающего действия рамки (экра- на)» [21, 22]. Кроме того, изображения стереопары оказались оба повёрнуты и совмещены по объекту, расположенному на переднем плане снимаемой сцены. При просмотре такого стереоизображения все объекты будут восприниматься только в заэкранном простран- стве, что ухудшит его зрелищность.

Рис. 8. Исходная стереопара, кадры которой имеют геометрическое рассогласование (масштаб и поворот): а) левый кадр, б) правый кадр

а)

б)

Рис. 9. Анаглифное изображение стереопары: а) исходное, б) сформированное в автоматическом режиме программы “Zoner3D Photo Maker”

При помощи разработанного метода контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопары можно выполнить коррекцию геометрического рассогласования изображений с высокой точностью. На рис. 11 показаны кадры стереопары после коррекции рассогласования масшта- бов предложенным методом . Для представленного примера коэффициент рассогласования масштабов М равен 1,65

а)

в)

Рис. 10. Итоговое анаглифное изображение стереопары, сформированное в автоматическом режиме программы “StereoPhoto Maker” (а), его фрагменты (б, в)

Рис. 12. Итоговое анаглифное изображение стереопары, совмещённое разработанным методом по выбранному объекту (а), его фрагменты (б, в)

Аффинная матрица Т , необходимая для комбинированного геометрического преобразования, определяется по формуле:

б)

Рис. 11. Изображения стереопары после коррекции рассогласования масштабов разработанным методом: левый кадр (а) (изображение показано инвертированным), правый кадр (б)

На рис. 12 показано итоговое анаглифное изображение, полученное после коррекции взаимного поворота изображений стереопары предложенным методом.

Для рассматриваемого примера угол, необходимый для коррекции, составил 5°30'. Изображения стереопары автоматически совмещены по объекту, имеющему максимальный положительный горизонтальный параллакс. Можно заметить, насколько точно выполнена коррекция геометрического рассогласования изображений. Вертикальные параллаксы всех изображённых объектов, измеренные в пикселах, равны нулю. Кроме того, в отличие от совмещения изображений , осуществлённого в программе “StereoPhoto Maker” (рис. 10), все изображённые объекты на левом кадре сохранились.

Длительность выполнения совмещения и цифровой коррекции изображений размером 2048 × 1536

пикселов алгоритмом, реализованным в программной среде Matlab, составила около 20 с. Из них большая часть времени была затрачена на контроль и коррекцию поворота (9,5 с) и рассогласования масштаба (6,8 с). В случае, если необходимо применить одно и то же значение коэффициента рассогласования масштабов и угла поворота для коррекции серии кадров, можно воспользоваться комбинированным геометрическим преобразованием .

т = T m X T n ,                                (9)

где Т М – аффинная матрица преобразования масштаба, которая записывается согласно выражению (4), Т П – аффинная матрица преобразования поворота, которая записывается согласно выражению (8).

Применение комбинированного аффинного преобразования позволяет уменьшить время коррекции серии кадров стереопары.

Заключение

Таким образом, разработанный метод контроля и цифровой коррекции геометрических параметров изображений стереопары позволяет автоматизировать и осуществить контроль и, если необходимо, коррекцию рассогласования масштабов и взаимного поворота изображений стереопары, снятых на параллельных оптических осях, сохраняя исходное соотношение горизонтальных параллаксов . В процессе коррекции взаимного поворота изображений стереопары одно из изображений корректируется относительно другого.

Также, выделив желаемый объект, разработанный метод позволяет выставить для данного объекта нулевые вертикальный и горизонтальный параллаксы или же задать ему другой положительный (или отрицательный) горизонтальный параллакс и получить стереоизображение с различным пространственным расположением . При этом если совмещение стереопары осуществляется не по выбранному объекту, а по объекту, имеющему определённое значение горизонтального параллакса, отдельно выделять объект не требуется.

Проведённые в программной среде Matlab исследования эффективности разработанного метода показали, что данный метод контроля и цифровой коррекции параметров изображений стереопары является достаточно быстродейственным и позволяет обрабатывать стереопары вне зависимости от размеров исходных кадров, разрешения, степени сжатия изображений и эффективен даже в том случае, когда кадры стереопары сняты при различном освещении и при наличии шума в изображениях. Детекторы точечных особенностей, на которых основана работа представленного метода, позволяют определять ключевые точки на всех перечисленных вариантах изображений, а значит, для каждого из них может быть выполнен контроль и коррекция параметров.

Предложенные алгоритмы контроля и коррекции параметров изображений стереопары могут быть внедрены в состав автоматизированных измерительно-вычислительных комплексов, предназначенных для выявления ошибок, доп ущенных при стереосъёмке, а также стать частью программ по обработке и монтажу изображений стереопары.

Разработанный метод может применяться на всех этапах создания стереоизображения: как при настройке камер для стереосъёмки, так и на этапе последую щей обработки отснятого материала. Предлагаемый метод может быть использован на киностудиях и фотостудиях, в кинотеатрах и компаниях, осуществляющих прокат фильмов в стереоформате, в организациях, занимающихся переводом плёночных стереофильмов в цифровой формат. Разработанные методы могут быть востребованы у операторов и режиссеров стереокино, монтажёров, фотографов, а также учёных, выполняю щи х научно-исследовательскую работу с использованием стереосъёмки и цифровой обработки изображений стереопар.

Кроме того, разрабатываемый метод может быть использован не только в области стереокино, стереофотографии и стереотелевидения, но и во всех областях, где занимаются созданием изображений в стереоформате, и практически во всех областях, где требуются контроль и коррекция геометрического рассогласования изображений, снятых на параллельных оптических осях.