О подходе к построению программно-определяемой камеры (обзор)

Более 100 лет единственным средством, с помощью которого можно было запечатлевать, воспроизводить и хранить видеоконтент, была светочувствительная пленка. Недавно появившаяся цифровая технология бросила вызов годами формировавшемуся стандарту качества и процессу съемок, привнеся качественно новые возможности создания и демонстрации видео.

Современные цифровые технологии позволяют сделать следующий шаг на пути развития цифровых камер, делая процесс производства видеоконтента более гибким и управляемым. Одним из направлений развития камер является исключение из их конструкции движущихся механических узлов, что способствует минимизации размеров и массы камеры, удешевлению производства, а также повышению надежности.

Подход, изначально сложившийся в области информационных технологий и телекоммуникаций, основан на возможности программной перестройки, реконфигурирования устройств, которые традиционно могли изменять свои свойства только путем замены отдельных узлов или блоков на блоки с иными техническими характеристиками. Похожие идеи получили широкое распространение в программно-определяемых каналах передачи данных, системах обработки и хранения данных и т. п. [1–3].

В рамках данного направления в статье предлагается подход к созданию программно-изменяемых (определяемых) узлов камеры, который позволяет управлять ее оптическими и информационными свойствами. В качестве таких управляемых узлов, кроме собственно цифрового сигнального процессора, могут выступать светочувствительная матрица и диафрагма. Изменение диафрагмы позволяет управлять глубиной резко изображаемого пространства, позволяя располагать зоны резкости на приоритетных участках наблюдаемого объекта. Программное управление областью выборки светочувствительной матрицы делает возможным управление углом обзора, временные параметры считывания при этом определяют параметры экспозиции.

ПРОГРАММНО-ОПРЕДЕЛЯЕМАЯ ОПТИЧЕСКАЯ СИСТЕМА

Технология управления углом обзора обеспечивается за счет использования только части светочувствительной матрицы, а сверхширокоугольный режим реализуется при считывании данных со всей матрицы [4]. Средний и узкий углы обзора достигаются путем обрезания края за счет использования части матрицы (рис. 1).

Недостатком такого подхода является непостоянное пиксельное разрешение получаемого изображения.

Другим направлением развития программноопределяемой оптики является технология плен-оптических камер (рис. 2) [5–6].

Благодаря возможности эффективно подавлять артефакты аберраций объектива и виньетирования программными средствами в таких аппаратах можно будет применять объективы более простой конструкции [7].

Для реализации программного управления свойствами камеры конструкция традиционной цифровой фотокамеры дополняется массивом микролинз, расположенным в фокальной плоскости основного объектива. Каждая из микролинз формирует на небольшом участке сенсора субкадр, соответствующий небольшому участку фотографируемого полного кадра, проецируемого объективом камеры (рис. 2). Посредством

Рис. 1. Принцип программного управления углом обзора камеры, реализованный в камерах GoPro

программной обработки пикселов субкадра можно получить данные о расстоянии до соответствующего участка сфотографированной сцены. А это в свою очередь позволяет путем обработки исходного снимка по определенному алгоритму не только изменять положение точки фокусировки, но и настраивать глубины резко изображаемого пространства (ГРИП) программно уже после получения кадра изображения [8–10]. Дополнительно на программном уровне могут быть реализованы средства для исправления аберраций объекти- ва, компенсации виньетирования и значительного снижения уровня цифровых шумов на снимках.

В предлагаемом авторами статьи подходе построения программно-определяемых камер используется возможность изменения области считывания с фотосенсора при использовании в качестве объектива камеры линз с выраженной дисторсией (рис. 3). При этом коэффициент линейного увеличения изменяется по полю зрения. В таких камерах параметры фотосенсора (размер и разрешающая способность) выбираются с достаточным

Рис. 4. Принцип программно-определяемой камеры с использованием оптики с переменной кривизной

запасом, чтобы считывание фрагмента изображения с него удовлетворяло условиям решаемой задачи. Эффект от считывания изображений из различных зон фотосенсора будет эквивалентен применению объективов с различными оптическими свойствами. Эффект нарушения геометрического подобия между объектом и его изображением корректируется программно (рис. 4).

ПРОГРАММНО-ОПРЕДЕЛЯЕМЫЕ ДИАФРАГМЫ

В настоящее время в камерах массового производства диафрагма конструктивно является несменной механической частью оптической системы (объектива) с заранее заданной формой.

Первичная роль апертурной диафрагмы сводится к ограничению количества света, участвующего в построении изображения предмета. Например, в глазу зрачок несет функцию апертурной диафрагмы, регулируя количество света, попадающего на сетчатку и адаптируясь к условиям внешней среды. Также величина диафрагмы влияет на глубину резко изображаемого пространства вокруг точки фокуса, а ее форма — на характер размытия изображения в зоне нерезкости, на что чаще всего обращают внимание в художественной фотографии (рис. 5).

Однако известно, что различные формы зрачков животных возникли в процессе эволюции как адаптация под условия и образ жизни (рис. 6) [11]. То есть с точки зрения построения камеры форма диафрагмы может быть выбрана под конкретную решаемую задачу.

Для управления размером и формой отверстия в диафрагме можно использовать управляемые программно матричные структуры (ЖК-матрицы), способные изменять светопропускающие характеристики отдельных своих элементов. Такие структуры следует размещать перед оптической системой цифровой камеры.

Для создания такой программно-управляемой диафрагмы можно использовать матрицы мультидоменных вертикально ориентированных структур, использующих нематические жидкие кристаллы с отрицательной диэлектрической анизотропией [10, 12].

Рис. 5. Иллюстрация эффекта размытия в художественных приложениях (боке)

Рис. 6. Возможные виды форм диафрагмы

Рис. 7. Общая структурная схема программно-определяемой камеры

Решения по созданию жидкокристаллической диафрагмы с управлением ее размером предлагались в Советском Союзе в 80-х гг. XX века [13], но они специализированы для аналоговой техники.

В отсутствие электрического поля данная структура не пропускает свет. При приложении электрического поля молекулы переориентируются и структура пропускает свет. При этом контрастное отношение может достигать значений 10000:1. Определенные резервы для увеличения контраста имеются в уменьшении размеров частиц цветовых пигментов и уменьшении отражения света от поверхности поляризаторов.

Таким образом, программно формируемое отверстие диафрагмы позволит получить заданный эффект размытия в художественных приложениях (боке), а также для решения специальных типов задач. Например, использование вертикальной щелевой диафрагмы — для получения псевдосте-реоскопического зрения с одной камеры, а также для повышения временнóго разрешения при наблюдении за быстродвижущимися объектами.

В частности, такое решение может заменить собой сменные и револьверные диафрагмы.

ОБЩАЯ СХЕМА

ПРОГРАММНО-ОПРЕДЕЛЯЕМОЙ КАМЕРЫ

Объединение вышеописанных механизмов позволяет получить следующую программноопределяемую техническую систему (рис. 7). Управляющий процессор, включающий в себя в том числе функции сигнального процессора, в соответствии с решаемой задачей определяет форму и размер отверстия диафрагмы, а также область считывания фотосенсора, определяющую оптические свойства оптической системы. После экспонирования изображение (содержащее искажения, вносимые аберрациями оптической системы) считывается процессором и переносится во внутренний буфер для последующей коррекции и постобработки. Кроме того, процессор определяет время экспозиции и производит цифровую постобработку, включающую цветокоррекцию, дебайеринг, фильтрацию и т. д., а также последующее сжатие (с потерями или без потерь) и преобразование в требуемый формат.

ЗАКЛЮЧЕНИЕ

В результате реализации предложенного в статье подхода становится возможным создание программно-определяемой компактной камеры без движущихся механических частей, способной в том числе программно изменять форму диафрагмы. Изменение области считывания с фотосенсора при использовании в качестве объектива камеры линз с выраженной дисторсией позволяет изменять коэффициент линейного увеличения по полю зрения, а эффект от считывания изображений из различных зон фотосенсора в этом случае эквивалентен применению объективов с различными оптическими свойствами.

В предлагаемом подходе на цифровой сигнальный процессор оптической камеры, кроме задач обработки считываемых с фоточувствительной матрицы данных и преобразования их в некоторый стандартный формат, накладываются функции контроля за всеми компонентами камеры с целью достижения требуемых оптических и информационных свойств.

Описанная структура программно-определяемой камеры может стать основой для проектирования камер следующего поколения.