Способы улучшения качества снимков

Вычислительная фотография

Вычислительная фотография относится к цифровым методам захвата и обработки изображений, которые используют цифровые вычисления вместо оптических процессов [3]. Вычислительная фотография может улучшить возможности камеры или представить функции, которые не были возможны при съемке на пленку, а также снизить стоимость

Современные тенденции развития компьютерных и информационных технологий

Трушин Антон Александрович магистрант Российского нового университета, администратор видеоконференцсвязи. Сфера научных интересов: администрирование информационных систем. Автор 1 опубликованной научной работы.

Рис. 2. Пример применения HDR-технологии для фотографии

HDR (High Dynamic Range – высокий динамический диапазон) – технология расширения так называемого динамического диапазона [7], от которого зависит, насколько точно камера передает на фотоснимках все тона, способна ли она воспроизвести самые светлые и самые темные тона (тени).

Пленоптическая камера

Пленоптическая камера была изобретена в 1994 г. и собрана в 2004 г. в Стэнфорде. В 2012 г. была выпущена первая потребительская пленоптическая камера Lytro. С похожими технологиями сейчас активно экспериментирует индустрия VR (виртуальная реальность, virtual reality) [1].

От обычной камеры пленоптическая камера отличается лишь одной модификацией – матрицей, накрытой сеткой из линз, каждая из которых покрывает несколько реальных пикселей (рис. 3).

Если правильно рассчитать расстояние от сетки до матрицы и размер диафрагмы, в итоговом изображении получатся четкие кластеры из пикселей – мини-версии оригинального изображения (рис. 4).

Пленоптические камеры используют новые оптические элементы для захвата трехмерной информации о сцене, которую затем можно использовать для получения трехмерных изображений, увеличения глубины резкости и избирательной дефокусировки (или постфокусировки). Увеличенная глубина резкости снижает потребность в механических системах фокусировки. Все эти функции используют методы компьютерной визуализации.

Способы улучшения качества снимков

МАТРИЦА

Рис. 3 . Структура пленоптической камеры

Рис. 4. Кластеры из пикселей

Примерами таких методов являются:

• •    масштабирование изображения;

• •    сжатие динамического диапазона (то есть отображение тона);

• •    управление цветом;

• •    завершение изображения (так называемое заполнение отверстий);

• •    сжатие изображения;

• •    цифровые водяные знаки;

• •    эффекты художественного изображения.

В таблице 1 описаны особенности компьютерной визуализации.

Современные тенденции развития компьютерных и информационных технологий

Таблица 1

Особенности компьютерной визуализации

Особенность	Описание
Влияние на фотографию	Вычислительная фотография может позволить любителям создавать снимки, сопоставимые с качеством профессиональных, но в настоящее время данное оборудование не превосходит по качеству оборудование профессионального уровня
Вычислительная подсветка	Управление освещением на фотографии в структурированной форме, а затем обработка захваченных изображений для создания новых изображений. Приложения включают в себя повторную подсветку изображений, улучшение изображений, размытие изображений, восстановление геометрии/материалов и др. Для получения изображений с высоким динамическим диапазоном используются различные изображения одной и той же сцены для расширения динамического диапазона. Другие примеры включают обработку и объединение изображений с разным освещением одного и того же объекта («световое пространство»)
Вычислительная обработка	Обработка оптически не кодированных изображений для создания новых изображений. Ранняя работа с компьютерным зрением – детекторы, сочетающие в себе распознавание и обработку, как правило, аппаратную, например двоичный датчик изображения

Хотя компьютерная фотография является в настоящее время узнаваемой фразой в компьютерной графике, многие из ее методов впервые появились в литературе по компьютерному зрению либо под другими именами, либо в статьях, направленных на трехмерный анализ формы изучаемых объектов.

Соединение информации с разных фотографий в одну. Стекинг

Смартфон непрерывно делает фотографии, но складывает их в цикличный буфер, таким образом, появляется возможность, избирательно считывать со снимков, которые не стали окончательными, информацию и с помощью нее дополнять конечную фотографию. Это и есть технология скрытого стекинга, которая лежит в фундаменте вычислительной фотографии.

Благодаря непрерывной цикличной съемке камера смартфона может делать моментальные снимки сразу после прикосновения к кнопке спуска затвора. Дело в том, что фотография, которая в итоге получается, уже была в буфере, и при нажатии на спуск затвора смартфону приказано просто вытащить ее оттуда и сохранить [2].

Понимание того, что камера смартфона снимает непрерывно, позволит в дальнейшем понять базу, на которой строится 90% вычислительной фотографии, и называется она «стекинг» (рис. 5).

В таблице 2 рассмотрены возможности, которые может предложить стекинг, и какую пользу от него можно ожидать.

Способы улучшения качества снимков

Рис. 5. Стекинг

Таблица 2

Возможность	Описание
Увеличение детализации	Рука фотографа при съемке со смартфона неизбежно дрожит. В случае с вычислительной фотографией это даже плюс, потому что происходит небольшой сдвиг, который в результате стекинга улучшает детализацию изображения (получается органический Pixel Shifting). Гораздо более привычным примером увеличенной детализации будет не микро-, а макросдвиг, например такой, который позволяет из полученных снимков собрать панораму. В самом деле, любая панорама в итоге будет более детализирована, чем если бы съемка осуществлялась на сверхширокоугольный объектив
Расширение динамического диапазона	Если есть возможность сделать несколько снимков с разной экспозицией, то в дальнейшем мы можем совместить полученные снимки и лучше проявить детали в темных и засвеченных областях
Увеличение глубины резко изображаемого пространства	Если фокусироваться в разных точках и сделать несколько снимков, то можно значительно расширить глубину резкого изображаемого пространства (ГРИП)
Снижение шумов	Склейка только той информации из кадров, которая получилась заведомо без шумов. В итоге конечное изображение выйдет в целом бесшумным
Симуляция съeмки с длинной выдержкой	Способ, при котором серия снимков с короткой выдержкой создает эффект длинной выдержки. Например, этим способом можно «нарисовать» звездные тропы

Возможности стекинга

Способы улучшения качества снимков, снятых камерами смартфонов

Компенсировав размер матрицы стекингом, разработчики смартфонов мало продвинулись бы в улучшении фотографий, не придумав решение проблемы с оптикой, так как от нее зависят художественные свойства картинки [4]:

• •    передача объема;

• •    микроконтраст;

• •    рисунок в зоне нерезкости.

Современные тенденции развития компьютерных и информационных технологий

Сенсоры лишь регистрируют пропущенный через линзу пучок света [8], причем если они, как и положено микроэлектронике, совершенствуются с каждым годом, то оптическое приборостроение – это более консервативная отрасль. Светосила и «воздушность» картинки прямо зависят от количества используемого стекла, а увеличение максимальной диафрагмы с f/2,0 до f/1,4 дает двукратную прибавку к весу и габаритам.

Поэтому телефонные линзы априори не выдерживают сравнения с полноценными объективами. Здесь смартфонам и потребовалась многокамерность – для стекинга хватило бы одного фотомодуля. Надо заметить, что попытки «клонировать» тыльную камеру предпринимались еще в 2007 г. (первая подобная модель была разработана в компании Samsung) с целью съемки 3D-фото. Но функция оказалась бесполезной, и полноценное наступление девайсов началось лишь спустя 10 лет.

При этом назначение нескольких камер изменилось. Они обеспечивают съемку с разным углом обзора. Стандартная «триада» объективов – штатный с фокусным расстоянием (ФР) 20–25 мм в пересчете на полнокадровую матрицу, широкоугольный (12–15 мм) и «дальнобойный» (50 мм).

Есть и другие вариации. Так, компания Apple остановилась на двух камерах, лишь поменяв в iPhone дополнительный модуль с телеобъектива на широкоугольный. Китайские компании все чаще практикуют расширенный набор: в смартфоне компании Xiaomi – это главная линза (25 мм), портретная (50 мм), широкоугольная (13 мм) плюс специальные модули для зума и макросъемки. С такими характеристиками нет необходимости во внешних накладных объективах, которые были популярны в 2010–2020 гг., – аксессуар остался на обочине прогресса.

Но главная ценность многокамерных устройств в том, что их камеры могут захватывать изображение одновременно, помогая друг другу. Сообща мини-линзы пропускают больше света, чем каждая в отдельности, симулируя дорогую оптику с широкой диафрагмой. По сравнению с первым вариантом реализации этого принципа (в смартфоне HTC 2014 г.) сегодняшние аппараты продвинулись далеко вперед.

К примеру, у смартфонов от компании Huawei картинка запечатлевается двумя матрицами – цветной и черно-белой. Дело в том, что фотодатчики могут уловить только интенсивность потока фотонов, но не информацию о цвете (длину световой волны). Поэтому во всех фотоаппаратах матрица накрыта разноцветным фильтром, где каждому пикселю соответствует один из трех основных цветов – зеленый, красный или синий (по аналогии с тремя видами колбочек в человеческом глазу, воспринимающих определенную часть цветового спектра). Таким образом, пиксели изначально окрашиваются только в три цвета, затем путем усреднения данных соседних пикселей они смешиваются, восстанавливая весь цветовой спектр, а часть фотонов, не соответствующих заданной длине волны, отсекается. Итог – потеря света. Поэтому у смартфонов Huawei один сенсор отвечает за цвет, а черно-белый, не имеющий над собой фильтра, ловит максимум фотонов: после склейки получается более яркая и четкая картинка.

Также мобильные бренды решили вопрос с оптическим зумом, убрав выдвижные объективы, как у смартфонов Samsung начала 2010-х: только «умное» объединение изображений. Одновременная съемка с двух фикс-объективов – 25 и 50 мм – покрывает фокусные расстояния между ними, обеспечивая двукратный зум без потери качества. Более

Способы улучшения качества снимков радикальный вариант представлен в одном из смартфонов Huawei, где телеобъектив на 125 мм и пятикратный оптический зум. По всем законам оптики такое приближение требует выезжающего из корпуса объектива, однако китайские компании смогли укомплектовать все в тонкий корпус за счет перископической конструкции линзы.

Возможное практическое применение методов

Способы и методы, используемые вычислительной фотографией, могут быть применены для улучшения качества получаемых снимков при съемке искусственным спутником поверхности Земли [5]. Учитывая, что на спутники априори ставится дорогая по стоимости и высококачественная оптика, ее сочетание со способами и методами вычислительной фотографии должны довести качество получаемых снимков до фантастически высокого уровня.

Например, фотокамера, установленная на спутнике, может непрерывно и с большой частотой делать снимки и затем, применяя стекинг, соединять информацию с разных фотографий одной и той же поверхности в одну, а применение технологии HDR может позволить дополнительно улучшить качество снимка. При этом фотокамера спутника должна делать фотографии с большой частотой [6], достаточной, чтобы за одну секунду получалось больше одной фотографии одной и той же поверхности.

Заключение

На протяжении истории каждая человеческая технология становилась более совершенной, как только переставала копировать живые организмы. Сегодня тяжело представить автомобиль с суставами и мышцами вместо колес. Самолеты с фиксированными крыльями летают со скоростью 800+ км/ч – птицы машут и завидуют. Аналогов компьютерному процессору вообще не существует в природе.

Самое интересное то, чего нет в этом списке, – матрицы фотоаппаратов: мы до сих пор не придумали ничего лучше, как имитировать структуру глаза, например объектив-хрусталик и набор RGB-колбочек, как у сетчатки.

Компьютерная фотография добавила к этому процессу «мозг» – процессор, который обрабатывает визуальную информацию, не просто считывая пиксели через зрительный нерв, но и дополняя картинку на основе своего опыта. Да, сегодня это открывает нам кучу возможностей, но есть подозрение, что мы все еще пытаемся «махать крыльями в перьях» вместо того, чтобы пойти и изобрести самолет, который оставит позади все эти затворы и диафрагмы.