Научные статьи \ Прикладные науки. Медицина. Технология \ Инженерное дело. Техника в целом \ Общее машиностроение. Ядерная технология. Электротехника. Технология машиностроения \ Электротехника

Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

Автор: Никоноров Артем Владимирович, Петров Максим Витальевич, Бибиков Сергей Алексеевич, Кутикова Виктория Витальевна, Морозов Андрей Андреевич, Казанский Николай Львович

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 6 т.41, 2017 года.

Бесплатный доступ

В последнее время появились прорывные работы, посвященные изображающим оптическим системам на основе однокомпонентных дифракционных структур, таких как зонные пластинки и линзы Френеля. Такие системы на порядки превосходят классические рефракционные аналоги по весу и стоимости, существенно уступая в качестве получаемых изображений вследствие сильных оптических искажений, присущих дифракционной оптике. В настоящей работе показано, что применение гармонических линз совместно с последующей вычислительной реконструкцией изображений позволяет существенно повысить качество получаемых изображений. Предлагаемый процесс реконструкции состоит из предварительного этапа цветовой коррекции зарегистрированного изображения и устранения хроматического размытия на основе обратной свертки и сверточных нейронных сетей. Подобное совершенствование технологии изготовления дифракционных объективов и алгоритмов реконструкции способствует появлению нового класса сверхлегких изображающих систем широкого спектра применения, от дистанционного зондирования для нано- и пикоспутников до систем видеонаблюдения и устройств для экстремальной журналистики.

Еще

Гармоническая линза, дистанционное зондирование, обратная свертка, глубинное обучение, оценка функции рассеяния точки, цветовая коррекция

Короткий адрес: https://sciup.org/140228772

IDR: 140228772   |   DOI: 10.18287/2412-6179-2017-41-6-875-887

Image restoration in diffractive optical systems using deep learning and deconvolution

In recent years, several pioneering works were dedicated to imaging systems based on simple diffractive structures like Fresnel lenses or phase zone plates. Such systems are much lighter and cheaper than classical refractive optical systems. However, the quality of images obtained by diffractive optics suffers from stronger distortions of various types. In this paper, we show that a combination of the high-precision lens design with post-capture computational reconstruction allows one to attain a much higher image quality. The proposed reconstruction procedure uses a sequence of color correction, deconvolution, and a feedforward deep learning neural network. An improvement both in lens manufacturing and in image processing may contribute to the emergence of ultra-lightweight imaging systems varying from cameras for nano- and picosatellites to surveillance systems.

Еще

Список литературы Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

  • Nikonorov, A. Fresnel lens imaging with post-capture image processing/A. Nikonorov, R. Skidanov, V. Fursov, M. Petrov, S. Bibikov, Y. Yuzifovich//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). -2015. -P. 33-41. - DOI: 10.1109/CVPRW.2015.7301373
  • Hasinoff, S.W. Light-efficient photography/S.W. Hasinoff, K.N. Kutulakos//Proceedings of the European Conference on Computer Vision. -2008. -P. 45-59. - DOI: 10.1007/978-3-540-88693-8_4
  • Wang, P. Chromatic-aberration-corrected diffractive lensesforultra-broadband focusing/P. Wang, N. Mohammad, R. Menon//Scientific Reports. -2016. -Vol. 6. -21545. - DOI: 10.1038/srep21545
  • Казанский, Н.Л. Формирование изображений дифракционной многоуровневой линзой/Н.Л. Казанский, С.Н. Хонина, Р.В. Скиданов, А.А. Морозов, С.И Харитонов, С.Г. Волотовский//Компьютерная оптика. -2014. -Т. 38, № 3. -С. 425-434.
  • Peng, Y. Computational imaging using lightweight diffractive-refractive optics/Y. Peng, Q. Fu, H. Amata, S. Su, F. Heide, W. Heidrich//Optics Express. -2015. -Vol. 23, Issue 24. -P. 31393-31407. - DOI: 10.1364/OE.23.031393
  • Peng, Y. The diffractive achromat full spectrum computational imaging with diffractive optics/Y. Peng, Q. Fu, F. Heide, W. Heidrich//Proceedings of the SIGGRAPH ASIA 2016. -2016. -P. 4. - DOI: 10.1145/2992138.2992145
  • Nikonorov, A. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging/A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov//Proceedings of the 23rd International Conference on Pattern Recognition (ICPR). -2016. - DOI: 10.1109/ICPR.2016.7899729
  • Heide, F. Encoded diffractive optics for full-spectrum computational imaging/F. Heide, Q. Fu, Y. Peng, W. Heidrich//Scientific Reports. -2016. -Vol. 6. -33543. - DOI: 10.1038/srep33543
  • Heide, F. FlexISP: A flexible camera image processing framework/F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Pająk, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, K. Pulli//ACM Transactions on Graphics. -2014. -Vol. 33(6). -231. - DOI: 10.1145/2661229.2661260
  • Chambolle, A. A first-order primal-dual algorithm for convex problems with applications to imaging/A. Chambolle, T. Pock//Journal of Mathematical Imaging and Vision. -2011. -Vol. 40, Issue 1. -P. 120-145. - DOI: 10.1007/s10851-010-0251-1
  • Genevet, P. Recent advances in planar optics: from plasmonic to dielectric metasurfaces/P. Genevet, F. Capasso, F. Aieta, M. Khorasaninejad, R. Devlin//Optica. -2017. -Vol. 4(1). -P. 139-152. - DOI: 10.1364/OPTICA.4.000139
  • Schuler, C.J. Learning to deblur/C.J. Schuler, M. Hirsch, S. Harmeling, B. Schölkopf//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2016. -Vol. 38, Issue 7. -P. 1439-1451. - DOI: 10.1109/TPAMI.2015.2481418
  • Dong, C. Image superresolution using deep convolutional networks/C. Dong, C.C. Loy, K. He, X. Tang//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2015. -Vol. 38, Issue 2. -P. 295-307. - DOI: 10.1109/TPAMI.2015.2439281
  • Kim, J. Accurate image super-resolution using very deep convolutional networks/J. Kim, J.K. Lee, K.M. Lee//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2016. -P. 1646-1654. - DOI: 10.1109/CVPR.2016.182
  • Lai, W.-S. Deep laplacian pyramid networks for fast and accurate super-resolution /W.-S. Lai, J.-B. Huang, N. Ahuja, M.-H. Yang. -2017. -URL: https://arxiv.org/pdf/1704.03915.pdf (request date 06.10.2017).
  • Yuan, Y. Hyperspectral Image Superresolution by Transfer Learning/Y. Yuan, X. Zheng, X. Lu//IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. -2017. -Vol. 10, Issue 5. -P. 1963-1974. - DOI: 10.1109/JSTARS.2017.2655112
  • Sweeney, D.W. Harmonic diffractive lenses/D.W. Sweeney, G.E. Sommargren//Applied Optics. -1995. -Vol. 34, Issue 14. -P. 2469-2475. - DOI: 10.1364/AO.34.002469
  • Computer design of diffractive optics/ Soifer V.A., Golovashkin D.L., Doskolovich L.L., Kazansky N.L., Kotlyar V.V., Pavelev V.S., Skidanov R.V., Khonina S.N. Ed. by V.A. Soifer. -Cambridge: Woodhead Publishing, 2013. -896 p. -ISBN: 978-1-845696351, DOI: 10.1533/9780857093745
  • Poleshchuk, A.G. Diffractive optical elements: fabrication and application/A.G. Poleshchuk, V.P. Korolkov, R.K. Nasyrov//Proceedings of SPIE. -2014. -Vol. 9283 -928302. - DOI: 10.1117/12.2073301
  • Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model/A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov//Pattern Recognition Letters. -2016. -Vol. 83, Part 2. -P. 178-187. - DOI: 10.1016/j.patrec.2016.06.027
  • Харитонов, С.И. Геометрооптический расчет фокального пятна гармонической дифракционной линзы/С.И. Харитонов, С.Г. Волотовский, С.Н. Хонина//Компьютерная оптика. -2016. -Т. 40, № 3. -С. 331-337. - DOI: 10.18287/2412-6179-2016-40-3-331-337
  • Chakrabarti, A. Fast deconvolution with color constraints on gradients/A. Chakrabarti, T. Zickler//Harvard Computer Science Group Technical Report TR-06-12. -2012.
  • Krishnan, D. Fast image deconvolution using Hyper-Laplacian priors/D. Krishnan, R. Fergus//Proceedings of the Proceedings of the 22nd International Conference on Neural Information Processing Systems. -2009. -P. 1033-1041.
  • He, K. Guided image filtering/K. He, J. Sun, X. Tang//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2013. -Vol. 35, Issue 6. -P. 1397-1409. - DOI: 10.1109/TPAMI.2012.213
  • Van De Weijer, J. Edge-based color constancy/J. Van De Weijer, T. Gevers, A. Gijsenij//IEEE Transactions on Image Processing. -2007. -Vol. 16, Issue 9. -P. 2207-2214. - DOI: 10.1109/TIP.2007.901808
  • Deqing, S. Secrets of optical flow estimation and their principles/S. Deqing, S. Roth, M.J. Black//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2010. -P. 2432-2439. - DOI: 10.1109/CVPR.2010.5539939
  • He, K. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification/K. He, X. Zhang, S. Ren, J. Sun//Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). -2015. -P. 1026-1034. - DOI: 10.1109/ICCV.2015.123
  • Kingma, D.P. Adam: A method for stochastic optimization /D.P. Kingma, J.L. Ba. -2017. -URL: https://arxiv.org/pdf/1412.6980.pdf (дата обращения 06.10.2017).
  • Han, S. Learning both weights and connections for efficient neural network/S. Han, J. Pool, J. Tran, W. Dally//Proceedings of the Advances in Neural Information Processing Systems. -2015. -P. 1135-1143.
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp