Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

Автор: Никоноров Артем Владимирович, Петров Максим Витальевич, Бибиков Сергей Алексеевич, Кутикова Виктория Витальевна, Морозов Андрей Андреевич, Казанский Николай Львович

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 6 т.41, 2017 года.

Бесплатный доступ

В последнее время появились прорывные работы, посвященные изображающим оптическим системам на основе однокомпонентных дифракционных структур, таких как зонные пластинки и линзы Френеля. Такие системы на порядки превосходят классические рефракционные аналоги по весу и стоимости, существенно уступая в качестве получаемых изображений вследствие сильных оптических искажений, присущих дифракционной оптике. В настоящей работе показано, что применение гармонических линз совместно с последующей вычислительной реконструкцией изображений позволяет существенно повысить качество получаемых изображений. Предлагаемый процесс реконструкции состоит из предварительного этапа цветовой коррекции зарегистрированного изображения и устранения хроматического размытия на основе обратной свертки и сверточных нейронных сетей. Подобное совершенствование технологии изготовления дифракционных объективов и алгоритмов реконструкции способствует появлению нового класса сверхлегких изображающих систем широкого спектра применения, от дистанционного зондирования для нано- и пикоспутников до систем видеонаблюдения и устройств для экстремальной журналистики.

Еще

Гармоническая линза, дистанционное зондирование, обратная свертка, глубинное обучение, оценка функции рассеяния точки, цветовая коррекция

Короткий адрес: https://sciup.org/140228772

IDR: 140228772   |   DOI: 10.18287/2412-6179-2017-41-6-875-887

Список литературы Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки

  • Nikonorov, A. Fresnel lens imaging with post-capture image processing/A. Nikonorov, R. Skidanov, V. Fursov, M. Petrov, S. Bibikov, Y. Yuzifovich//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). -2015. -P. 33-41. - DOI: 10.1109/CVPRW.2015.7301373
  • Hasinoff, S.W. Light-efficient photography/S.W. Hasinoff, K.N. Kutulakos//Proceedings of the European Conference on Computer Vision. -2008. -P. 45-59. - DOI: 10.1007/978-3-540-88693-8_4
  • Wang, P. Chromatic-aberration-corrected diffractive lensesforultra-broadband focusing/P. Wang, N. Mohammad, R. Menon//Scientific Reports. -2016. -Vol. 6. -21545. - DOI: 10.1038/srep21545
  • Казанский, Н.Л. Формирование изображений дифракционной многоуровневой линзой/Н.Л. Казанский, С.Н. Хонина, Р.В. Скиданов, А.А. Морозов, С.И Харитонов, С.Г. Волотовский//Компьютерная оптика. -2014. -Т. 38, № 3. -С. 425-434.
  • Peng, Y. Computational imaging using lightweight diffractive-refractive optics/Y. Peng, Q. Fu, H. Amata, S. Su, F. Heide, W. Heidrich//Optics Express. -2015. -Vol. 23, Issue 24. -P. 31393-31407. - DOI: 10.1364/OE.23.031393
  • Peng, Y. The diffractive achromat full spectrum computational imaging with diffractive optics/Y. Peng, Q. Fu, F. Heide, W. Heidrich//Proceedings of the SIGGRAPH ASIA 2016. -2016. -P. 4. - DOI: 10.1145/2992138.2992145
  • Nikonorov, A. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging/A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov//Proceedings of the 23rd International Conference on Pattern Recognition (ICPR). -2016. - DOI: 10.1109/ICPR.2016.7899729
  • Heide, F. Encoded diffractive optics for full-spectrum computational imaging/F. Heide, Q. Fu, Y. Peng, W. Heidrich//Scientific Reports. -2016. -Vol. 6. -33543. - DOI: 10.1038/srep33543
  • Heide, F. FlexISP: A flexible camera image processing framework/F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Pająk, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, K. Pulli//ACM Transactions on Graphics. -2014. -Vol. 33(6). -231. - DOI: 10.1145/2661229.2661260
  • Chambolle, A. A first-order primal-dual algorithm for convex problems with applications to imaging/A. Chambolle, T. Pock//Journal of Mathematical Imaging and Vision. -2011. -Vol. 40, Issue 1. -P. 120-145. - DOI: 10.1007/s10851-010-0251-1
  • Genevet, P. Recent advances in planar optics: from plasmonic to dielectric metasurfaces/P. Genevet, F. Capasso, F. Aieta, M. Khorasaninejad, R. Devlin//Optica. -2017. -Vol. 4(1). -P. 139-152. - DOI: 10.1364/OPTICA.4.000139
  • Schuler, C.J. Learning to deblur/C.J. Schuler, M. Hirsch, S. Harmeling, B. Schölkopf//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2016. -Vol. 38, Issue 7. -P. 1439-1451. - DOI: 10.1109/TPAMI.2015.2481418
  • Dong, C. Image superresolution using deep convolutional networks/C. Dong, C.C. Loy, K. He, X. Tang//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2015. -Vol. 38, Issue 2. -P. 295-307. - DOI: 10.1109/TPAMI.2015.2439281
  • Kim, J. Accurate image super-resolution using very deep convolutional networks/J. Kim, J.K. Lee, K.M. Lee//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2016. -P. 1646-1654. - DOI: 10.1109/CVPR.2016.182
  • Lai, W.-S. Deep laplacian pyramid networks for fast and accurate super-resolution /W.-S. Lai, J.-B. Huang, N. Ahuja, M.-H. Yang. -2017. -URL: https://arxiv.org/pdf/1704.03915.pdf (request date 06.10.2017).
  • Yuan, Y. Hyperspectral Image Superresolution by Transfer Learning/Y. Yuan, X. Zheng, X. Lu//IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. -2017. -Vol. 10, Issue 5. -P. 1963-1974. - DOI: 10.1109/JSTARS.2017.2655112
  • Sweeney, D.W. Harmonic diffractive lenses/D.W. Sweeney, G.E. Sommargren//Applied Optics. -1995. -Vol. 34, Issue 14. -P. 2469-2475. - DOI: 10.1364/AO.34.002469
  • Computer design of diffractive optics/ Soifer V.A., Golovashkin D.L., Doskolovich L.L., Kazansky N.L., Kotlyar V.V., Pavelev V.S., Skidanov R.V., Khonina S.N. Ed. by V.A. Soifer. -Cambridge: Woodhead Publishing, 2013. -896 p. -ISBN: 978-1-845696351, DOI: 10.1533/9780857093745
  • Poleshchuk, A.G. Diffractive optical elements: fabrication and application/A.G. Poleshchuk, V.P. Korolkov, R.K. Nasyrov//Proceedings of SPIE. -2014. -Vol. 9283 -928302. - DOI: 10.1117/12.2073301
  • Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model/A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov//Pattern Recognition Letters. -2016. -Vol. 83, Part 2. -P. 178-187. - DOI: 10.1016/j.patrec.2016.06.027
  • Харитонов, С.И. Геометрооптический расчет фокального пятна гармонической дифракционной линзы/С.И. Харитонов, С.Г. Волотовский, С.Н. Хонина//Компьютерная оптика. -2016. -Т. 40, № 3. -С. 331-337. - DOI: 10.18287/2412-6179-2016-40-3-331-337
  • Chakrabarti, A. Fast deconvolution with color constraints on gradients/A. Chakrabarti, T. Zickler//Harvard Computer Science Group Technical Report TR-06-12. -2012.
  • Krishnan, D. Fast image deconvolution using Hyper-Laplacian priors/D. Krishnan, R. Fergus//Proceedings of the Proceedings of the 22nd International Conference on Neural Information Processing Systems. -2009. -P. 1033-1041.
  • He, K. Guided image filtering/K. He, J. Sun, X. Tang//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2013. -Vol. 35, Issue 6. -P. 1397-1409. - DOI: 10.1109/TPAMI.2012.213
  • Van De Weijer, J. Edge-based color constancy/J. Van De Weijer, T. Gevers, A. Gijsenij//IEEE Transactions on Image Processing. -2007. -Vol. 16, Issue 9. -P. 2207-2214. - DOI: 10.1109/TIP.2007.901808
  • Deqing, S. Secrets of optical flow estimation and their principles/S. Deqing, S. Roth, M.J. Black//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2010. -P. 2432-2439. - DOI: 10.1109/CVPR.2010.5539939
  • He, K. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification/K. He, X. Zhang, S. Ren, J. Sun//Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). -2015. -P. 1026-1034. - DOI: 10.1109/ICCV.2015.123
  • Kingma, D.P. Adam: A method for stochastic optimization /D.P. Kingma, J.L. Ba. -2017. -URL: https://arxiv.org/pdf/1412.6980.pdf (дата обращения 06.10.2017).
  • Han, S. Learning both weights and connections for efficient neural network/S. Han, J. Pool, J. Tran, W. Dally//Proceedings of the Advances in Neural Information Processing Systems. -2015. -P. 1135-1143.
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp