Моделирование дробового шума цветных подводных изображений
Автор: Шепелев Денис Александрович, Божкова Валентина Петровна, Ершов Егор Иванович, Николаев Дмитрий Петрович
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 4 т.44, 2020 года.
Бесплатный доступ
В работе рассматриваются методы имитации цветных подводных изображений на основе натуральных надводных. Имитация подводных изображений широко используется для разработки и тестирования методов улучшения подводных изображений. Большая группа существующих методов использует одну и ту же детерминированную модель преобразования изображения, игнорирующую наличие на изображениях шума. В работе демонстрируется, что это существенно сказывается на общем качестве имитации подводных изображений. Теоретически и численным моделированием показывается, что точность отношения сигнал/шум подводных изображений, имитированных с использованием детерминированного преобразования, падает с увеличением расстояния до объекта съемки. Для решения этой проблемы в работе предлагается новая модель преобразования изображения, которая учитывает наличие шума на изображении и при этом совместима со всеми методами моделирования из рассматриваемой группы. В работе приводятся результаты моделирования с использованием существующей и предложенной моделей, показывающие, что на больших расстояниях новые результаты лучше согласуются с реальными данными.
Подводная фотография, имитационное моделирование подводных изображений, имитационное моделирование шума, цветовые искажения, улучшение подводных изображений, аугментация цветных изображений, синтез тестовых данных
Короткий адрес: https://sciup.org/140250037
IDR: 140250037 | DOI: 10.18287/2412-6179-CO-754
Simulating shot noise of color underwater images
This paper considers methods for simulating color underwater images based on real terrestrial images. Underwater image simulation is widely used for developing and testing methods for improving underwater images. A large group of existing methods uses the same deterministic image transformation model ignoring the presence of noise in images. The paper demonstrates that this significantly affects the overall quality of underwater images simulation. It is shown both theoretically and numerically that the accuracy of the signal-to-noise ratio of underwater images simulated using a deterministic transformation decreases with increasing distance to the object. To solve this problem, a new model of image transformation for simulating underwater images based on terrestrial images is proposed, which considers the presence of noise in the image and is compatible with all simulating methods from the group under consideration. The paper presents the results of the simulation based on the existing and proposed models, showing that at long distances, the new results are better consistent with real data.
Список литературы Моделирование дробового шума цветных подводных изображений
- Akkaynak, D. Sea-thru: A method for removing water from underwater images / D. Akkaynak, T. Treibitz // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2019. - P. 1682-1691.
- Anwar, S. Underwater scene prior inspired deep underwater image and video enhancement / S. Anwar, C. Li, F. Porikli // Pattern Recognition. - 2020. - Vol. 98. - 107038.
- Li, J. WaterGAN: Unsupervised generative network to enable real-time color correction of monocular underwater images / J. Li, K.A. Skinner, R.M. Eustice, M. Johnson-Roberson // IEEE Robotics and Automation Letters. - 2017. - Vol. 3, Issue 1. - P. 387-394.
- Foresti, G.L. Visual inspection of sea bottom structures by an autonomous underwater vehicle / G.L. Foresti // IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics). - 2001. - Vol. 31, Issue 5. - P. 691-705.
- Lavest, J.-M. Multi-view reconstruction combining underwater and air sensors / J.-M. Lavest, F. Guichard, C. Rousseau // Proceedings of the International Conference on Image Processing. - 2002. - Vol. 3. - P. 813-816.
- Kahanov, Y. Analysis of hull remains of the Dor D vessel, Tantura lagoon, Israel / Y. Kahanov, J.G. Royal // The International Journal of Nautical Archaeology. - 2001. - Vol. 30, Issue 2. - P. 257-265.
- Mangeruga, M. Evaluation of underwater image enhancement algorithms under different environmental conditions / M. Mangeruga, M. Cozza, F. Bruno // Journal of Marine Science and Engineering. - 2018. - Vol. 6, Issue 1. - 10.
- Skarlatos, D. Project iMARECULTURE: advanced VR, immersive serious games and augmented reality as tools to raise awareness and access to European underwater cultural heritage / D. Skarlatos, P. Agrafiotis, T. Balogh, F. Bruno, F. Castro, B.D. Petriaggi, S. Demesticha, A. Doulamis, P. Drap, A. Georgopoulos // Euro-Mediterranean Conference. - 2016. - P. 805-813.
- Bryson, M. True color correction of autonomous underwater vehicle imagery / M. Bryson, M. Johnson-Roberson, O. Pizarro, S.B. Williams // Journal of Field Robotics. - 2016. - Vol. 33, Issue 6. - P. 853-874.
- IEC 60529:1989. Degrees of protection provided by enclosures (IP Codes). - 2.2 edition. - Geneva: International Electrotechnical Commission, 2013.
- Gracheva, M.A. Subjective assessment of the quality of static and video images from mobile phones / M.A. Gracheva, V.P. Bozhkova, A.A. Kazakova, I.P. Nikolaev, G.I. Rozhkova // Twelfth International Conference on Machine Vision (ICMV 2019). - 2020. - Vol. 11433. - P. 737-745.
- Berman, D. Diving into haze-lines: Color restoration of underwater images / D. Berman, T. Treibitz, S. Avidan // Proceedings of the British Machine Vision Conference (BMVC). - 2017. - Vol. 1, Issue 2. - P. 1-12.
- Li, C. An underwater image enhancement benchmark dataset and beyond / C. Li, C. Guo, W. Ren, R. Cong, J. Hou, S. Kwong, D. Tao // IEEE Transactions on Image Processing. - 2020. - Vol. 29. - P. 4376-4389.
- Duarte, A. A dataset to evaluate underwater image restoration methods / A. Duarte, F. Codevilla, J.O. Gaya, S.S.C. Botelho // OCEANS 2016 - Shanghai. - 2016. - P. 1-6.
- Arlazarov, V.V. MIDV-500: A dataset for identity document analysis and recognition on mobile devices in video stream / V.V. Arlazarov, K.B. Bulatov, T.S. Chernov, V.L. Arlazarov // Computer Optics. - 2019. - Vol. 43(5). - P. 818-824. -
- DOI: 10.18287/2412-6179-2019-43-5-818-824
- Smagina, A. Multiple light source dataset for colour research / A. Smagina, E. Ershov, A. Grigoryev // Twelfth International Conference on Machine Vision (ICMV 2019). - 2020. - Vol. 11433. - P. 635-642.
- Boffety, M. Color image simulation for underwater optics / M. Boffety, F. Galland, A.-G. Allais // Applied Optics. - 2012. - Vol. 51, Issue 23. - P. 5633-5642.
- Chang, H. Single underwater image restoration based on depth estimation and transmission compensation / H. Chang, C. Cheng, C. Sung // IEEE Journal of Oceanic Engineering. - 2019. - Vol. 44, Issue 4. - P. 1130-1149.
- Hu, Y. Underwater image restoration based on convolutional neural network / Y. Hu, K. Wang, X. Zhao, H. Wang, Y. Li // Proceedings of the 10th Asian Conference on Machine Learning. - 2018. - Vol. 95. - P. 296-311.
- Li, C.-Y. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior / C.-Y. Li, J.-C. Guo, R.-M. Cong, Y.-W. Pang, B. Wang // IEEE Transactions on Image Processing. - 2016. - Vol. 25, Issue 12. - P. 5664-5677.
- Schechner, Y.Y. Clear underwater vision / Y.Y. Schechner, N. Karpel // Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2004). - 2004. - Vol. 1. - P. 536-543.
- Schechner, Y.Y. Recovery of underwater visibility and structure by polarization analysis / Y.Y. Schechner, N. Karpel // IEEE Journal of Oceanic Engineering. - 2005. - Vol. 30, Issue 3. - P. 570-587.
- Zhao, X. Deriving inherent optical properties from background color and underwater image enhancement / X. Zhao, T. Jin, S. Qu // Ocean Engineering. - 2015. - Vol. 94. - P. 163-172.
- Peng, Y.-T. Underwater image restoration based on image blurriness and light absorption / Y.-T. Peng, P.C. Cosman // IEEE Transactions on Image Processing. - 2017. - Vol. 26, Issue 4 - P. 1579-1594.
- Николаев, Д.П. Синтез обучающей выборки в задаче распознавания текста в трехмерном пространстве / Д.П. Николаев, Д.В. Полевой, Н.А. Тарасова // Информационные технологии и вычислительные системы. - 2014. - № 3. - С. 82-88.
- Емельянов, С.О. Методы аугментации обучающих выборок в задачах классификации изображений / С.О. Емельянов, А.А. Иванова, Е.А. Швец, Д.П. Николаев // Сенсорные системы. - 2018. - Т. 32, № 3. - С. 236-245.
- Chernyshova, Y.S. Generation method of synthetic training data for mobile OCR system / Y.S. Chernyshova, A.V. Gayer, A.V. Sheshkus // Proceedings of SPIE. - 2018. - Vol. 10696. - 106962G.
- Butler, D.J. A naturalistic open source movie for optical flow evaluation / D.J. Butler, J. Wulff, G.B. Stanley, M.J. Black // European Conference on Computer Vision (ECCV). - 2012. - Part IV. - P. 611-625.
- Bielova, O. A digital image processing pipeline for modelling of realistic noise in synthetic images / O. Bielova, R. Hänsch, A. Ley, O. Hellwich // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - 2019. - P. 2905-2914.
- Anwar, S. Diving deeper into underwater image enhancement: A survey [Electronical Resource] / S. Anwar, C. Li. - arXiv preprint arXiv:1907.07863. - 2019. - URL: https://arxiv.org/abs/1907.07863 (request date 10.07.2019).
- Jahne, B. Digital image processing / B. Jahne. - Berlin: Springer-Verlag, 2005. - 607 p.
- Шепелев, Д.А. О проблеме моделирования подводных изображений на основе надводных / Д.А. Шепелев, В.П. Божкова, Е.И. Ершов, Д.П. Николаев // Сборник трудов ИТНТ-2020. - 2020. - (принято, в печати).
- Sarafraz, A. Performance assessment in solving the correspondence problem in underwater stereo imagery / A. Sarafraz, S. Negahdaripour, Y.Y. Schechner // OCEANS 2010 MTS/IEEE Seattle. - 2010. - P. 1-7.
