Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок
Автор: Кузнецов Андрей Владимирович, Гашников Михаил Валерьевич
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 5 т.44, 2020 года.
Бесплатный доступ
Исследуются алгоритмы ретуширования изображений при генерировании поддельных данных дистанционного зондирования Земли. Приводится обзор существующих нейросетевых решений в области генерирования и доопределения изображений дистанционного зондирования. Для ретуширования данных дистанционного зондирования Земли применяются алгоритмы доопределения изображений на основе свёрточных нейронных сетей и генеративно-состязательных нейронных сетей. Особое внимание уделяется генеративной нейросети с обособленным блоком предсказания контуров, включающей две последовательно соединённые генеративно-состязательные подсети. Первая подсеть доопределяет контуры изображения внутри ретушируемой области. Вторая подсеть использует доопределённые контуры для генерирования результирующей ретуширующей области. В качестве базы для сравнения используется прецедентный алгоритм доопределения изображений. Проводятся вычислительные эксперименты по исследованию эффективности указанных алгоритмов при ретушировании реальных данных дистанционного зондирования различных видов. Выполняется сравнительный анализ качества работы рассматриваемых алгоритмов в зависимости от типа, формы и размеров ретушируемых объектов и областей. Приводятся качественные и количественные характеристики эффективности работы исследуемых алгоритмов доопределения изображений при ретушировании данных дистанционного зондирования Земли. Экспериментально обосновывается преимущество генеративно-состязательных нейронных сетей при создании поддельных данных дистанционного зондирования.
Генерирование подделок, ретуширование, доопределение изображений, нейронные сети, данные дистанционного зондирования
Короткий адрес: https://sciup.org/140250048
IDR: 140250048 | DOI: 10.18287/2412-6179-CO-721
Remote sensing data retouching based on image in painting algorithms in the forgery generation problem
We investigate image retouching algorithms for generating forgery Earth remote sensing data. We provide an overview of existing neural network solutions in the field of generation and inpainting of remote sensing images. To retouch Earth remote sensing data, we use image-inpainting algorithms based on convolutional neural networks and generative-adversarial neural networks. We pay special attention to a generative neural network with a separate contour prediction block that includes two series-connected generative-adversarial subnets. The first subnet inpaints contours of the image within the retouched area. The second subnet uses the inpainted contours to generate the resulting retouch area. As a basis for comparison, we use exemplar-based algorithms of image inpainting. We carry out computational experiments to study the effectiveness of these algorithms when retouching natural data of remote sensing of various types. We perform a comparative analysis of the quality of the algorithms considered, depending on the type, shape and size of the retouched objects and areas. We give qualitative and quantitative characteristics of the efficiency of the studied image inpainting algorithms when retouching Earth remote sensing data. We experimentally prove the advantage of generative-competitive neural networks in the construction of forgery remote sensing data.
Список литературы Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок
- Elharrouss, O. Image inpainting: A review / O. Elharrouss, N. Almaadeed, S. Al-Maadeed, Y. Akbari // Neural Processing Letters. - 2020. - Vol. 51. - P. 2007-2028.
- Lu, Q. Review of image inpainting / Q. Lu, G. Zhang // Proceedings of 8th International Conference on Manufacturing Science and Engineering (ICMSE). - 2018. - P. 655-658.
- Li, Q. Image inpainting based on sparse representation with histogram dictionary / Q. Li, G. Chen, X. Zhang, K. Saruta, Y. Terata // Journal of Computers. - 2018. - Vol. 13, Issue 10. - P. 1145-1155.
- Amrani, N. Diffusion-based inpainting for coding remote-sensing data / N. Amrani, J. Serra-Sagristà, P. Peter, J. Weickert // IEEE Geoscience and Remote Sensing Letters. - 2017. - Vol. 14, Issue 8. - P. 1203-1207.
- Barnes, C. PatchMatch: A randomized correspondence algorithm for structural image editing / C. Barnes, E. Shechtman, A. Finkelstein, D.B. Goldman // ACM Transactions on Graphics. - 2009. - Vol. 28, Issue 3. - 24.
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. - 2-е изд. - М.: ДМК Пресс, 2018. - 652 с. - 978-5-97060-618-6.
- ISBN: 9785970606186
- Zhang, C. A brief review of image restoration techniques based on generative adversarial models / С. Zhang, F. Du, Y. Zhang. - In: Advanced multimedia and ubiquitous engineering / ed. by J.J. Park, L.T. Yang, Y.-S. Jeong, F. Hao. - Singapore: Springer Nature Singapore Pte Ltd., 2020. - P. 169-175.
- Goodfellow, I. Generative adversarial nets / I. Goodfellow, [et al.] // Proceedings of the 27th International Conference on Neural Information Processing Systems. - 2014. - Vol. 2. - P. 2672-2680.
- Ren, C.X. Cycle-consistent adversarial networks for realistic pervasive change generation in remote sensing imagery [Electronical Resource] / С.X. Ren, A. Ziemann, A. Durieux, J. Theiler // arXiv preprint. - 2019. - URL: https://arxiv.org/abs/1911.12546 (request date 17.07.2020).
- Lou, S. Preliminary investigation on single remote sensing image inpainting through a modified GAN / S. Lou, Q. Fan, F. Chen, C. Wang, J. Li // IEEE Proceedings of 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). - 2018. - P. 1-6.
- Dong, J. Inpainting of remote sensing SST images with deep convolutional generative adversarial network / J. Dong, R. Yin, X. Sun, Q. Li, Y. Yang, X. Qin, // IEEE Geoscience and Remote Sensing Letters. - 2018. - Vol. 16, Issue 2. - P. 173-177.
- Singh, P. Cloud-GAN: Cloud removal for Sentinel-2 imagery using a cyclic consistent generative adversarial networks / P. Singh, N. Komodakis // IGARSS IEEE International Geoscience and Remote Sensing Symposium. - 2018. - P. 1772-1775.
- Кокошкин, А.В. Ретуширование и восстановление отсутствующих частей изображений с помощью итерационного вычисления их спектров / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин // Компьютерная оптика. - 2019. - Т. 43, № 6. - С. 1030-1040. -
- DOI: 10.18287/2412-6179-2019-43-6-1030-1040
- Lin, D. Dense-Add Net: An novel convolutional neural network for remote sensing image inpainting / D. Lin, G. Xu, Y. Wang, X. Sun, K. Fu // IGARSS IEEE International Geoscience and Remote Sensing Symposium. - 2018. - P. 4985-4988.
- Zhang, Q. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network / Q. Zhang, Q. Yuan, C. Zeng, X. Li, Y. Wei // IEEE Transactions on Geoscience and Remote Sensing. - 2018. - Vol. 56, Issue 8. - P. 4274-4288.
- Ashishrai, A. Generation remote sensing images using generative adversarial networks (GAN) [Electronical Resource] / A. Ashishrai. - 2019. - URL: https://github.com/aashishrai3799/Remote-Sensing-Image-Generation (request date 20.03.2020)
- Zhao, C. Inpainting to hide structures in satellite images [Electronical Resource] / C. Zhao. - 2018. - URL: https://github.com/ChenchaoZhao/NeuralCamouflage (request date 20.03.2020).
- Zhao, C. Fingerprints of the invisible hand [Electronical Resource] / C. Zhao. - 2018. - URL: https://github.com/ChenchaoZhao/FingerprintsOfTheInvisibleHand (request date 08.06.2020).
- Ronneberger, O. U-net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-Assisted Intervention. - 2015. - P. 234-241.
- Nazeri, K. EdgeConnect: Generative image inpainting with adversarial edge learning [Electronical Resource] / K. Nazeri, E. Ng, T. Joseph, F.Z. Qureshi, M. Ebrahimi // arXiv preprint. - 2019. - URL: https://arxiv.org/abs/1901.00212 (request date 08.06.2020).
- Collobert, R. Torch7: A matlab-like environment for machine learning / R. Collobert, K. Kavukcuoglu, C. Farabet // BigLearn NIPS workshop. - 2011.
- Isola, P. Image-to-image translation with conditional adversarial networks / P. Isola, J.Y. Zhu, T. Zhou, A.A. Efros // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2017. - P. 1125-1134.
- Rong, W. An improved CANNY edge detection algorithm / W. Rong, Z. Li, W. Zhang, L. Sun // IEEE International Conference on Mechatronics and Automation. - 2014. - P. 577-582.
- Роскосмос. Информационные ресурсы [Electronical Resource]. - URL: https://www.roscosmos.ru/117/, (дата обращения 20.03.2020 г.).
- Google Earth [Electronical Resource]. - 2020. - URL: https://www.google.com/earth/ (request date 20.03.2020).
