Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных сверточных сетей

Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных сверточных сетей

Автор: Канаева Ирина Александровна, Иванова Юлия Александровна, Спицын Владимир Григорьевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 6 т.45, 2021 года.

Бесплатный доступ

В данной работе рассматривается комплекс задач обнаружения различных дефектов дорожного полотна автомобильных дорог и современные методы их решения. Представленное сравнение общедоступных наборов данных позволяет сделать вывод о сложности и малой разработанности задачи сегментации дефектов дорожного покрытия по изображению общего вида автомобильных дорог. Для решения данной проблемы разработаны алгоритмы генерации синтетического набора данных для сегментации дефектов классов трещин и выбоин на основе методов компьютерной графики и генеративно-состязательных сетей. Проведено сравнение точности сегментации дефектов дорожного покрытия полносверточной нейронной сетью U-Net на реальном и комбинированных наборах данных.

Еще

Сегментация, дефекты дорожного покрытия, синтетическая выборка, генеративно-состязательные сети, сверточные нейронные сети

Короткий адрес: https://sciup.org/140290290

IDR: 140290290   |   DOI: 10.18287/2412-6179-CO-844

Список литературы Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных сверточных сетей

  • Azimi, M. Data-driven structural health monitoring and damage detection through deep learning: State-of-the-art review / M. Azimi, A. Eslamlou, G. Pekcan // Sensors. -2020. - Vol. 20, Issue 10. - 2778. - DOI: 10.3390/s20102778.
  • Eisenbach, M. How to get pavement distress detection ready for deep learning? A systematic approach / M. Eisenbach, R. Stricker, D. Seichter, K. Amende, K. Debes, M. Sesselmann, D. Ebersbach, U. Stoeckert, H. Gross // 2017 International Joint Conference on Neural Networks (IJCNN). - 2017. - P. 2039-2047. - DOI: 10.1109/IJCNN.2017.7966101.
  • Stricker, R. Improving visual road condition assessment by extensive experiments on the extended GAPs dataset / R. Stricker, M. Eisenbach, M. Sesselmann, K. Debes, H. Gross // 2019 International Joint Conference on Neural Networks (IJCNN). - 2019. - P. 1-8. - DOI: 10.1109/IJCNN.2019.8852257.
  • Maeda, H. Road damage detection and classification using deep neural networks with smartphone images / H. Maeda, Y. Sekimoto, T. Seto, T. Kashiyama, H. Omata // Computer-Aided Civil and Infrastructure Engineering. -2018. - Vol. 33, Issue 12. - P. 1127-1141. - DOI: 10.1111/mice.12387.
  • Zhang, L. Road crack detection using deep convolutional neural network / L. Zhang, F. Yang, Y.D. Zhang, Y.J. Zhu // 2016 IEEE International Conference on Image Processing (ICIP). - 2016. - P. 3708-3712. - DOI: 10.1109/ICIP.2016.7533052.
  • Ye, W. Convolutional neural network for pothole detection in asphalt pavement / W. Ye, W. Jiang, Z. Tong, D. Yuan, J. Xiao // Road Materials and Pavement Design. - 2021. -Vol. 22, Issue 1. - P. 42-58. - DOI: 10.1080/14680629.2019.1615533.
  • Cha, Y.-J. Deep learning-based crack damage detection using convolutional neural networks / Y.-J. Cha, W. Choi, O. Buyukozturk // Computer-Aided Civil and Infrastructure Engineering. - 2017. - Vol. 32, Issue 5. - P. 361-378. -DOI: 10.1111/mice.12263.
  • Gopalakrishnan, K. Deep Convolutional Neural Networks with transfer learning for computer vision-based data-driven pavement distress detection / K. Gopalakrishnan, S. Khaitan, A. Choudhary, A. Agrawal // Construction and Building Materials. - 2017. - Vol. 157. - P. 322-330. -DOI: 10.1016/j.conbuildmat.2017.09.110.
  • Varadharajan, S. Vision for road inspection / S. Varadharajan, S. Jose, K. Sharma, L. Wander, C. Mertz // IEEE Winter Conference on Applications of Computer Vision. - 2014. -P. 115-122. - DOI: 10.1109/WACV.2014.6836111.
  • Anand, S. Crack-pot: autonomous road crack and pothole detection / S. Anand, S. Gupta, V. Darbari, S. Kohli // 2018 Digital Image Computing: Techniques and Applications (DICTA). - 2018. - P. 1-6. - DOI: 10.1109/DICTA.2018.8615819.
  • Yang, F. Feature pyramid and hierarchical boosting network for pavement crack detection / F. Yang, L. Zhang, S. Yu, D. Prokhorov, X. Mei, H. Ling // IEEE Transactions on Intelligent Transportation Systems. - 2020. - Vol. 21, Issue 4. - P. 1525-1535. - DOI: 10.1109/TITS.2019.2910595.
  • Соболь, Б.В. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта / Б.В. Соболь, А.Н. Соловьев, П.В. Васильев, Л.А. Подколзина // Вестник Донского государственного технического университета. - 2019. - Т. 19, № 1. -C. 63-73. - DOI: 10.23947/1992-5980-2019-19-1-63-73.
  • Zhang, K. CrackGAN: Pavement crack detection using partially accurate ground truths based on generative adversarial learning / K. Zhang, Y. Zhang, H.-D. Cheng // IEEE Transactions on Intelligent Transportation Systems. -2021. - Vol. 22, Issue 2. - P. 1306-1319. - DOI: 10.1109/TITS.2020.2990703.
  • Liu Y. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation / Y. Liu, J. Yao, X. Lu, R. Xie, L. Li // Neurocomputing. - 2019. - Vol. 338. -P. 139-153. - DOI: 10.1016/j.neucom.2019.01.036.
  • Dung, C.V. Autonomous concrete crack detection using deep fully convolutional neural network / C.V. Dung, L.D. Anh // Automation in Construction. - 2019. - Vol. 99. - P. 52-58. - DOI: 10.1016/j.autcon.2018.11.028.
  • Gao, Z. Generative adversarial networks for road crack image segmentation / Z. Gao, B. Peng, T. Li, C. Gou // 2019 International Joint Conference on Neural Networks (IJCNN). - 2019. - P. 1-8. - DOI: 10.1109/IJCNN.2019.8851910.
  • Mei, Q. A cost effective solution for pavement crack inspection using cameras and deep neural networks / Q. Mei, M. Gul // Construction and Building Materials. -2020. - Vol. 256. - 119397. - DOI: 10.1016/j.conbuildmat.2020.119397.
  • Majidifard, H. Pavement image datasets: A new benchmark dataset to classify and densify pavement distresses / H. Majidifard, P. Jin, Y. Adu-Gyamfi, W. Buttlar // Transportation Research Record: Journal of the Transportation Research Board. - 2020. - Vol. 2674, Issue 2. - P. 328-339. - DOI: 10.1177/0361198120907283.
  • Канаева, И. А. Методы коррекции цвета и яркости при создании панорамных изображений / И.А. Канаева, Ю.А. Болотова // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 885-897. - DOI: 10.18287/2412-6179-2018-42-5885-897.
  • Dhiman, A. Pothole detection using computer vision and learning / A. Dhiman, R. Klette // IEEE Transactions on Intelligent Transportation Systems. - 2020. - Vol. 21, Issue 8. - P. 3536-3550. - DOI: 10.1109/TITS.2019.2931297.
  • Coenen, T.B.J. A review on automated pavement distress detection methods / T.B.J. Coenen, A. Golroo // Cogent Engineering. - 2017. - Vol. 4, Issue 1. - 1374822 (23 p.). -DOI: 10.1080/23311916.2017.1374822.
  • Sattar, S. Road surface monitoring using smartphone sensors: A review / S. Sattar, S. Li, M. Chapman // Sensors. - 2018. - Vol. 18, Issue 11. - 3845. - DOI: 10.3390/s18113845.
  • Mohan, A. Crack detection using image processing: A critical review and analysis / A. Mohan, S. Poobal // Alexandria Engineering Journal. - 2018. - Vol. 57, Issue 2. -P. 787-798. - DOI: 10.1016/j.aej.2017.01.020.
  • Cao, W. Review of pavement defect detection methods / W. Cao, Q. Liu, Z. He // IEEE Access. - 2020. - Vol. 8. -P. 14531-14544. - DOI: 10.1109/ACCESS.2020.2966881.
  • Zou, Q. CrackTree: Automatic crack detection from pavement images / Q. Zou, Y. Cao, Q. Li, Q. Mao, S. Wang // Pattern Recognition Letters. - 2012. - Vol. 33, Issue 3. -P. 227-238. - DOI: 10.1016/j.patrec.2011.11.004
  • Shi, Y. Automatic road crack detection using random structured forests / Y. Shi, L. Cui, Z. Qi, F. Meng, Z. Chen // IEEE Transactions on Intelligent Transportation Systems. - 2016. - Vol. 17, Issue 12. - P. 3434-3445. - DOI: 10.1109/TITS.2016.2552248.
  • Maeda, H. Generative adversarial network for road damage detection / H. Maeda, T. Kashiyama, Y. Sekimoto, T. Seto, H. Omata // Computer-Aided Civil and Infrastructure Engineering. - 2021. - Vol. 36. - P. 47-60. - DOI: 10.1111/mice.12561.
  • Tang, W. Iteratively optimized patch label inference network for automatic pavement disease detection / W. Tang, Q. Zhao, S. Huang, R. Li, L. Huangfu // arXiv Preprint. - 2021. - URL: https://arxiv.org/abs/2005.13298 (request date 01.06.2021).
  • Arya, D. Transfer learning-based road damage detection for multiple countries / D. Arya, H. Maeda, S.K. Ghosh, D. Toshniwal, A. Mraz, T. Kashiyama, Y. Sekimoto // arXiv Preprint. - 2020. - URL: https://arxiv.org/abs/2008.13101 (request date 01.06.2021).
  • Канаева, И.А. Сегментация изображений трещин дорожного покрытия / И.А. Канаева, Ю.А. Иванова // Труды конференции ГрафиКон-2019. - 2019. - Т. 1. - C. 131-135. - DOI: 10.30987/graphicon-2019-1-131-135.
  • Cordts, M. The cityscapes dataset for semantic urban scene understanding / M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, B. Schiele // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 3213-3223. -DOI: 10.1109/CVPR.2016.350.
  • Kluger, F. Region-based cycle-consistent data augmentation for object detection / F. Kluger, C. Reinders, K. Raetz, P. Schelske, B. Wandt, H. Ackermann, B. Rosenhahn // 2018 IEEE International Conference on Big Data (Big Data). - 2018. - P. 5205-5211. - DOI: 10.1109/BigData.2018.8622318.
  • Neff, T. Generative adversarial network based synthesis for supervised medical image segmentation / T. Neff, C. Payer, D. Stern, M. Urschler // Proceedings of the OAGM&ARW Joint Workshop 2017: Vision, Automation and Robotics. -2017. - P. 140-145. - DOI: 10.3217/978-3-85125-524-9-30.
  • Goodfellow, J GAN (Generative Adversarial Nets) / I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio // Journal of Japan Society for Fuzzy Theory and Intelligent Informatics. - 2017. - Vol. 29, Issue 5. - P. 177. - DOI: 10.3156/jsoft.29.5_177_2.
  • Odena, A. Deconvolution and checkerboard artifacts [Electronical Resource] / A. Odena, V. Dumoulin, C. Olah // Distill. - 2016. - Vol. 1, Issue 10. - DOI: 10.23915/distill.00003. - URL: https://distill.pub/2016/deconv-checkerboard/ (request date 01.06.2021).
  • Ахирвар, К. Состязательные сети. Проекты / К. Ахирвар. - ДМК-Пресс, 2018. - 252 с. - ISBN: 978-597060-783-1.
  • van der Maaten, L. Visualizing data using t-SNE / L. van der Maaten, G. Hinton // Journal of Machine Learning Research. - 2008. - Vol. 9, Issue 86. - P. 2579-2605.
  • Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox. - In: Medical image computing and computer-assisted intervention - MICCAI 2015 / ed. by N. Navab, J. Hornegger, W.M. Wells, A.F. Frangi. - Cham: Springer, 2015. - P. 234-241. - DOI: 10.1007/978-3-319-24574-4_28.
  • Carole, H.S. Generalized Dice overlap as a deep learning loss function for highly unbalanced segmentations / H.S. Carole, L. Wenqi, T. Vercauteren, S. Ourselin, M.J. Cardoso // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. -2017. - P. 240-248.
  • Lin, T. Focal loss for dense object detection / T. Lin, P. Goyal, R. Girshick, H. Kaiming, P. Dollar // IEEE International Conference on Computer Vision (ICCV). -2017. - P. 2999-3007. - DOI: 10.1109/ICCV.2017.324.
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp