Применение глубокого обучения для аугментации и генерации подводного набора данных с промышленными объектами

Применение глубокого обучения для аугментации и генерации подводного набора данных с промышленными объектами

Автор: Ахмад Авс, Андриянов Никита Андреевич, Соловьев Владимир Игоревич, Соломатин Денис Алексеевич

Журнал: Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника @vestnik-susu-ctcr

Рубрика: Информатика и вычислительная техника

Статья в выпуске: 2 т.23, 2023 года.

Бесплатный доступ

Цель исследования: разработка метода глубокого обучения для аугментации и генерации проблемно-ориентированного набора данных, содержащего промышленные объекты, в том числе разработка более эффективных алгоритмов генерации и аугментации данных, основанных на глубоком обучении, которые позволяют создавать более разнообразные и реалистичные данные, соответствующие промышленным объектам, которые могут быть перенесены из одного стилевого домена в другой. Поставленная в исследовании цель связана с наличием актуальной научно-технической задачи обеспечения компьютерного зрения в системах, работающих в подводной среде. Это могут быть автономные необитаемые подводные аппараты, которые ищут прорывы в трубопроводах, анализируют утечку нефти, движение косяков рыб и т. п. Однако достаточного количества данных, содержащих описанные объекты в условиях их реального существования, сегодня нет. Таким образом, необходимо обеспечить обучающую выборку реалистичными изображениями. Методы исследования: архитектура CycleGAN, обеспечивающая преобразование набора данных, содержащего изображения различных объектов, сделанные в лабораторной или в обычной надземной среде, в набор данных, содержащий характеристики подводной среды. Для оценки разработанного алгоритма аугментации предлагается использовать классификацию изображений по доменам, которая может быть выполнена с помощью сверточной нейронной сети ResNet. Результаты исследования. Представлен инструмент для решения проблемы отсутствия подводных наборов данных, разработана модель глубокого обучения, которая применяется для создания изображений с подводными элементами. Модель работает по принципу циклической генеративно-состязательной сети, которая получает на вход реальное изображение промышленного объекта в надводных условиях, а на выход возвращает сгенерированное изображение того же промышленного объекта в подводных условиях. Визуальный анализ изображений показывает, что такой метод достаточно адекватен. Кроме того, проверка на классификационной модели показала почти 100%-ную способность нейросети различать домены. Заключение. Исследование показало, что модель CycleGAN можно использовать для создания изображений различных объектов в подводной среде. В будущем возможен поиск дополнительных процедур аугментации, кроме того, могут быть использованы аугментации сгенерированного набора изображений, что также обеспечит исследователей и разработчиков достаточным материалом с промышленными объектами в подводной среде. Это может повысить качество разработок.

Еще

Автономные необитаемые подводные аппараты (анпа), машинное обучение, глубокое обучение, cnn (сверточные нейронные сети), состязательные потери (adversarial losses), cyclegan, дискриминатор

Короткий адрес: https://sciup.org/147240882

IDR: 147240882   |   DOI: 10.14529/ctcr230201

Список литературы Применение глубокого обучения для аугментации и генерации подводного набора данных с промышленными объектами

  • Ridolfi A., Conti R., Costanzi R. A dynamic manipulation strategy for an intervention: Autonomous underwater vehicle. Advances in Robotics and Automation. 2015;4(2):100-132. DOI: 10.4172/2168-9695.1000132
  • Wynn R.B., Huvenne V.A.I., Le Bas T.P. Autonomous underwater vehicles (AUVs): Their past, present and future contributions to the advancement of marine geosciences. Marine Geology. 2014;352:451-468. DOI: 10.1016/j.margeo.2014.03.012
  • Alam K., Ray T., Anavatti S.G. A brief taxonomy of autonomous underwater vehicle design literature. Ocean Engineering. 2014;88:627-630. DOI: 10.1016/j.oceaneng.2014.04.027
  • Manzanilla A., Reyes S., Garcia M. Autonomous navigation for unmanned underwater vehicles: Real-time experiments using computer vision. IEEE Robotics and Automation Letters. 2019;4(2): 13511356. DOI: 10.1109/LRA.2019.2895272
  • Reggiannini M., Moroni D. The use of saliency in underwater computer vision: A review. Remote Sensing. 2021;13(1):1-16. DOI: 10.3390/rs13010022
  • Andriyanov N.A., Dementiev V.E., Tashlinskii A.G. Detection of objects in the images: From likelihood relationships towards scalable and efficient neural networks. Computer Optics. 2022;46(1):139-159. DOI: 10.18287/2412-6179-CO-922
  • Jin L., Liang H. Deep learning for underwater image recognition in small sample size situations. In: OCEANS 2017 - Aberdeen. Aberdeen, UK; 2017. P. 1-4. DOI: 10.1109/OCEANSE.2017.8084645
  • Meng L., Hirayama T., Oyanagi S. Underwater-drone with panoramic camera for automatic fish recognition based on deep learning. IEEE Access. 2018;6:17880-17886. DOI: 10.1109/ACCESS.2018.2820326
  • Yang H., Liu P., Hu Y., Fu J. Research on underwater object recognition based on YOLOv3. Microsystem Technologies. 2021;27(9):1837-1844. DOI: 10.1007/s00542-019-04694-8
  • Girshick R. Fast R-CNN. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Araucano Park; 2015. Vol. 1. P. 1440-1448.
  • Bochkovskiy A., Wang C.Y., Liao H.Y.M. YOLOv4: Optimal speed and accuracy of object detection. Available at: https://arxiv.org/abs/2004.10934 (accessed 03.04.2023).
  • Cazzato D. A survey of computer vision methods for 2d object detection from unmanned aerial vehicles. Journal of Imaging. 2020;6:1-8. DOI: 10.3390/jimaging6080078
  • Dakhil R.A., Khayeat A.R.H. Review on deep learning technique for underwater object detection. In: Proceedings of the 3rd International Conference on Data Science and Machine Learning (DSML). Copenhagen; 2022. Vol. 1. P. 49-63.
  • Jian M., Qi Q., Yu H. The extended marine underwater environment database and baseline evaluations. Applied Soft Computing. 2019;80:425-437. DOI: 10.1016/j.asoc.2019.04.025
  • Liu R., Hou M., Fan X. Real-world underwater enhancement: Challenges, benchmarks, and solutions under natural light. IEEE Transactions on Circuits and Systems for Video Technology. 2020;30(12):4861-4875. DOI: 10.1109/TCSVT.2019.2963772
  • Islam M.J., Edge C., Xiao Y. Semantic segmentation of underwater imagery: Dataset and benchmark. In: Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Las Vegas; 2020. Vol. 1. P. 1-6. DOI: 10.1109/IROS45743.2020.9340821
  • Hong J., Fulton M., Sattar J. TrashCan: A semantically-segmented dataset towards visual detection of marine debris. Available at: https://arxiv.org/abs/2007.08097 (accessed 01.04.2023).
  • Fabbri C., Islam M.J., Sattar J. Enhancing underwater imagery using generative adversarial networks. In: Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane; 2018. Vol. 1. P. 7159-7165.
  • Underwater_ImageNet Dataset. Available at: https://drive.google.com/file/d/1LOM-2A1BSLaFjCY2EEK3DA2Lo37rNw-7/view (accessed 07.03.23).
  • Test-lhnog Dataset. Available at: https://universe.roboflow.com/new-workspace-qnaxk/test-lhnog (accessed 07.03.23).
  • Human Dataset. Available at: https://universe.roboflow.com/school-9j0uz/human-ighgb (accessed 07.03.23).
  • Please Dataset. Available at: https://universe.roboflow.com/new-workspace-bpkjt/please (accessed 07.03.23).
  • Pipes Dataset. Available at: https://universe.roboflow.com/pipes-nty6m/p-w1typ (accessed 07.03.23).
  • Perez L., Wang J. The effectiveness of data augmentation in image classification using deep learning. Available at: https://arxiv.org/abs/1712.04621 (accessed 24.03.2023).
  • Andriyanov N.A., Andriyanov D.A. The using of data augmentation in machine learning in image processing tasks in the face of datascarity. Journal of Physics Conference Series. 2020;1661(1):012018. DOI: 10.1088/1742-6596/1661/1/012018
  • Buslaev A., Iglovikov V.I., Khvedchenya E., Parinov A., Druzhinin M., Kalinin A.A. Albumenta-tions: Fast and flexible image augmentations. Information. 2020;11(2): 1-20. DOI: 10.3390/info11020125
  • Goodfellow I.J., Pouget-Abadie J., Mirza M. Generative adversarial networks. Communications of the ACM. 2020;63(1): 139-144. DOI: 10.1145/3422622
  • Zhu J.Y., Park T., Isola P., Efros A.A. Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice; 2017. Vol. 1. P. 2223-2232.
  • Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation. Available at: https://arxiv.org/abs/1505.04597 (accessed 02.04.2023).
  • Polymenis I., Haroutunian M., Norman R., Trodden D. Virtual underwater datasets for autonomous inspections. Journal of Marine Science and Engineering. 2022;9:1-18. DOI: 10.3390/jmse10091289
  • Welander P., Karlsson S., Eklund A. Generative adversarial networks for image-to-image translation on multi-contrast MR images - A comparison of CycleGAN and UNIT. Available at: https://arxiv.org/abs/1806.07777 (accessed 03.04.2023).
  • Набор изображений механического и промышленного оборудования [Nabor izobrazheniy mekhanicheskogo i promyshlennogo oborudovaniya [Dataset of images of mechanical and industrial equipment]. Available at: https://drive.google.com/drive/folders/1p4mSIse4PEPx9pDR7TMDgL6nPVn LpzFi?usp=share_link (accessed 25.03.23)].
  • He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas; 2016. Vol. 1. P.770-778.
  • Andriyanov N.A., Dementiev V.E., Tashlinskiy A.G. Deep Markov models of multidimensional random fields. Procedia Computer Science. 2020;176:1289-1298. DOI: 10.1016/j.procs.2020.09.138
  • Andriyanov N., Khasanshin I., Utkin D., Gataullin T., Ignar S., Shumaev V., Soloviev V. Intelligent system for estimation of the spatial position of apples based on YOLOv3 and Real Sense depth camera D415. Symmetry. 2022;14(1):148. DOI: 10.3390/sym14010148
  • Kuznetsova A.A., Maleva T.V., Soloviev V.I. Using the YOLOv3 algorithm with pre- and postprocessing procedures for fruit detection by an apple-picking robot. Journal of Applied Informatics. 2020;15(4):64-74. (In Russ.) DOI: 10.37791/2687-0649-2020-15-4-64-74
  • Kalashnikov V., Soloviev V. Applications of computer vision in the mining industry. Journal of Applied Informatics. 2023;8(1):4-21. (In Russ.) DOI: 10.37791/2687-0649-2023-18-1-4-21
  • Andriyanov N.A., Volkov Al.K., Volkov An.K., Gladkikh A.A. Research of recognition accuracy of dangerous and safe x-ray baggage images using neural network transfer learning. IOP Conference Series: Materials Science and Engineering. 2021;1061:012002. DOI: 10.1088/1757-899X/1061/1/012002
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp