Разработка алгоритма семантической сегментации данных дистанционного зондирования земли для определения фитопланктонных популяций

Автор: Белова Ю.В., Развеева И.Ф., Рахимбаева Е.О.

Журнал: Advanced Engineering Research (Rostov-on-Don) @vestnik-donstu

Рубрика: Информатика, вычислительная техника и управление

Статья в выпуске: 3 т.24, 2024 года.

Бесплатный доступ

Введение. Компьютерное зрение широко используется для семантической сегментации данных дистанционного зондирования Земли (ДЗЗ). Метод позволяет контролировать экосистемы, в том числе водные. Востребованы алгоритмы, обеспечивающие качество семантической сегментации снимков ДЗЗ, в частности, для выявления областей с фитопланктоном, где возможно цветение воды - причина заморов. Цель исследования - создание алгоритма, обрабатывающего спутниковые данные как входную информацию для формирования и верификации математических моделей гидродинамики, по которым отслеживается состояние водных объектов. В литературе описаны различные алгоритмы семантической сегментации. Новые исследования сосредоточены на повышении надежности распознавания - чаще с помощью нейросетей. Этот подход совершенствуется в представленной работе. Для развития направления предлагаются новый набор сведений из открытых источников и синтетические данные для улучшения обобщающей способности модели. Впервые область контура фитопланктонной популяции сравнивается с базой данных - и так формируются граничные условия для реализации математических моделей и построения гранично-адаптивных сеток.Материалы и методы. Набор снимков ДЗЗ дополнили с помощью авторского аугментационного алгоритма на языке Python. Компьютерное зрение сегментировало области фитопланктонных популяций на снимках. Сверточную нейронную сеть (СНС) U-Net обучили на базе ускорителей вычислений NVIDIA Tesla T4.Результаты исследования. Для автоматизации обнаружения областей распространения фитопланктона разработан алгоритм компьютерного зрения, основанный на СНС U-Net. Модель оценили по вычисленным значениям основных метрик качества, относящихся к задачам сегментации. Получены следующие значения метрик: Precision = 0,89, Recall = 0,88, F1 = 0,87, Dice = 0,87 и IoU = 0,79. Графическая визуализация результатов обучения СНС на обучающем и валидационном наборах показала хорошее качество обучения модели. Об этом свидетельствуют малые изменения функции потерь в конце обучения. Выполненная моделью сегментация оказалась близка к ручной разметке, что говорит о высоком качестве предложенного решения. По площади одного пикселя рассчитали площадь сегментированной области фитопланктонной популяции. Полученный результат для исходного изображения - 51202,5 (по информации о количестве пикселей, относящихся к цветению сине-зеленых водорослей). Соответствующий итог моделирования - 51312.Обсуждение и заключение. Исследование расширяет теоретические и практические знания о применении сверточных нейронных сетей для семантической сегментации данных космических снимков. Учитывая итоги работы, можно оценить потенциал автоматизации процесса семантической сегментации данных ДЗЗ для определения границ фитопланктонных популяций с помощью искусственного интеллекта. Применение предложенной модели компьютерного зрения для получения контуров цветения воды из-за фитопланктона позволит создать базы данных - основу для экологического мониторинга водных ресурсов и прогностического моделирования гидробиологических процессов.

Еще

Экологический мониторинг водных ресурсов, границы фитопланктона, контур цветения воды, цветение воды из-за сине-зеленых водорослей, сегментация данных космических снимков

Короткий адрес: https://sciup.org/142242439

IDR: 142242439   |   УДК: 004.021   |   DOI: 10.23947/2687-1653-2024-24-3-283-292

Development of an algorithm for semantic segmentation of earth remote sensing data to determine phytoplankton populations

Introduction. Computer vision is widely used for semantic segmentation of Earth remote sensing (ERS) data. The method allows monitoring ecosystems, including aquatic ones. Algorithms that maintain the quality of semantic segmentation of ERS images are in demand, specifically, to identify areas with phytoplankton, where water blooms- the cause of suffocation - are possible. The objective of the study is to create an algorithm that processes satellite data as input information for the formation and checking of mathematical models of hydrodynamics, which are used to monitor the state of water bodies. Various algorithms for semantic segmentation are described in the literature. New research focuses on enhancing the reliability of recognition - often using neural networks. This approach is modified in the presented work. To develop the direction, a new set of information from open sources and synthetic data are proposed. They are aimed at improving the generalization ability of the model. For the first time, the contour area of the phytoplankton population is compared to the database - and thus the boundary conditions are formed for the implementation of mathematical models and the construction of boundary-adaptive grids.Materials and Methods. The set of remote sensing images was supplemented with the author's augmentation algorithm in Python. Computer vision segmented areas of phytoplankton populations in the images. The U-Net convolutional neural network (CNN) was trained on the basis of NVIDIA Tesla T4 computing accelerators.Results. To automate the detection of phytoplankton distribution areas, a computer vision algorithm based on the U-Net CNN was developed. The model was evaluated by the calculated values of the main quality metrics related to segmentation tasks. The following metric values were obtained: Precision = 0.89, Recall = 0.88, F1 = 0.87, Dice = 0.87, and IoU = 0.79. Graphical visualization of the results of CNN learning on the training and validation sets showed good quality of model learning. This is evidenced by small changes in the loss function at the end of training. The segmentation performed by the model turned out to be close to manual marking, which indicated the high quality of the proposed solution. The area of the segmented region of the phytoplankton population was calculated by the area of one pixel. The result obtained for the original image was 51202.5 (based on information about the number of pixels related to the bloom of blue-green algae). The corresponding result of the modeling was 51312.Discussion and Conclusion. The study expands theoretical and practical knowledge on the use of convolutional neural networks for semantic segmentation of space imagery data. Given the results of the work, it is possible to assess the potential for automating the process of semantic segmentation of remote sensing data to determine the boundaries of phytoplankton populations using artificial intelligence. The use of the proposed computer vision model to obtain contours of water bloom due to phytoplankton will provide for the creation of databases - the basis for environmental monitoring of water resources and predictive modeling of hydrobiological processes.

Еще

Список литературы Разработка алгоритма семантической сегментации данных дистанционного зондирования земли для определения фитопланктонных популяций

  • Yun Zhang, Wanli Gao, Yuying Li, Yeqing Jiang, Xiaonuo Chen, Yinlei Yao, et al. Characteristics of the Phytoplankton Community Structure and Water Quality Evaluation in Autumn in the Huaihe River (China). International Journal of Environmental Research and Public Health. 2021;18(22):12092. https://doi.org/10.3390/ijerph182212092
  • Huang Yiqiang, Shen Yucheng, Zhang Shouzhi, Li Yang, Sun Zeyu, Feng Mingming, et al. Characteristics of Phytoplankton Community Structure and Indication to Water Quality in the Lake in Agricultural Areas. Frontiers in Environmental Science. 2022;10:1-14. http://doi.org/10.3389/fenvs.2022.833409
  • Говорова Ж.М., Говоров О.Б. Влияние фитопланктона на формирование качества воды и методы его удаления. Часть 1. С.О.К. Сантехника. Отопление. Кондиционирование. Энергосбережение. 2019;206(2):32-35. URL: https://www.c-o-k.ru/articles/vliYanie-fitoplanktona-na-formirovanie-kachestva-vodY-i-metodY-ego-udaleniYa-chast-1 (дата обращения: 04.06.2024). Govorova ZhM, Govorov OB. Influence of Phytoplankton on the Formation of Water Quality and Methods of its Removal. Part 1. Plumbing, Heating, Air Conditioning. 2019;206(2):32-35. (In Russ.) URL: https://www.c-o-k.ru/articles/vliyanie-fitoplanktona-na-formirovanie-kachestva-vodY-i-metodY-ego-udaleniYa-chast-1 (accessed: 04.06.2024).
  • Ерина О.Н., Пуклаков В.В., Соколов Д.И., Гончаров А.В. Подледное цветение фитопланктона в Можайском водохранилище. Вестник биотехнологии и физико-химической биологии имени Ю.А. Овчинникова. 2019;15(2):49-54. URL: https://biorosinfo.ru/upload/file/journal 56.pdf (дата обращения: 04.06.2024). Erina ON, Puklakov VV, Sokolov DI, Goncharov AV. Subglacial Phytoplankton Bloom in the Mozhaisk Reservoir. Yu.A. Ovchinnikov Bulletin of Biotechnology and Physical and Chemical Biology. 2019;15(2):49-54. (In Russ.) URL: https://biorosinfo.ru/upload/file/journal 56.pdf (accessed: 04.06.2024).
  • Panasenko ND, Poluyan AYu, Motuz NS. Algorithm for Monitoring the Plankton Population DYnamics Based on Satellite Sensing Data. Journal of Physics: Conference Series. 2021;2131(3):032052. https://doi.org/10.1088/1742-6596/2131/3/032052
  • Панасенко Н.Д., Ганжур М.А., Ганжур А.П. Исследование применения космических снимков для определения объектов на поверхности водоемов. Инженерный вестник Дона. 2020;72(12):376-387. URL: http://www.ivdon.ru/ uploads/article/pdf/IVD 19 11 Panasenko Ganzhur1.pdf 244b44d819.pdf (дата обращения: 04.06.2024). Panasenko ND, Ganzhur MA, Ganzhur AP. Multichannel Satellite Image Application for Water Surface Objects Identification. Engineering Journal of Don. 2020;72(12):376-387. URL: http://www.ivdon.ru/uploads/article/pdf/IVD 19 11 Panasenko Ganzhur1.pdf 244b44d819.pdf (accessed: 04.06.2024).
  • Янакова Е.С., Тюрин А.А. Комплексный алгоритм семантической обработки спутниковых изображений. Известия Тульского государственного университета. Технические науки. 2020;(10):183-189. Yanakova ES, Tyurin AA. Complex Algorithm for Semantic Processing of Satellite Images. Izvestiya TulGU. 2020;(10):183-189.
  • Друки А.А., Спицын В.Г., Болотова Ю.А., Башлыков А.А. Семантическая сегментация данных дистанционного зондирования Земли при помощи нейросетевых алгоритмов. Известия Томского политехнического университета. Инжиниринг георесурсов. 2018;329(1):59-68. URL: https://earchive.tpu.ru/bitstream/11683/46113/1/bulletin tpu-2018-v329-i1-07.pdf (дата обращения: 04.06.2024). Druki AA, Spitsyn VG, Bolotova YuA, Bashlykov AA. Semantic Segmentation of Earth Remote Sensing Data Using Neural Network Algorithms. Bulletin of Tomsk Polytechnic University. Geo Assets Engineering. 2018;329(1):59-68. URL: https://earchive.tpu.ru/bitstream/11683/46113/1/bulletin tpu-2018-v329-i1-07.pdf (accessed: 04.06.2024).
  • Лукашик Д.В. Анализ современных методов сегментации изображений. Экономика и качество систем связи. 2022;24(2):57-65. URL: https://journal-ekss.ru/wp-content/uploads/2022/06/57-65.pdf (дата обращения: 04.06.2024). Lukashik DV. Analysis of Modern Image Segmentation Methods. Economics and Quality of Communication Systems. 2022;24(2):57-65. URL: https://journal-ekss.ru/wp-content/uploads/2022/06/57-65.pdf (accessed: 04.06.2024).
  • Mohanty S, Czakon J, Kaczmarek K, PYskir A, Tarasiewicz P, Kunwar S, et al. Deep Learning for Understanding Satellite Imagery: An Experimental Survey. Frontiers in Artificial Intelligence. 2020;3:534696. http://doi.org/10.3389/frai.2020.534696
  • Hoffman JP, Rahmes TF, Wimmers AJ, Feltz WF. The Application of a Convolutional Neural Network for the Detection of Contrails in Satellite Imagery. Remote Sensing. 2023;15(11):2854. https://doi.org/10.3390/rs15112854
  • Ren Yougui, Xiaomei Yang, Zhihua Wang, Ge Yu, Yueming Liu, Xiaoliang Liu, et al. Segment Anything Model (SAM) Assisted Remote Sensing Supervision for Mariculture — Using Liaoning Province, China as an Example. Remote Sensing. 2023;15(24):5781. https://doi.org/10.3390/rs15245781
  • Alagialoglou L, Manakos I, Papadopoulou S, Chadoulis R-T, Kita A. Mapping Underwater Aquatic Vegetation Using Foundation Models With Air- and Space-Borne Images: The Case of Polyphytos Lake. Remote Sensing. 2023;15(16):4001. https://doi.org/10.3390/rs15164001
  • Бескопыльный А.Н., Стельмах С.А., Щербань Е.М., Развеева И.Ф., Кожакин А.Н., Бескопыльный Н.А., Оноре Г.С. Программа для аугментации изображений. Патент РФ, № 2022685192. 2022. URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685192&TypeFile=html (дата обращения: 04.06.2024). Beskopylny AN, Stelmakh SA, Shcherban EM, Razveeva IF, Kozhakin AN, Beskopylny NA, et al. Image Augmentation Software. RF Patent, No. 2022685192. 2022. (In Russ.) URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685192&TypeFile=html (accessed: 04.06.2024).
  • Cortés IM. Open-Source Software for Geospatial Analysis. Nature Reviews Earth and Environment. 2023;4(143):1. https://doi.org/10.1038/s43017-023-00401-4
  • Развеева И.Ф., Рахимбаева Е.О. Применение методов искусственного интеллекта при анализе скоплений фитопланктонных популяций на водной поверхности. В: Тр. Междунар. науч. конф. «Интеллектуальные информационные технологии и математическое моделирование» (ИИТ&ММ-2022). Ростов-на-Дону: Донской государственный технический университет; 2022. С. 45-49. Razveeva IF, Rakhimbaeva EO. Application of Artificial Intelligence Methods in the Analysis of Phytoplankton Populations on the Water Surface. In: Proc. International Scientific Conference "Intelligent Information Technologies and Mathematical Modeling". Rostov-on-Don: DSTU Publ. House; 2022. P. 45-49.
  • Hopkins JE, Palmer MR, Poulton AJ, Hickman AE, Sharples J. Control of a Phytoplankton Bloom by Wind-Driven Vertical Mixing and Light Availability. Limnology and Oceanography. 2021;66:1926-1949. https://doi.org/10.1002/lno. 11734
  • Yanhui Dai, Shangbo Yang, Dan Zhao, Chuanmin Hu, Wang Xu, Donald M Anderson, et al. Coastal Phytoplankton Blooms Expand and Intensify in the 21st Century. Nature. 2023;615:280-284. https://www.nature.com/articles/s41586-023-05760-y
  • Asselot R, Lunkeit F, Holden P, Hense I. Climate Pathways behind Phytoplankton-Induced Atmospheric Warming. Biogeosciences. 2022;19(1):223-239. http://doi.org/10.5194/bg-19-223-2022
  • Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Deep Residual Learning for Image Recognition. In: Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York City: IEEE; 2016. P. 770-778. ^ https://doi.org/10.48550/arXiv.1512.03385 «
  • Белова Ю.В., Развеева И.Ф., Рахимбаева Е.О. Программа для оконтуривания области фитопланктонных g популяций в прибрежных системах. Патент РФ, № 2022685220. 2022. URL: https://new.fips.ru/registers-doc- & view/fips servlet?DB=EVM&DocNumber=2022685220&TypeFile=html (дата обращения: 04.06.2024). Belova YuV, Razveeva IF, Rakhimbaeva EO. A Program for Delineating the Area of Phytoplankton Populations in g Coastal Systems. RF Patent, No. 2022684631. 2022. (In Russ.) URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685220&TypeFile=html (accessed: 04.06.2024).
Еще