Сегментация 3D моделей данных с помощью мультимодального динамического графа CNN
Автор: Вохминцев А.В., Аббазов В.Р., Романов М.А.
Статья в выпуске: 2 т.13, 2024 года.
Бесплатный доступ
В работе предложен метод семантической сегментации облаков точек в виде рельефа местности с использованием мультимодальной архитектуры сверточной нейронной сети на основе регулярного динамического взвешенного графа, которая позволяет получать точное решение задачи семантической сегментации, используя комбинацию геометрических и цветовых признаков точек. Метод может быть эффективно использован для разреженных, зашумленных, неоднородных и невыпуклых облаков точек. В работе было проведено компьютерное моделирование известных методов для семантической сегментации 3D данных с использованием эталонной коллекции данных ModelNet 40 и набора данных археологических памятников бронзового века Южного Зауралья, а именно данных, полученных в результате тахеометрической съемки комплекса археологических памятников в долине реки Синташта с использованием тахеометра Trimble 3300. Был проведен сравнительный анализ предложенного метода и современных методов 3D семантической сегментации с разными комбинациями входных признаков облаков точек, также в работе исследовано влияние на точность семантической сегментации способа формирования облака точек: в первом случае исследовалось облако точек из эталонного набора данных во втором случае применены варианты с использованием 3D регистрации на основе алгоритма ICP (iterative closest point).
Сегментация 3d объектов, graph convolutional neural networks, регистрация облаков точек
Короткий адрес: https://sciup.org/147243957
IDR: 147243957 | DOI: 10.14529/cmse240202
Список литературы Сегментация 3D моделей данных с помощью мультимодального динамического графа CNN
- Su Н., Maji S., Kalogerakis Е., Learned-Miller Е. Multi-view Convolut.ional Neural Networks for 3D Shape Recognition // IEEE Proceedings of International Conference on Computer Vision (ICCV) (Santiago, Chile, December 7-13, 2015). P. 945-953. DOI: 10.1109/ICCV.2015.114.
- Charles R.Q., Su Н., Kaichun М., Guibas L.J. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Honolulu, HI, USA, July 21-26, 2017). P. 77-85. DOI: 10.1109/CVPR.2017.16.
- Charles R.Q., Li Y., Hao S., Leonidas J.G. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space // Proceedings of 31st Conference on Neural Information Processing Systems (NIPS) (Long Beach, USA, December 4-9, 2017). P. 5099-5108. DOI: 10.48550/arXiv.l706.02413.
- Zhang Y., Rabbat M. A Graph-CNN for 3D Point Cloud Classification // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (Calgary, AB, Canada, April 15-20, 2018). P. 6279-6283. DOI: 10.1109/ICASSP.2018.8462291.
- Wang Y., Sun. Y., Liu Z., et al. Dynamic Graph CNN for Learning on Point Clouds // ACM Transactions on Graphics. 2019. Vol.38, No. 5. Article 146. P. 1-12. DOI: 10.1145/3326362.
- Те G., Hu W., Zheng A., Guo Z. RGCNN: Regularized Graph CNN for Point Cloud Segmentation // Proceedings of the 26th ACM international conference on Multimedia (MM '18) (Seoul, Republic of Korea, October 22-26, 2018). ACM, 2018. P. 746-754. DOI: 10.1145/3240508.3240621.
- Boulch A. ConvPoint: Continuous convolutions for point cloud processing // Computers and Graphics. 2020. Vol. 88. P. 24-34. DOI: 10.1016/j.cag.2020.02.005.
- Hugues Т., Charles R.Q., Deschaud J.E., et al. KPConv: Flexible and Deformable Convolution for Point Clouds // IEEE/CVF International Conference on Computer Vision (ICCV) (Seoul, Republic of Korea, October 27 - November 2, 2019). P. 6410-6419. DOI: 10.1109/ICCV.2019.00651.
- Zhang Z., Hua B.S., Yeung S.K. ShellNet: Efficient Point Cloud Convolutional Neural Networks Using Concentric Shells Statistics // IEEE/CVF International Conference on Computer Vision (ICCV) (Seoul, Republic of Korea, October 27-November 2, 2019). P. 1607-1616. DOI: 10.1109/ICCV.2019.00169.
- Damien R., Hugo R., Loic L. Efficient 3D semantic segmentation with superpoint transformer // IEEE/CVF International Conference on Computer Vision (ICCV) (Paris, France, October 1-6, 2023). P. 17149-17158. DOI: 10.1109/ICCV51070.2023.0157.
- 3D Semantic Segmentation on DALES. URL: https://paperswithcode.com/sota/3d-semantic-segmentation-on-dales (дата обращения: 31.03.2024).
- Вохминцев А.В., Мельников А.В., Пачганов С.А. Метод навигации и составления карты в трехмерном пространстве на основе комбинированного решения вариационной подзадачи точка-точка ICP для аффинных преобразований // Информатика и ее применения. 2020. Т. 14, № 1. С. 101-112. DOI: 10.14357/19922264200114.
- Вохминцев А.В, Соченков И.В., Кузнецов В.В., Тихоньких Д.В. Распознавание лиц на основе алгоритма сопоставления изображений с рекурсивным вычислением гистограмм направленных градиентов // Доклады академии наук. 2016. Т. 93, № 1. С. 37-41. DOI: 10.1134/S1064562416010178.
- Vokhmintcev A.V., Khristodulo O.I, Melnikov A.V., Romanov М.А. Application of Dynamic Graph CNN* and FICP for Detection and Research Archaeology Sites // Analysis of Images, Social Networks and Texts (AIST 2023). Vol. 14486 / eds. by D.I. Ignatov, et al Cham: Springer, 2024. Lecture Notes in Computer Science. DOI: 10.1007/978-3-031-54534-4_21.
- Day W.H.E., Edelsbrunner H. Efficient algorithms for agglomerative hierarchical clustering methods // Journal of Classification. 1984. Vol. 1, no. 1. P. 7-24. DOI: 10.1007/BF01890115.
- Qian G., Abualshour A., Li G., et al PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (Nashville, TN, USA, June 20-25, 2021). DOI: 10.1109/CVPR46437.2021.01151.
- Vokhmintsev A.V., Khristodulo O.I., Romanov M.A. Semantic Classification and Segmentation of Archaeological Sites Based on a Fusion of Object Detector and 3DEF // 2023 International Russian Automation Conference (RusAutoCon) (Sochi, Russian Federation, September 10-16, 2023). P. 122-127. DOI: 10.1109/RusAutoCon58002.2023.10272916.
