Структурно-функциональный анализ и синтез глубоких конволюционных нейронных сетей

Структурно-функциональный анализ и синтез глубоких конволюционных нейронных сетей

Автор: Визильтер Юрий Валентинович, Горбацевич Владимир Сергеевич, Желтов Сергей Юрьевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Численные методы и анализ данных

Статья в выпуске: 5 т.43, 2019 года.

Бесплатный доступ

Предложен общий поход к структурно-функциональному анализу и синтезу глубоких конволюционных нейронных сетей, который позволяет регулярным образом определить: из каких типовых структурно-функциональных элементов могут строиться конволюционные нейронные сети; каковы необходимые математические свойства структурнофункциональных элементов; какие комбинации структурно-функциональных элементов являются допустимыми; каковы возможные пути построения и обучения глубоких сетей для анализа и распознавания нерегулярных, неоднородных или сложно структурированных данных (таких как нерегулярные массивы, данные различного размера и различной природы, деревья, скелеты, графовые структуры, 2D-, 3D- и ND-облака точек, триангулированные поверхности, аналитические описания данных и т.п.). Определён необходимый набор структурно-функциональных элементов. Предложены методики решения задач структурнофункционального анализа и синтеза конволюционных нейронных сетей на основе структурно-функциональных элементов и правил их комбинации.

Еще

Глубокие нейронные сети, машинное обучение, структуры данных

Короткий адрес: https://sciup.org/140246523

IDR: 140246523   |   DOI: 10.18287/2412-6179-2019-43-5-886-900

Список литературы Структурно-функциональный анализ и синтез глубоких конволюционных нейронных сетей

  • Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. Hinton // Proceedings of the 25th International Conference on Neural Information Processing Systems. - 2012. -Vol. 1. - P. 1106-1114.
  • Szegedy, C. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2015. -P. 1-9.
  • Wu, X. Learning robust deep face representation [Electronical Resource] / X. Wu. - 2015. - URL: https://arxiv.org/pdf/1507.04844.pdf (request date 02.12.2018).
  • Lin, M. Network in network [Electronical Resource] / M. Lin, Q. Chen, S. Yan. - 2013. - URL: https://arxiv.org/pdt/1312.4400.pdf (request date 17.04.2018).
  • Forrest, N. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and №0.5MB model size [Electronical Resource] / N. Forrest, Н. Song, W.M. Matthew, A. Khalid, J.D. William, K. Kurt. - 2016. - URL: https://arxiv.org/abs/1602.07360 (request date 14.06.2018).
  • Szegedy, C. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning [Electronical Resource] / C. Szegedy, S. Ioffe, V. Vanhoucke. - 2016. - URL: https://arxiv.org/abs/1602.07261 (request date 01.11.2018).
  • Larsson, G. Fractalnet:ultra-deep neural networks without residuals [Electronical Resource] / G. Larsson, M. Maire, G. Shakhnarovich. - 2017. - URL: https://arxiv.org/abs/1605.07648 (request date 02.11.2018).
  • Duvenaud, D. Convolutional networks on graphs for learning molecular fingerprints [Electronical Resource] / D. Duvenaud, D. Maclaurin, J. Aguilera-Iparraguirre, R. Gomez-Bombarelli, T. Hirzel, A. Aspuru-Guzik, R.P. Adams. - 2015. - URL: https://arxiv.org/pdf/1509.09292.pdf (request date 20.10.2018).
  • De Cao, N. MolGAN: An implicit generative model for small molecular graphs [Electronical Resource] / N. De Cao, T. Kipf. -2018. - URL: https://arxiv.org/pdf'1805.11973.pdf (request date 10.10.2018).
  • Gomes, J. Atomic convolutional networks for predicting protein-ligand binding affinity [Electronical Resource] / J. Gomes, B. Ramsundar, E.N. Feinberg, V.S. Pande. - 2017. - URL: https://arxiv.org/pdf/1703.10603.pdf (request date 14.09.2018).
  • Yao, L. Graph convolutional networks for text classification [Electronical Resource] / L. Yao, C. Mao, Y. Luo. - 2018. - URL: https://arxiv.org/pdf/1809.05679.pdf (request date 02.12.2018).
  • Xiong, W. DeepPath: A reinforcement learning method for knowledge graph reasoning [Electronical Resource] / W. Xiong, T. Hoang, W.Y. Wang - 2018. - URL: https://arxiv.org/pdf/1707.06690.pdf (request date 06.11.2018).
  • Maturana, D. VoxNet: A 3D convolutional neural network for real-time object recognition / D. Maturana, S. Scherer // lEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - 2015. - P. 922-928. -D0I:.
  • DOI: 10.1109/IR0S.2015.7353481
  • Tran, D. Learning spatiotemporal features with 3D convolutional networks / D. Tran, L. Bourdev, R. Fergus // IEEE International Conference on Computer Vision (ICCV). - 2015. - P. 4489-4497. -
  • DOI: 10.1109/ICCV.2015.510
  • Riegler, G. OctNet: Learning deep 3D representations at high resolutions / G. Riegler, A.O. Ulusoys, A. Geiger // CVPR. -2017. - P. 6620-6629.
  • Riegler, G. OctNetFusion: Learning depth fusion from data / G. Riegler, A.O. Ulusoy, H. Bischof, A. Geiger // 2017 International Conference on 3D Vision (3DV). - 2017. - P. 57-66.
  • Klokov, R. Escape from cells: Deep KdNetworks for the recognition of 3D point cloud models / R. Klokov, V. Lempitsky // ICCV. - 2017 - P. 863-872.
  • Qi, C.R. PointNet: Deep learning on point sets for 3D classification and segmentation / C.R. Qi, H. Su, K. Mo, L.J. Guibas // CVPR. - 2017. - P. 652-660.
  • Qi, C.R. PointNet++: Deep hierarchical feature learning on point sets in a metric space / L. Yi, H. Su, L. Guibas // Proceedings of the 31st International Conference on Neural Information Processing Systems. - 2017. - P. 5105-5114.
  • Bruna, J. Spectral networks and locally connected networks on graphs / J. Bruna, W. Zaremba, A. Szlam, Y. LeCun // ICLR. - 2014.
  • Henaff, M. Deep convolutional networks on graph-structured data [Electronical Resource] / M. Henaff, J. Bruna, Y. LeCun. - 2015. - URL: https://arxiv.org/pdf/1506.05163.pdf (request date 15.12.2018).
  • Defferrard, M. Convolutional neural networks on graphs with fast localized spectral filtering [Electronical Resource]. M. Defferrard, X. Bresson, P. Vandergheynst. - 2016. - URL: https://arxiv.org/pdf/1606.09375.pdf (request date 21.09.2018).
  • Sinha, A. Deep learning 3D shape surfaces using geometry images / A. Sinha, J. Bai, K. Ramani // ECCV. - 2016. - P. 223-240.
  • Maron, H. Convolutional neural networks on surfaces via seamless toric covers / H. Maron, M. Galun, N. Aigerman, M. Trope, N. Dym, E. Yumer, V.G. Kim, Y. Lipman // ACM Transactions on Graphics. - 2017. - Vol. 36, Issue 4. - 71.
  • Ezuz, D. GWCNN: A metric alignment layer for deep shape analysis / D. Ezuz, J. Solomon, V.G. Kim, M. Ben-Chen // Computer Graphics Forum. - 2017. - Vol. 36, Issue 5. - P. 49-57.
  • Masci, J. Geodesic convolutional neural networks on Riemannian manifolds / J. Masci, D. Boscaini, M. Bronstein, P. Vandergheynst // ICCV. - 2015. - P. 832-840.
  • Boscaini, D. Learning shape correspondence with anisotropic convolutional neural networks / D. Boscaini, J. Masci, E. Rodoia, M.M. Bronstein // Proceedings of the 30th International Conference on Neural Information Processing Systems. - 2016. -P. 3197-3205.
  • Vizilter, Yu. Real-time face identification via CNN and boosted hashing forest / Yu. Vizilter, N. Kostromov, A. Vorotnikov, V. Gorbatsevich // The 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016). - 2016. - P. 78-86.
  • Serra, J. Image analysis and mathematical morphology. - London: Academic Press, Inc., 1982. - 610 p.
  • Визильтер, Ю.В. Морфлеты: новый класс древовидных морфологических описаний формы изображений / В.С. Горбацевич, С.Ю. Желтов, А.Ю. Рубис, А.В. Воротников // Компьютерная оитика. - 2015. - Т. 39, № 1. - С. 101-108. - D0I:
  • DOI: 10.18287/0134-2452-2015-39-1-101-108
  • Su, H. Multi-view convolutional neural networks for 3D shape recognition / H. Su, S. Maji, E. Kalogerakis, E.G. Learned-Miller // IEEE International Conference on Computer Vision (ICCV). - 2015. - P. 945-953.
  • Huang, H. Learning local shape descriptors with view-based convolutional neural networks / H. Huang, E. Kalegorakis, S. Chaudhuri, D. Ceylan, V. Kim, E. Yumer // ACM Transactions on Graphics. - 2018. - Vol. 37, Issue 1. - 6.
  • Wu, Z. 3D shapenets: A deep representation for volumetric shapes / S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, J. Xiao // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1912-1920.
  • Maturana, D. 3D convolutional neural networks for landing zone detection from LiDAR / D. Maturana, S. Scherer // ICRA. - 2015. - P. 3471-3478.
  • Qi, C.R. Volumetric and multi-view CNNs for object classification on 3D data / C.R. Qi, H. Su, M. Niener, A. Dai, M. Yan, L.J. Guibas // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 5648-5656.
  • Sedaghat, N. Orientation-boosted voxel nets for 3D object recognition / N. Sedaghat, M. Zolfaghari, E. Amiri, T. Brox // Proceedings of the British Machine Vision Conference (BMVC). - 2017. - 97.
  • Graham, B. Submanifold sparse convolutional networks [Electronical Resource] / B. Graham, L. van der Maaten. - 2017. -URL: https://arxiv.org/abs/1706.01307 (request date 10.12.2018).
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp