Алгоритмическая устойчивость нейронных сетей глубокого обучения при распознавании микроструктуры материалов
Автор: Клестов Роман Андреевич, Клюев Андрей Владимирович, Столбов Валерий Юрьевич
Рубрика: Краткие сообщения
Статья в выпуске: 1 т.21, 2021 года.
Бесплатный доступ
Исследуется разделение данных для обучения нейронной сети на обучающие и тестовые в различных пропорциях друг к другу. Ставится вопрос о том, насколько качество распределения данных и их правильность аннотирования могут повлиять на конечный результат построения модели нейронной сети. В работе исследуется алгоритмическая устойчивость обучения глубокой нейронной сети в задачах распознавания микроструктуры материалов. Исследование устойчивости процесса обучения позволяет оценить работоспособность нейросетевой модели на неполных данных, искаженных на величину до 10 %. Цель исследования. Исследование устойчивости процесса обучения нейронной сети при классификации микроструктур функциональных материалов. Материалы и методы. Искусственная нейронная сеть является основным инструментом, на базе которого производятся исследования. Используются разные подтипы глубоких сверточных сетей, такие как VGG и ResNet. Обучение нейросетей ведется с помощью усовершенствованного метода обратного распространения ошибки. В качестве исследуемой модели используется замороженное состояние нейронной сети после определенного количества эпох обучения. Произведено случайное распределение количества исключаемых из исследования данных для каждого класса в пяти различных вариантах. Результаты. Исследован процесс обучения нейронных сетей. Проведены результаты вычислительных экспериментов по обучению с постепенным уменьшением количества исходных данных. Исследованы искажения результатов вычисления при изменении данных с шагом в 2 процента. Выявлен процент отклонения, равный 10, при котором обученная нейросетевая модель теряет устойчивость. Приведены промежуточные результаты вычисления до исследования устойчивости модели обучения. Заключение. Полученные результаты означают, что при установленном количественном или качественном отклонении в обучающем или тестовом множествах результатам, которые получаются с помощью обучения сети, вряд ли можно доверять. Хотя результаты данного исследования применимы для частного случая, т. е. задачи распознавания микроструктуры с помощью ResNet-152, авторы предлагают более простую методику исследования устойчивости нейросетей глубокого обучения на основе анализа тестового, а не обучающего множества.
Глубокие нейросети, распознавание и классификация изображений, алгоритмическая устойчивость, тестовое множество, окрестность устойчивого решения
Короткий адрес: https://sciup.org/147233796
IDR: 147233796 | DOI: 10.14529/ctcr210114
Список литературы Алгоритмическая устойчивость нейронных сетей глубокого обучения при распознавании микроструктуры материалов
- Recommendation System for Material Scientists Based on Deep Learn Neural Network / A. Kliuev, R. Klestov, M. Bartolomey, A. Rogozhnikov //Advances in Intelligent Systems and Computing. -2019. - Vol. 850. - P. 216-223.
- Evaluation of mechanical characteristics of hardened steels based on neural network analysis of digital images of microstructures / A.V. Klyuev, V.Yu. Stolbov, N.V. Kopceva, Yu.Yu. Jefimova // Cherny Metally. - 2020. - No. 6. - P. 50-56.
- Klestov, R. About some approaches to problem of metals and alloys microstructures classification based on neural network technologies / R. Klestov, A. Klyuev, V. Stolbov // Advances in Engineering Research. - 2018. - Vol. 157. - P. 292-296.
- Хайкин, С. Нейронные сети: полный курс: пер. с англ. / С. Хайкин. - 2-е изд. - М. : Издат. дом «Вильямс», 2006. - 1104 с.
- Борисов, В.В. Искусственные нейронные сети. Теория и практика /В.В. Борисов, В.В. Круглов. - М. : Горячая линия - Телеком, 2003. - 382 с.
- Hecht-Nielsen, R. Kolmogorov's mapping neural network existence theorem / R. Hecht-Nielsen // IEEE First Annual Int. Conf. on Neural Networks. - San Diego, 1987. - Vol. 3. - P. 11-13.
- Going deeper with convolutions / Christian Szegedy, Wei Liu, Yangqing Jia et al. // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1-9.
- Deep Residual Learning for Image Recognition / Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. -P. 770-778.
- Squeeze-and-Excitation Networks / Jie Hu, Li Shen, Samuel Albanie et al. - 2017. - ILSVRC 2017 image classification winner. arXiv: 1709.01507.
- Вапник, В.Н. Теория распознавания образов / В.Н. Вапник, А.Я. Червоненкис. - М. : Наука, 1974. - 416 с.
- Bousquet, O. Algorithmic Stability and Generalization Performance / O. Bousquet, A. Elisseeff // Advances in Neural Information Processing Systems. - 2001. - No. 13. - P. 196-202.
- Bousquet, O. Stability and Generalization / O. Bousquet, A. Elisseeff // Journal of Machine Learning Research. - 2002. - No. 2. - P. 499-526.
- Brownlee, J. Impact of Dataset Size on Deep Learning Model Skill and Performance Estimates / J. Brownlee. - https://machinelearningmastery.com/impact-of-dataset-size-on-deep-learning-model-skill-and-performance-estimates (дата обращения: 04.02.2019).
- How much data is needed to train a medical image deep learning system to achieve necessary high accuracy? / Junghwan Cho, Kyewook Lee, Ellie Shin et al. - 2015. - arXiv: 1511.06348, preprint arXiv.
- Warden, P. How many images do you need to train a neural network? / Pete Warden. -https://petewarden. com/2017/12/14/how-many-images-do-you-need-to-train-a-neural-network (дата обращения: 04.11.2019).
- Soekhoe, D. On the Impact of data set Size in Transfer Learning using Deep Neural Networks / Deepak Soekhoe, Peter van der Putten, Aske Plaat //IDA 2016: Advances in Intelligent Data Analysis XV. - 2016. - p. 50-60.