Применение эволюционных и генетических алгоритмов при формировании архитектуры нейросетевых моделей для прогнозирования состояния технического объекта
Автор: Кувайскова Ю.Е., Немыкин А.А.
Журнал: Известия Самарского научного центра Российской академии наук @izvestiya-ssc
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 4-3 т.26, 2024 года.
Бесплатный доступ
Для сокращения времени на ликвидацию критических ситуаций в работе технического объекта необходимо своевременное реагирование на нарушения процесса его функционирования. Отсюда возникает задача прогнозирования состояния объекта и возможных нарушений в процессе его работы по результатам исследования набора контролируемых параметров объекта. В этом исследовании поставленная задача решается на основе нейросетевых моделей. Однако при построении модели нейронной сети необходимо тщательно подбирать архитектуру модели для обеспечения наилучшей точности прогнозирования состояния объектов. В данной работе для автоматического проектирования моделей нейронных сетей предложена новая методика, которая заключается в последовательном использовании трех эволюционных алгоритмов: алгоритма декартова генетического программирования (CGP) для первичной инициализации, многокритериального эволюционного алгоритма NSGA-II для настройки архитектур нейронных сетей и эволюционного алгоритма CMA-ES для уточнения параметров архитектур. Для оценки качества прогнозирования по моделям нейронных сетей используется среднеабсолютная ошибка (MAE) и коэффициент детерминации (R2). Для исключения возможности подгонки модели под оптимальные прогнозные характеристики используется кросс-валидация. Она позволяет получать несмещенные оценки метрик качества. Для реализации этих методов и моделей на языке программирования Python при использовании библиотек tensorflow и keras была написана специальная программа. В качестве объектов исследования выступили турбореактивный двигатель, литий-ионный аккумулятор и подшипники. Для сравнения эффективности предлагаемой методики была использована библиотека AutoKeras. Исследование показало, что использование предлагаемого подхода значительно улучшает метрики качества моделей нейронных сетей для всех технических объектов по сравнению с моделями, найденными с помощью библиотеки AutoKeras: значение функции ошибки MAE для всех наборов данных при прогнозировании уменьшается в среднем в 4 раза, а значение коэффициента детерминации увеличивается в 1,9 раза. Данный подход может быть применен специалистами для прогнозирования технического состояния объектов в разных отраслях техники, особенно в авиации.
Технический объект, прогнозирование, нейронные сети, генетические и эволюционные алгоритмы
Короткий адрес: https://sciup.org/148330129
IDR: 148330129 | УДК: 004.89 | DOI: 10.37313/1990-5378-2024-26-4(3)-383-394
Application of evolutionary and genetic algorithms in forming the architecture of neural network models for forecasting the state of a technical object
In order to reduce the time for eliminating critical situations in the operation of a technical facility, it is necessary to respond in a timely manner to disturbances in its functioning. This raises the problem of predicting the state of an object and possible disturbances in its operation based on the results of studying a set of controlled parameters of the object. In this study, the problem is solved based on neural network models. However, when constructing a neural network model, it is necessary to carefully select the model architecture to ensure the best accuracy of predicting the state of objects. In this paper, a new technique is proposed for the automatic design of neural network models, which consists of the sequential use of three evolutionary algorithms: the Cartesian genetic programming (CGP) algorithm for primary initialization, the multi-criteria evolutionary algorithm NSGA-II for tuning neural network architectures, and the evolutionary algorithm CMA-ES for refining the architecture parameters. To assess the quality of forecasting using neural network models, the mean absolute error (MAE) and the determination coefficient (R2) are used. Cross-validation is used to exclude the possibility of fitting the model to the optimal forecast characteristics. It allows obtaining unbiased estimates of quality metrics. To implement these methods and models in the Python programming language using the tensorflow and keras libraries, a special program was written. The objects of the study were a turbojet engine, a lithium-ion battery, and bearings. The AutoKeras library was used to compare the effectiveness of the proposed method. The study showed that the use of the proposed approach significantly improves the quality metrics of neural network models for all technical objects compared to models found using the AutoKeras library: the value of the MAE error function for all data sets during forecasting decreases by an average of 4 times, and the value of the determination coefficient increases by 1.9 times. This approach can be used by specialists to predict the technical condition of objects in various fields of technology, especially in aviation.
Список литературы Применение эволюционных и генетических алгоритмов при формировании архитектуры нейросетевых моделей для прогнозирования состояния технического объекта
- Клячкин, В.Н. Прогнозирование и диагностика стабильности функционирования технических объектов / В.Н. Клячкин, В.Р. Крашенинников, Ю.Е. Кувайскова. – М.: Русайнс, 2020. – 200 с.
- Науменко, А.П. Введение в техническую диагностику и неразрушающий контроль: учеб. Пособие / А.П. Науменко. – Омск: ОмГТУ, 2019. – 152 с.
- Kuvayskova Y., Klyachkin V., Krasheninnikov V. Recognition and Forecasting of a Technical Object State based on Its Operation Indicators Monitoring Results // International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon 2020. 2020. P. 9271119.
- Kang Z., Catal C., Tekinerdogan B. Remaining Useful Life (RUL) Prediction of Equipment in Production Lines Using Artifi cial Neural Networks // Sensors. 2021. V. 21. P. 932.
- Gugulothu N., Vishnu TV, Malhotra P., Vig L., Agarwal P., Shroff G. Predicting Remaining Useful Life using Time Series Embeddings based on Recurrent Neural Networks // International Journal of Prognostics and Health Management. 2017. V. 9. P. 1-10.
- Srinivasan A., Andresen J.C., Holst A. Ensemble Neural Networks for Remaining Useful Life (RUL) Prediction // Proceedings of the Asia Pacifi c Conference of the PHM Society. 2023. V. 4 No. 1. P. 1-6.
- Сай, В.К. Метод прогнозирования остаточного ресурса на основе обработки многообъектных сложных систем / В.К. Сай, М.В. Щербаков // Прикаспийский журнал: управление и высокие технологии. – 2019. – № 1(45). – С. 33-44.
- Stanley K. O., Miikkulainen R. Evolving Neural Networks through Augmenting Topologies // Evolutionary Computation. 2002. V. 10. No. 2. P. 99-127.
- Garcia-Pedrajas N., Hervas-Martinez C., Muñoz-Perez J. COVNET: A Cooperative Coevolutionary Model for Evolving Artifi cial Neural Networks // IEEE Transactions on Neural Networks. 2003. V. 14. No. 3. P. 575-593.
- Wierstra D., Schaul T., Glasmachers T., Sun Y., Peters J., Schmidhuber J. Natural Evolution Strategies // Journal of Machine Learning Research. 2014. V. 15. P. 949-980.
- Whitley D., Starkweather T., Bogart C. Genetic algorithms and neural networks: optimizing connections and connectivity // Parallel Computing. 1990. V. 14. No. 3. P. 347-361.
- NourAshrafoddin N., Vahdat A. R., Ebadzadeh M. M. Automatic Design of Modular Neural Networks Using Genetic Programming // Artifi cial Neural Networks - ICANN 2007: 17th International Conference, Proceedings, Part I 17. 2007. P. 788-798.
- Storn R., Price K. Differential Evolution - A Simple and Effi cient Heuristic for Global Optimization over Continuous Spaces // Journal of Global Optimization. 1997. V. 11. P. 341-359.
- Miller J.F. Cartesian Genetic Programming. Heidelberg: Springer, 2011. 346 p.
- Chatterjee S., Sarkar S., Dey N., Ashour A. S., Sen S. Hybrid non-dominated sorting genetic algorithm: II-neural network approach // Advancements in Applied Metaheuristic Computing. 2018. P. 264-286.
- Hansen N. The CMA Evolution Strategy: A Comparing Review // StudFuzz. 2006.V. 192. P. 75-102.
- NASA’s Open Data Portal, C-MAPSS Aircraft Engine Simulator Data. URL: https://data.nasa.gov/dataset/ C-MAPSS-Aircraft-Engine-Simulator-Data/xautbemq/about_data (дата обращения: 30.05.2024).
- NASA Dashlink, Li-ion Battery Aging Datasets. URL: https://c3.ndc.nasa.gov/dashlink/resources/133/ (Дата обращения: 30.05.2024).
- Zhang C., He Y., Yuan L., Xiang S., Wang J. Prognostics of Lithium-Ion Batteries Based on Wavelet Denoising and DE-RVM // Computational Intelligence and Neuroscience. 2015. V. 2015. P. 1-8.
- NASA Intelligent Systems Division. Discovery and Systems Health - PCoE Data Set Repository. URL: https://www.nasa.gov/intelligent-systems-division/discovery-and-systems-health/pcoe/pcoe-data-setrepository/ (дата обращения: 30.05.2024).
- Jin H., Song Q., Hu X. Auto-keras: An effi cient neural architecture search system // Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining. 2019. P. 1946-1956.
