Классификация потокового временного ряда на основе нейросетевых технологий и поведенческих шаблонов

Бесплатный доступ

В статье представлен метод SALTO (Snippet and Autoencoder-based Labeling of Time series coming Online), позволяющий выполнять классификацию подпоследовательностей временного ряда, элементы которого поступают для обработки непрерывным потоком в режиме реального времени. Областью применения разработанного метода являются приложения персональной медицины, промышленного Интернета вещей и цифровой индустрии, в которых предъявляются высокие требования ко времени реакции системы: не более 10 мс в соответствии со стандартом URLLC (Ultra-Reliable Low Latency Communications, сверхнадежная связь с малой задержкой). Метод SALTO предполагает предварительную обработку предварительно сохраненного репрезентативного фрагмента потокового временного ряда и распознавание подпоследовательностей этого ряда, поступающих в реальном времени, c помощью нейросетевой модели. Предобработка выполняется без участия учителя c помощью параллельного алгоритма, который автоматизирует поиск поведенческих шаблонов (сниппетов) ряда, используемых для формирования обучающей выборки. Нейросетевая классификационная модель использует архитектуру автоэнкодеров. Энкодер модели преобразует входную подпоследовательность в скрытое представление и включает в себя два сверточных слоя и один рекуррентный слой. Декодер модели состоит из одного рекуррентного слоя и двух транспонированных сверточных слоев, зеркально отражающих параметры Энкодера. В вычислительных экспериментах на стандартных тестах метод SALTO более чем в полтора раза опережает в среднем передовые аналоги по быстродействию, вписываясь в рамки стандарта URLLC, и при этом показывает в среднем более высокую точность, чем большинство указанных аналогов.

Еще

Временной ряд, классификация временных рядов, автоэнкодер, поведенческие шаблоны (сниппеты) временного ряда, нейронные сети

Короткий адрес: https://sciup.org/147245993

IDR: 147245993   |   DOI: 10.14529/cmse240305

Список литературы Классификация потокового временного ряда на основе нейросетевых технологий и поведенческих шаблонов

  • Kumar S., Ti war i P., Zymbler M. Internet of Things is a revolutionary approach for future technology enhancement: a review // Journal of Big Data. 2019. Dec. Vol. 6, no. 1. DOI: 10.1186/s40537-019-0268-2.
  • Ali Nemer M., Azar J., Demerjian J., et al. A Review of Research on Industrial Time Series Classification for Machinery based on Deep Learning // 2022 4th IEEE Middle East and North Africa COMMunications Conference (MENACOMM). IEEE, Dec. 2022. P. 89-94. DOI: 10.1109/menacomm57252.2022.9998277.
  • Gratius N., Wang Z., Hwang M.Y., et al. Digital Twin Technologies for Autonomous Environmental Control and Life Support Systems // Journal of Aerospace Information Systems. 2024. Apr. Vol. 21, no. 4. P. 332-347. DOI: 10.2514/1.Í011320.
  • Краева Я.А. Поиск аномалий в сенсорных данных цифровой индустрии с помощью параллельных вычислений // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2023. Т. 12, № 2. С. 47-61. DOI: 10.14529/cmse230202.
  • Serra J., Pascual S., Karatzoglou A. TS 123 501 - V15.2.0 - 5G; System Architecture for The 5G System (5GS) (3GPP TS 23.501 Version 15.2.0 Release 15). 2018.
  • Wang Z., Yan W., Oates Т. Time series classification from scratch with deep neural networks: A strong baseline // 2017 International Joint Conference on Neural Networks (IJCNN). IEEE, May 2017. DOI: 10.1109/ijcim.2017.7966039.
  • Dempster A., Petitjean F., Webb G.I. ROCKET: Exceptionally Fast and Accurate Time Series Classification Using Random Convolutional Kernels // Data Mining and Knowledge Discovery. 2020. Vol. 34, no. 5. P. 1454-1495. DOI: 10.1007/sl0618-020-00701-z.
  • He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, June 2016. DOI: 10.1109/cvpr. 2016.90.
  • Ismail Fawaz H., Lucas В., Forestier G., et al. InceptionTime: Finding AlexNet for time series classification // Data Mining and Knowledge Discovery. 2020. Sept. Vol. 34, no. 6. P. 1936-1962. DOI: 10.1007/sl0618-020-00710-y.
  • Zymbler M.L., Goglachev A.I. PaSTiLa: Scalable Parallel Algorithm for Unsupervised Labeling of Long Time Series // Lobachevskii Journal of Mathematics. 2024. Mar. Vol. 45, no. 3. P. 1333-1347. DOI: 10.1134/sl995080224600766.
  • Imani S., Madrid F., Ding W., et al. Introducing time series snippets: a new primitive for summarizing long time series // Data Mining and Knowledge Discovery. 2020. July. Vol. 34, no. 6. P. 1713-1743. DOI: 10.1007/sl0618-020-00702-y.
  • Faouzi J. Time Series Classification: A review of Algorithms and Implementations // Machine Learning (Emerging Trends and Applications) / ed. by K. Kotecha. Proud Pen, 2022. URL: https://inria.hal.science/hal-03558165.
  • Ye L., Keogh E. Time series shapelets: a new primitive for data mining // Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, June 2009. P. 947-956. KDD09. DOI: 10.1145/1557019.1557122.
  • Marwan N., Carmenromano M., Thiel M., Kurths J. Recurrence plots for the analysis of complex systems // Physics Reports. 2007. Jan. Vol. 438, 5-6. P. 237-329. DOI: 10.1016/ j.physrep.2006.11.001.
  • Schafer P., Leser U. Fast and Accurate Time Series Classification with WEASEL // Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. ACM, Nov. 2017. CIKM '17. DOI: 10.1145/3132847.3132980.
  • Ismail Fawaz H., Forestier G., Weber J., et al. Deep learning for time series classification: a review // Data Mining and Knowledge Discovery. 2019. Mar. Vol. 33, no. 4. P. 917-963. DOI: 10.1007/sl0618-019-00619-l.
  • Serra J., Pascual S., Karatzoglou A. Towards a universal neural network encoder for time series. 2018. DOI: 10.48550/ARXIV. 1805.03908.
  • Hiisken M., Stagge P. Recurrent neural networks for time series classification // Neurocom-puting. 2003. Jan. Vol. 50. P. 223-235. DOI: 10.1016/s0925-2312(01)00706-8.
  • Hochreiter S. The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 1998. Apr. Vol. 6, no. 2. P. 107-116. DOI: 10.1142/s0218488598000094.
  • Imani S., Madrid F., Ding W., et al. Matrix Profile XIII: Time Series Snippets: A New Primitive for Time Series Data Mining // 2018 IEEE International Conference on Big Knowledge, ICBK 2018, Singapore, November 17-18, 2018 / ed. by X. Wu, Y. Ong, C.C. Aggarwal, H. Chen. IEEE Computer Society, 2018. P. 382-389. DOI: 10.1109/ICBK.2018. 00058.
  • Gharghabi S., Imani S., Bagnall A.J., et al. An ultra-fast time series distance measure to allow data mining in more complex real-world deployments // Data Min. Knowl. Discov. 2020. Vol. 34, no. 4. P. 1104-1135. DOI: 10.1007/sl0618-020-00695-8.
  • Li P., Pei Y., Li J. A comprehensive survey on design and application of autoencoder in deep learning // Applied Soft Computing. 2023. May. Vol. 138. P. 110176. DOI: 10.1016/ j.asoc.2023.110176.
  • Zymbler M., Goglachev A. Fast Summarization of Long Time Series with Graphics Processor // Mathematics. 2022. May. Vol. 10, no. 10. P. 1781. DOI: 10.3390/mathl0101781.
  • Chung J., Gulcehre C., Cho K., Bengio Y. Gated Feedback Recurrent Neural Networks // Proceedings of the 32nd International Conference on Machine Learning. Vol. 37 / ed. by F. Bach, D. Blei. Lille, France: PMLR, July 2015. P. 2067-2075. Proceedings of Machine Learning Research. URL: https://proceedings.mir.press/v37/chungl5.html.
  • Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. 2016. DOI: 10.48550/ARXIV.1603.07285.
  • Ermshaus A., Schäfer P., Leser U. ClaSP: parameter-free time series segmentation // Data Mining and Knowledge Discovery. 2023. Vol. 37. P. 1262-1300. DOI: 10. 1007/sl0618-023-00923-x.
  • Jorge Reyes-Ortiz D.A. Human Activity Recognition Using Smartphones. 2013. DOI: 10. 24432/C54S4K.
  • Биленко P.B., Долганина Н.Ю., Иванова E.B., Рекачинский А.И. Высокопроизводительные вычислительные ресурсы Южно-Уральского государственного университета // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2022. Т. 11, № 1. С. 15-30. DOI: 10.14529/cmse220102.
  • Minor B.D., Doppa J.R., Cook D.J. Learning Activity Predictors from Sensor Data: Algorithms, Evaluation, and Applications // IEEE Transactions on Knowledge and Data Engineering. 2017. Dec. Vol. 29, no. 12. P. 2744-2757. DOI: 10.1109/tkde.2017.2750669.
  • Lubba C.H., Sethi S.S., Knaute P., et al. catch22: CAnonical Time-series CHaracteristics: Selected through highly comparative time-series analysis // Data Mining and Knowledge Discovery. 2019. Aug. Vol. 33, no. 6. P. 1821-1852. DOI: 10.1007/sl0618-019-00647-x.
Еще
Статья научная