Метод прогнозирования ошибки времени обучения нейросетевых моделей восстановления многомерных временных рядов
Автор: Юртин A.А.
Журнал: Проблемы информатики @problem-info
Рубрика: Прикладные информационные технологии
Статья в выпуске: 3 (68), 2025 года.
Бесплатный доступ
В статье представлен нейросетевой метод tsGAP2, предназначенный для прогнозирования ошибки и времени обучения нейросетевых моделей восстановления пропущенных значений в многомерных временных рядах. Входными данными метода является нейросетевая модель, представленная в виде ориентированного ациклического графа, в которой узлы соответствуют слоям, а дуги — связи между ними. Метод предполагает использование трех компонентов: Автоэнкодера, который преобразует графовое представление модели в компактное векторное, Энкодера, кодирующего гиперпараметры и характеристики вычислительного устройства, и Агрегатора, объединяющего векторные представления и формирующего прогноз. Обучение нейросетевой модели tsGAP2 осуществляется с использованием составной ошибки, представляющей собой взвешенную сумму нескольких компонент. Каждая компонента оценивает различные аспекты выхода модели tsGAP2, включая корректность декодированной из векторного представления нейросетевой модели, прогноз ошибки и времени ее обучения. Для исследования было сформировано пространство поиска, включающее 200 различных архитектур. Во время экспериментов было выполнено 12 000 запусков обучения на временных рядах из различных предметных областей. Результаты экспериментов показывают, что предложенный метод обеспечивает высокую точность прогнозирования ошибки целевой модели: средняя ошибка по мере SMAPE составляет 4.4 %, что значительно превосходит существующие альтернативные подходы, демонстрирующие ошибку в среднем на уровне 27.6 %. Средняя ошибка прогноза времени составила 8.8 %, что значительно превосходит существующие альтернативные подходы, демонстрирующие ошибку, равную 61.6 %.
Временные ряды, восстановление пропущенных значений, нейросетевые модели, автоэнкодер, графовые нейронные сети, механизм внимания, время обучения, ошибка, поиск архитектуры нейросетей
Короткий адрес: https://sciup.org/143185313
IDR: 143185313 | УДК: 04.032.26, 004.048 | DOI: 10.24412/2073-0667-2025-3-72-95
A Method for Forecasting the Error and Training Time of Neural Networks for Multivariate Time Series Imputation
The article presents a neural network-based method called tsGAP2, designed for predicting the error and training time of neural network models used for imputing missing values in multivariate time series. The input data for the method are neural network represented as a directed acyclic graphs, where nodes correspond to layers and edges represent connections between them. The method involves three components: an Autoencoder, which transforms the graph-based representation of the model into a compact vector form; an Encoder, which encodes the hyperparameters and characteristics of the computational device; and an Aggregator, which combines the vector representations to generate the prediction. Training of the tsGAP2 neural network model is carried out using a composite loss function, defined as a weighted sum of multiple components. Each component evaluates different aspects of the tsGAP2 model’s output, including the correctness of the decoded neural network model from the vector representation, the prediction of the model’s error, and its training time. For the study, a search space comprising 200 different architectures was constructed. During the experiments, 12,000 training runs were conducted on time series from various application domains. The experimental results demonstrate that the proposed method achieves high accuracy in predicting the target model’s error: the average error, measured using SMAPE, is 4.4 %, which significantly outperforms existing alternative approaches, which show an average error of 27.6 %. The average prediction error for training time was 8.8 %, also significantly better than existing methods, which show an error of 61.6 %.
